KB Flooris Sentry - Blokkeer nieuwe Sentry events¶
Context¶
ClickUp task over deze outage: BR-7414 Brekz - Sentry - 03/02/2026 Out of memory
Onze self-hosted Sentry instantie draait op sentry.flooris.dev.
In het verleden heeft een incident plaatsgevonden waarbij een klant een foutief script uploadde op hun website dat getriggered was bij iedere page load.
Dit script genereerde een enorme hoeveelheid Sentry error-rapportages in zeer korte tijd, waardoor de server het verkeer niet meer in real time kon verwerken. Sentry is ervoor gemaakt om geen events te droppen, dus deze waren in een queue gezet waar hij doorheen kon lopen.
Het probleem? Deze queue is opgeslagen in een Redis database. Normaal is dat een goed iets, maar het risico hiervan is dat Redis een in-memory database is. Deze events stapelde zo snel op, dat binnen 2 uur bijna al het RAM geheugen geconsumeerd was, waardoor er systeem monitors begonnen te schreeuwen en uiteindelijk de server zo goed als onderuit ging.
Om herhaling te voorkomen is er een custom Cloudflare WAF-regel aangemaakt die snel kan worden ingeschakeld om alle inkomende Sentry events direct te blokkeren.
Gebruik alleen bij noodgevallen
Deze regel blokkeert direct alle inkomende error-rapportages voor sentry.flooris.dev.
Schakel de regel alleen in wanneer het echt nodig is om direct de noodrem in te drukken om een outage te voorkomen.
Vergeet niet de regel daarna weer uit te schakelen zodra de situatie onder controle is. Het is aangeraden om een timer of iets aan te zetten voor 8 uur later, zodat je nog een reminder krijgt om dit te controleren.
De WAF-regel¶
Naam: Block new Sentry events for sentry.flooris.dev
Locatie: Cloudflare → flooris.dev → Security → WAF → Custom rules
Regelexpressie:
(http.host eq "sentry.flooris.dev" and http.request.uri.path wildcard r"/api/*/envelope*") or (http.host eq "sentry.flooris.dev" and http.request.uri.path wildcard r"/api/*/store*")
Wat blokkeert deze regel?
De regel onderschept twee soorten Sentry-endpoints die gebruikt worden voor het insturen van events:
| Endpoint patroon | Gebruik |
|---|---|
/api/*/envelope* |
Modern Sentry SDK event-formaat (envelope protocol) |
/api/*/store* |
Legacy Sentry SDK event-formaat |
Door beide patronen te blokkeren worden geen nieuwe error-rapportages meer verwerkt, ongeacht welke Sentry SDK-versie de client gebruikt.
Procedure: regel in- en uitschakelen¶
Naar Flooris.dev WAF Custom Rules
Regel inschakelen (Nieuwe events blokkeren)¶
- Open de bovenstaande link om naar de custom WAF rules te gaan.
- Zoek voor "Block new Sentry events for sentry.flooris.dev".
- Druk op ⋮ naast de naam van de custom rule.
- Druk op Enable.
Controleer of het aantal geblokkeerde events door deze rule oploopt. Als dit het geval is, zouden de events geblokkeerd moeten worden, heeft de server een kans om de queue te verwerken en kan onderzocht worden wat de oorzaak van de vele events is.
Regel uitschakelen (Nieuwe events toestaan)¶
Voordat je de rule weer uitschakeld
Schakel de regel pas uit nadat je de oorzaak van de event-storm hebt vastgesteld en verholpen.
In de vorige case zou dat dus bijvoorbeeld zijn dat het foutieve script gevonden is en teruggedraaid/verwijderd.
- Open de bovenstaande link om naar de custom WAF rules te gaan.
- Zoek voor "Block new Sentry events for sentry.flooris.dev".
- Druk op ⋮ naast de naam van de custom rule.
- Druk op Disable.