PHP-lek: en ineens staat alles op zwart

Alle websites offline. Ruim tweehonderd vrijwilligers afgesneden van elkaar. En een IT-infrastructuur die afhankelijk blijkt van een handvol mensen die weten hoe alles werkt.

Het klinkt als het begin van een slechte dag in de IT. Maar het is gewoon onze woensdag.

Ik zit op de bank. Moos is net uitgelaten en normaal gesproken zou ik nu achter mijn vrijwilligerslaptop kruipen om te kijken wie we in Nederland via onze vrijwilligers nog blij kunnen maken met een gratis laptop. Maar vandaag loopt alles anders.

Er is een kwetsbaarheid ontdekt in PHP, de programmeertaal waarop veel websites draaien. Je kunt PHP vergelijken met de motor onder de motorkap van een website: bezoekers zien de website, maar op de achtergrond zorgt PHP ervoor dat allerlei onderdelen hun werk doen.

Als er in die motor een fout zit, kan dat kwaad. Afhankelijk van de kwetsbaarheid kan een aanvaller die fout misbruiken om bijvoorbeeld toegang te krijgen tot gegevens of ongewenste opdrachten uit te voeren. Zolang niet duidelijk is hoe groot het risico is en er geen veilige oplossing beschikbaar is, kan het verstandig zijn om een website tijdelijk uit de lucht te halen.

En dat is precies wat er gebeurt. Websites gaan massaal offline. Ook wij trekken uit voorzorg de stekker eruit: nllgg.nl, BuurtLinux.nl en LaptopRevive.nl. Niet omdat we stoppen, maar omdat veiligheid voor alles gaat. Net als andere organisaties kiezen we ervoor om eerst de risico's te beperken en pas weer online te gaan als dat verantwoord is.

En daar zit ik dan. Op de bank, met opeens een heel andere taak dan gepland.

Never a dull day!

De was draait op zolder, het eten moet nog worden voorbereid en mijn lief is een beetje ziek. Die mag dus vooral lekker slapen.

Maar ondertussen begint de telefoon te rinkelen en blijkt dat het uitschakelen van websites nog maar het begin is...

Als de communicatie ook uitvalt

Tussendoor bel ik met verschillende Revivers uit de groep IT-beheer om de stand van zaken te bespreken. Ik houd de vinger aan de pols. Rinus, founder van LaptopRevive, en ik als co-founder houden elkaar voortdurend op de hoogte. Ik zit thuis, terwijl Rinus al de hele dag met de trein onderweg is. Veel kan hij vanaf daar niet doen.

De communicatie verloopt strak, maar we zijn afhankelijk van een paar slimme mensen die weten hoe ze de boel draaiende moeten houden.

En dan gaat opeens ook ons communicatiekanaal Mattermost op zwart. Ruim tweehonderd vrijwilligers zijn ineens van elkaar afgesneden.

Mijn telefoon gaat. Rinus.

'Hoi…'

'Nee, ik kom net terug van het uitlaten van Moos.'

Mattermost ligt eruit. Ik klap mijn laptop open, tik de URL in en jawel: weg.

Oké, tijd om Bart te bellen, onze redding in nood. Alleen is Bart nog onderweg naar huis. Even geduld dus.

Zodra hij thuis is, weet hij Mattermost binnen een paar minuten weer online te krijgen. Iedereen kan weer met elkaar overleggen.

Voor zo'n IT'er zou je bijna goud willen betalen. Maar ja, we zijn een vrijwilligersorganisatie.

Eén topper is geen infrastructuur

Doordat we allerlei onderdelen hebben uitgeschakeld, blijkt dat bepaalde systemen elkaar niet meer kunnen vinden. Er wordt gezocht naar oplossingen, maar één ding wordt steeds duidelijker: zelfs een topper als Bart kan dit niet allemaal alleen.

We hebben ook Jan. Hij is nog maar net bij ons betrokken en de IT-infrastructuur waarop we draaien, kan behoorlijk overweldigend zijn. Toch laat hij zich niet zomaar uit het veld slaan. Zijn eerste bevindingen, documenten, vragen en aanbevelingen laten zien dat hij er serieus werk van maakt en de materie begrijpt.

Dit incident maakt pijnlijk duidelijk dat we nooit op één persoon moeten bouwen. Niet alleen vanwege de druk die dat op die persoon legt, maar ook omdat onze infrastructuur bij diens afwezigheid gewoon moet kunnen blijven functioneren.

Goede mensen zijn goud waard. Maar een organisatie moet niet instorten als één van hen even niet beschikbaar is.

Het grijze knopje

Rond zes uur meldt het nieuws dat websites na updates langzaam weer online komen. De hoop is dat Bart de benodigde update snel kan implementeren, zodat ook onze site weer veilig online kan.

Bart is druk bezig en Rinus belt met het bericht dat onze website weer online kan worden gezet.

Ik log in, maar kan de plek waar ik de site eerder heb uitgeschakeld niet meteen terugvinden. Ik heb dit nog nooit eerder gedaan en ben bovendien nooit eerder in deze krochten van onze website en hostingomgeving geweest.

Ik overleg telefonisch en stuur screenshots van de plek waar ik de site heb uitgezet en waar ik hem weer zou moeten activeren. Maar het knopje blijft grijs. Onbruikbaar.

Ik baal. Waarom lukt dit nou niet?

Dan komt Bart met de vraag der vragen:

'Moet je niet eerst een vinkje voor die regel zetten om hem actief te maken?'

Ik kijk nog eens goed naar mijn scherm en klik voor de regel. En ja hoor, daar staat een vakje. Op mijn scherm nauwelijks zichtbaar, maar op de screenshots blijkbaar wel.

Op dat moment voel ik me behoorlijk stom.

Ik zet het vinkje, klik op activeren en vrijwel onmiddellijk is de website weer online.

Ik meld het aan iedereen en klap mijn laptop dicht. Opgelucht dat het gelukt is, maar ook met een hoofd vol nieuwe inzichten.

De volgende keer moet het anders

De volgende dag dringt het pas echt tot me door: we hebben een draaiboek nodig voor dit soort noodsituaties.

We moeten precies weten waar we systemen aan- en uitzetten. Wie waarvoor verantwoordelijk is. Wie welke taken kan overnemen. En vooral: hoe we ervoor zorgen dat cruciale kennis niet bij één persoon blijft hangen.

Want een incident als dit kan iedereen overkomen. Een kwetsbaarheid in software kan een hele organisatie stilleggen. Maar als vervolgens ook de communicatie uitvalt en slechts één of twee mensen weten hoe alles weer aan de praat moet worden gekregen, hebben we een tweede probleem gecreëerd.

Dat is misschien wel de belangrijkste les van deze dag.

Niet alleen onze websites moeten veilig zijn. Ook de manier waarop we ze beheren, moet bestand zijn tegen uitval.

We werken met vrijwilligers, beperkte middelen en mensen die hun kennis en tijd belangeloos inzetten. Juist daarom moeten we het goed organiseren. Niet door iedereen alles te laten weten, maar door kennis te delen, procedures vast te leggen en taken overdraagbaar te maken.

Want hoe goed Bart ook is, hij moet ook eens kunnen slapen.

En ik? Ik weet inmiddels weer waar dat ene vinkje staat. Maar de volgende keer wil ik niet afhankelijk zijn van iemand die me eraan moet herinneren.

Dat zou pas echt een mooie update zijn.

Geniet van het leven

Eljo Morpurgo

Deze column is mede mogelijk gemaakt door Linux Mint OS geschreven in LibreOffice.