Crisis? Welke crisis?
Het is midden in de nacht, de telefoon gaat…ergens ligt een datacenter eruit, ergens in een provincie is er een stroomstoring, een project mag niet in productie genomen worden…”begin maar vast te rijden…ik praat je in de auto wel bij…” klinkt het aan de andere kant van de telefoon. Ik krijg een conference call nummer doorgestuurd…geen idee wat er aan de hand is. Het adres in mijn navigatie gezet en ik zie de ruitenwissers het gevecht met de regen aangaan.
Al rijdend zoek ik het telefoonnummer. Terwijl ik me aanmeld hoor ik dat er 21 mensen in de call zitten. Dan is het mis. Blijkbaar is iedereen al uit bed getrapt.
Ik vraag me na 13 jaar in de rol als crisismanager regelmatig eigenlijk maar één ding af; “Hoe is het zover gekomen?” Kan dit nou niet anders?
Halon en servers, risicovolle mix..
Andere klant…andere situatie. De techneut van dienst moet het Halon brandblussysteem testen. De arme man doet wat hij al jaren deed en zet een reeks van schakelaars om. Het Continuïteitsplan voorziet in dergelijke tests. Maar wat je zo vaak ziet is dat het niet is doorgedacht. Men bedenkt dat er brand zou kunnen ontstaan en dus moet er een blusinstallatie komen. Om het risico te beperken heeft men het datacenter gescheiden zodat wanneer er iets in het ene datacenter gebeurd men kan uitwijken. Simpel toch? Fout…en het ging fout. Niet door een brand maar door menselijk falen. De test ging gruwelijk mis. De arme man had in zijn routine vergeten het Halon systeem uit te zetten. De Halon werd via de backplanes de serverkasten ingeblazen. Iemand had bedacht dat de koude lucht om de servers te koelen van onder de systeemvloer moest komen. Iemand was vergeten te bedenken dat het tweede datacenter die op dezelfde vloer stond dus ook de koele lucht van onder de systeemvloer haalde…en jawel…deze keer was die koele lucht voorzien van Halon…dikke…vette corroderende Halon…
Iemand had twee datacenters ontworpen en dat paste zich aan met de groei van het bedrijf. De tapes bleken bij de zesde poging pas bruikbaar voor een restore. De 6Tb backup zouden dagen, zo niet weken nodig hebben om alles te kunnen restoren…maar waarop? Alle servers zouden sterven. De Halon zou zich een weg vreten door de pakkingen en de servers vernietigen. Het was niet de vraag of maar hoe lang die systemen nog zouden draaien.
Enig idee hoeveel bedrijven er servers maken? En ja, je kan IBM of HP bellen…en nee, die zetten niet na één telefoontje 125 blades (servers) neer.
Crisis onderweg..
Nieuwe case…’s-Avonds kijk ik het journaal en zie dat een provincie volledig zonder stroom zit. Ik loop naar boven en begin een weekendtas te pakken en gooi er wat ondergoed, tandenborstel en tandpasta in. Ik wacht tegenwoordig niet meer op dat telefoontje. Als het mis is ga ik vast rijden. Na jaren weet je ondertussen wanneer je aan de beurt bent.
Aangekomen vraag ik bij mijn contactpersoon of ik bij het directie overleg mag aanschuiven als adviseur. Ik was nog niet aan de beurt, het crisis team draaide op volle toeren, alle procedures waren gestart. Even…heel even vervloekte ik mezelf dat ik zo bijdehand in de auto moest klimmen terwijl ik ook in mijn bed had kunnen liggen. Mijn domein draaide, mijn werkgever was niet uit bed gebeld, ik zat er voor spek en bonen bij…dacht ik. Ik was langzaam aan het denken hoe ik de nacht zou moeten doorbrengen…of ik een leeg ziekenhuisbed zou mogen gebruiken.
Terwijl ik daar over nadacht dwaalde mijn blik naar buiten…en ineens gingen alle alarmbellen in mij af.
Klaar zijn voor de noodsituatie
Een piloot, of militair heeft in een kritieke situatie maar één ding aan zijn hoofd en dat is te bedenken waar hij of zij als eerste aan dood gaat. Dat lost hij…of zij…op..en vervolgens het volgende…en het volgende…totdat de situatie onder controle is. Dat is hoe wij getraind zijn…dat is hoe wij denken. Een piloot maakt geen kans berekening of er een risico is dat de motor uitvalt. Hij traint zijn gehele carrière aan het trainen op een noodsituatie. Zodra de situatie zich dan ook feitelijk voordoet weet hij instinctief wat er moet gebeuren. Al die training geeft hem kostbare tijd…dat kunnen kostbare secondes zijn die het verschil maken tussen leven en dood.
Ik keek naar buiten en zag in een ander gebouw mensen druk vergaderen…licht aan, beamer aan…business as…business as (un)usual.
Ik vraag aan de directeur ICT, hoeveel diesel heb je nog? De man was druk en stoorde zich aan mijn vraag. Hij keek me lichtelijk geïrriteerd aan en vroeg mij mijn vraag te herhalen…Dus ik vraag hem nogmaals…”Hoeveel diesel heb je nog?”
Hij gaf aan de diesel generatoren allemaal waren opgekomen en daar zat voor drie dagen voorraad in. We draaiden nu ruim een uur, dus er was nog genoeg…
Ik voelde me enigszins gespannen. Dit was waar ik bang voor was. Dit is niet goed. Ik bedacht me hoe ik dit politiek zou kunnen brengen. Hoe ging ik hem vertellen dat hij een groter probleem heeft dan hij dacht…ik vroeg hem, wanneer komen de fueltrucks? Nu zichtbaar geïrriteerd antwoorde hij dat wanneer de stroom niet binnen 2 dagen weer terug was hij de diesel leverancier zou bellen om de tanks te vullen…
Ik kan niet anders concluderen dat een lichte paniek zich van mij meester begon te maken. Die mensen denken verkeerd. Denken te rechtlijnig…ik begrijp het wel. Maar het is niet goed.
De geagiteerde directeur kijkt op van achter zijn laptop en legt zijn pen neer…hij kijkt me aan en geeft me aan te vertellen wat ik op mijn hart of lever, zo je wil, heb.
Ik begin te praten…eerst van de hak op de tak…maar gaandeweg komt er meer structuur in. Ik moet me inhouden om niet alles tegelijk te vertellen.
Dus ik adviseer hem om ieder uur iemand met een peilstok de actuele diesel voorraad te meten en zo het actuele verbruik in kaart te brengen. Vervolgens een afschakelplan te maken. Alle niet essentiële verlichting moet uit. De fueltrucks moeten iedere 6 uur diesel komen leveren. De tanks moeten iedere 6 uur tot de nok toe gevuld worden. Dat moet met de leverancier worden overeengekomen.
De ratio hierachter is dat des te langer de stroomstoring duurt des te meer de vraag naar Diesel zal zijn. Dat is het moment dat je die reserve van 3 dagen nodig hebt. Als crisis manager denk je anders. Denk je aan scenario’s die waarschijnlijk nooit zullen voorkomen.
Een sleutelplan. Alle keycard readers zijn natuurlijk een geweldige uitvinding, maar worden de batterijen ook tijdig vervangen en worden deze getest zodat u zeker bent wanneer de stroom ook daadwerkelijk uitvalt? Is er een sleutelplan? Is er een protocol om sleutels uit te geven en weer gedocumenteerd in te nemen? De sleutel van de apotheek is echt een ticket naar het paradijs wanneer daar geen controle op is. Hoe lang kunt u zonder ICT? Heeft u dat wel eens getest? Wat is het moment om van een EPD (Electronisch Patienten Dossier) over te stappen op papier. Heb je dan alles nodig? Welke informatie heb je nodig om een patiënt in leven te kunnen houden? Wat moet je wanneer weten?
Breder kijken dan crisismanagement: welkom bij Business Resilience Management
Het is mijn visie, de visie van S23k, om organisaties te helpen weerbaarder te worden, onze kennis van crisis management te gebruiken in de oprechte hoop dat u ons nooit als crisis managers nodig zult hebben, en met deze kennis uw organisatie weerbaarder te maken.
Business Resilience Management helpt u zich voor te bereiden op bekende en onbekende risico’s. We trainen en oefenen allerlei situaties. Zo weten we dat in het voorbeeld van het diesel vraagstuk hierboven er meer nodig is dan alleen een generator neer te zetten.
Neem gerust contact met ons op voor een vrijblijvende intake. En wie weet slaapt u er ook een beetje beter door.
Helemaal waar, niet de hele organisatie moet continue met crisis bezig zijn, maar zij die de verantwoordelijkheid hebben wel. Dat moet gestructureerd en gedegen. Het voorbeeld van de fuel trucks is tekenend voor ‘de crisis is zo voorbij’. Dat maakt ook dat in tijden van recessie of pandemie bedrijven traag reageren. Het voorbeeld van militaire training ook, continue op het crisis scenario voorbereid zijn, dat doen maar heel weinig bedrijven.
Herkenbaar.
Ik snap niet dat er niet meer aandacht voor is.
In veel gevallen is er geen zicht op wat er allemaal nodig is om zaakjes goed voor elkaar te krijgen en te houden.
Het is complex en het kunnen geen eenmalige acties zijn!
Eens. Het van te voren doorleven van diverse scenario’s maakt het mogelijk om met gepaste financiele budgetten je veel ellende te besparen als er wat gebeurd. Onbewust zijn we met zijn allen steeds kwetsbaarder geworden door een toename van vele afhankelijkheden van derden en is het steeds moeilijker om de volledige afhankelijkheidsketen te doorgronden. Dat vergt een expert voorbereiding en een mindset change.
Herkenbare situaties en vraagstukken! Maar al te vaak meegemaakt dat op het moment dat het er op aankomt maar bar weinig mensen op de hoogte blijken van de protocollen, laat staan wat te doen als er iets gebeurt dat niet in het boekje staat.
Niet zelden zijn dit soort onderwerpen en dito maatregelen het slachtoffer van tijdgebrek of bezuinigingen; er is geen onmiddellijke ‘business value’, geen ‘Cost of Delay’… tot je natuurlijk potlood (te weinig op voorraad) en papier (blanco want printers wegbezuinigd wegens alles digitaal) staat uit te delen omdat je medewerkers niet meer bij hun SaaS applicatie kunnen, maar de telefoon wél over blijft gaan in het contactcenter.
Zeer herkenbaar helaas. Vergeet niet dat in het bedrijfsleven (nog) steeds brandjesblussers als helden gezien worden. Zoals Kotter het al in de jaren 90 van de vorige eeuw aangaf : “valse of misplaatste urgentie – het komt voort uit zorg, boosheid, frustratie. Niet door vastberadenheid om te willen winnen’. Het leidt tot veel activiteit in de organisatie maar niet tot productiviteit/efficiency verbetering. Je hebt helemaal gelijk maar of je ook gelijk krijgt daar is nog een oorlog voor te winnen.
Inderdaad herkenbaar. Het vooruit denken in scenario’s, het denken in scenario’s, is niet gebruikelijk. Het “dieselvoorbeeld” is in dat kader herkenbaar maar ook leuk om te lezen
Eens,
goed stuk tekst (met maar 1 spelfout 🙂 . Ik denk dat jullie heel wat bedrijven kunnen chalengen met doom scenario’s.
Het lijkt me beter dan pas JP bellen als er echt shit is om hem te bellen voordat dat gebeurt (wat een rare zin).
Draaiboeken testen is trouwens super tof, ik heb ooit voor een bedrijf dat JP goed kent failover scenarios mogen testen. Je wil niet weten wat er allemaal mis kan gaan 🙂
Crisis management is een vak, crisis voorkomen daarbinnen nog eens een specialisatie. Maar weinig bedrijven zijn in staat zich professioneel en naar verhouding voor te bereiden op calamiteiten. Als ze zich al bewust zijn van de risico’s…
Alle digitale afhankelijkheid maakt het ook niet makkelijker… wel dringender!
ik kan alleen maar beamen wat jij hebt beschreven. Vaak wil een bedrijf pas wat doen als het kalf verdronken is. Deze bewustwording moet ergens hoog in een organisatie gaan vallen. Meestal gaat de business as usual boven testen en goede draaiboeken. Vooral in deze Corona tijd is het omzet wat de klok slaat. Men denkt niet genoeg na wat de impact en imago schade kan zijn.
Het gevaar bij problemen oplossen zit in de aannames. Dingen als vanzelfsprekend nemen waardoor je iets cruciaals over het hoofd ziet. Een ervaren crisismanager kan dan juist het verschil maken omdat hij/zij niet onder de indruk is van het acute probleem maar vooruit kan denken. Daarmee is veel waarde toe te voegen, geen twijfel over mogelijk.
Goed stuk, heeft ook veel parallellen met de Covid-19 crisis, denk aan de IC capaciteit en de test capaciteit. We denken te vaak dat het wel goed zal gaan of dat het meevalt. Geen tijd en geld willen besteden als het dan toch een keertje anders is.
Mooi verwoord Jean Paul. Het bedrijfsadvies is om voorbereid te zijn op onverwachte dingen en een vast protocol te hebben hoe dan te handelen als die zich voordoen. Je kunt niet alles voorkomen maar als er toch iets onverwacht gebeurd moet je niet hoeven na te bedenken hoe te handelen maar gelijk kunnen acteren (crisis bestrijden). Mijns inziens moet je je van buiten-naar-binnen voorbereiden. Vooraf alle domeinen in kaart brengen, onderdelen per domein identificeren en beleggen en de daarbij behorende (beheer-)acties onderbrengen bij medewerkers. Ook in de tijd denken (er kan iets opraken, hoe aanvullen, reserves, alternatieven e.d.). Ook hierbij is voorkomen beter dan genezen. Veerkracht opbouwen! Jouw initiatief met S23k moet m.i. veel organisaties gaan aanspreken. Succes.