I fredags blev världen blå. Windows-datorer runt hela jorden fastnade i oändliga omstartsloopar med illavarslande varningsblå återställningsskärmar. Driftstörningarna orsakades av en uppdatering som säkerhetsföretaget Crowdstrike skickade ut till Crowdstrike Falcon – ett avancerat antivirusprogram för företagsbruk. Uppdateringen innehöll en bugg som gjorde att datorerna kraschade och, värst av allt, kraschade igen när de skulle starta på nytt.
Jag gästade SVT Rapport och TV4 Nyheterna för att berätta om situationen. SVT lade också upp ett kompletterande webbinslag där jag svarade på några snabba frågor. Du kan se inslaget på SVT:s webbplats.
Driftstörningarnas samhällspåverkan blev märkbar. I Sverige påverkades bland annat detaljhandeln, gruvnäringen, kollektivtrafiken och flygtrafiken. TV4 rapporterade att flygresenärer dessutom får svårt att få ersättning eftersom flygbolagen kan hävda att det har rört sig om extraordinära omständigheter.
Ur ett tekniskt perspektiv har flygbolagen dessutom rätt. Crowdstrike Falcon-buggen gav upphov till de historiskt största antivirusorsakade driftstörningarna. Antivirus har orsakat liknande driftstörningar förut. 2010 råkade säkerhetsföretaget McAfee orsaka snarlika problem efter att de hade råkat rulla ut en buggig uppdatering. I Sverige slog McAfee-uppdateringen ut bland annat 28 av Systembolagets butiker. Crowdstrikes nuvarande VD lär ha slagits av déjà vu i fredags eftersom han var teknikchef på McAfee under incidenten 2010.
På grund av incidenter som dessa har jag sett flera diskussioner om huruvida säkerhetsprodukter såsom Crowdstrike Falcon gör större skada än nytta. Jag vill därför vara väldigt tydlig med att nyttan är mångdubbelt större. När allt kommer till kritan orsakade Crowdstrike Falcon-buggen strikt tillgänglighetspåverkande säkerhetsincidenter. Ingen data läckte till angripare. Ingen data gick förlorad (det kan finnas enskilda undantag).
Med det sagt måste vi ändå fundera över riskerna som uppstår av att ett företag som Crowdstrike kan slå ut uppskattningsvis 8,5 miljoner datorer (Microsofts uppskattning). På fredag kommer vi av förklarliga skäl dedikera veckans Bli säker-poddavsnitt till just denna fråga. Då kommer jag också att förklara varför just Crowdstrike Falcon-buggen kunde få så stora konsekvenser. För er som inte vill vänta till på fredag kan jag rekommendera Youtube-videon ”CrowdStrike IT Outage Explained by a Windows Developer” där den numera pensionerade Windows-utvecklaren Dave Plummer förklarar det tekniska grundproblemet.
Jag vill redan nu passa på att korrigera två vanliga missuppfattningar som florerar på webben. För det första antyds det att Microsoft skulle ha orsakat problemet. Detta stämmer inte. Det var Crowdstrike som hade bristande rutiner (eller inte följde sina rutiner) och som rullade ut en buggig uppdatering. Skulden ligger helt på Crowdstrikes axlar och ska inte belasta Microsoft.
För det andra skrattar många åt att Windows-datorer kraschade och undrar varför företagen inte kör Linux i stället. Detta är kritik som Windows inte har gjort sig förtjänt av eftersom det inte var Windows fel att Windows kraschade. Crowdstrikes Falcon-mjukvara orsakade både att Windows kraschade och att Windows inte kunde starta igen. I våras orsakade Crowdstrike Falcon dessutom liknande problem på Linux-baserade datorer, så även om jag är en varm Linux-förespråkare är detta fel tillfälle att peka finger.
Avslutningsvis vill jag tipsa om att Cert-SE (del av MSB) underhåller en webbsida med samlad information om incidenten. Där hittar du länkar till information från både Crowdstrike och Microsoft. Jag vill varna för att angripare, i detta nu, sprider falska återställningsverktyg som i själva verket infekterar fler datorer. Amerikanska cybersäkerhetsmyndigheten Cisa har gått ut med en varning för detta. Om du ansvarar för IT-miljön i en organisation som har drabbats av buggen bör du därför vara extra försiktig innan du laddar ned program eller loggar in på webbplatser som påstås vara Crowdstrike-relaterade. Om du inte har drabbats av buggen eller inte ens använder Crowdstrike Falcon kan du ignorera alla eventuella åtgärdsuppmaningar som dyker upp.
Vanliga hemanvändare behöver inte vidta några åtgärder. Alla mejl, SMS och inlägg på sociala medier som hävdar motsatsen är bedrägeri- eller attackförsök.
Sommarblå hälsningar
Karl Emil Nikka
Crowdstrike har publicerat en oväntat välskriven och detaljerad artikel som förklarar hur deras buggdrabbade mjukvara Falcon Sensor underhålls. De förklarar också vad som gick fel i fredags och listar åtgärderna som de vidtar för att reducera risken för att fredagens säkerhetsincident upprepas. De skriver bland annat följande.
“Implement a staggered deployment strategy for Rapid Response Content in which updates are gradually deployed to larger portions of the sensor base, starting with a canary deployment.”
(Rapid Response Content syftar på filtypen vars innehåll väckte den sovande buggen.)
Crowdstrike ska också ge kunderna möjlighet att styra utrullningstakten av dessa uppdateringar. Detta är klokt eftersom det låter IT-avdelningen anpassa utrullningstakten utifrån verksamhetens (eller delar av verksamhetens) skyddsbehov och hotbild. Säkerhetsleverantörer som Crowdstrike sitter annars i en besvärlig sits. Ju längre tid de lägger på testande, desto längre tid lämnas deras kunder utan de senaste detektionsmöjligheterna.
“Provide customers with greater control over the delivery of Rapid Response Content updates by allowing granular selection of when and where these updates are deployed.”
Den preliminära rapporten var glädjande läsning. Om Crowdstrike fortsätter att visa samma transparens tror jag att de faktiskt kan repa sig och återvinna förtroende.
Som tidigare nämnt dedikerar vi givetvis fredagens avsnitt av Bli säker-podden till Crowdstrike-incidenten.
https://www.crowdstrike.com/falcon-content-update-remediation-and-guidance-hub/