När man ansvarar för affärs- och samhällskritiska IT-system dyker det ibland upp något som behöver tas om hand direkt, även om det är söndag. Det fick Tripnet nyligen erfara. Systemingenjörerna Robert Wemmenlöv, Rasmus Johansson och Sven Floman, teknisk chef Martin Dohmen och vd Ulf Persson pratar om vad som hände.
Det var en gång en helt vanlig söndagskväll ...
Robert tar oss tillbaka till hur det började. Han berättar att han redan tidigare under helgen hade uppmärksammat uppgifter om en sårbarhet i vår lastbalanseringstjänst, Citrix NetScaler. Informationen var ännu inte konkret, men på söndagskvällen kom tydligare besked och en uppdatering från leverantören. Robert läste på och tittade närmare på systemen. När han såg leverantörens uppmaning att uppdatera behövde han stämma av sin bedömning och få fler ögon på problemet.
– Då tänkte jag att det här är så pass allvarligt att vi behöver göra något nu. Jag ringde Martin. Vi behövde förstå vad det betydde för oss och om våra system var berörda, berättar Robert.
Kalla på förstärkning, behöver vi göra patchning?
Martin fyller i och berättar hur de gick igenom informationen tillsammans. Hans del av bedömningen tog fem till tio minuter. De kom fram till att uppdateringen behövde genomföras, och Robert hade redan tagit fram Svens dokumentation. Sven är systemägare och huvudansvarig för tjänsten. När de nu pratar om kvällen vill Martin lyfta Robert.
– Jag tycker att det var bra gjort av dig att ta det ansvaret, Robert. Du satt med något som du inte hade gjort tidigare, men hade ändå börjat titta på hur vi skulle lösa det. Och Sven, det var väldigt bra instruktioner som fanns där. Robert hade hittat dem och kommit en bit på väg, säger Martin.
Robert hade fortsatt försöka få hjälp om Martin inte hade svarat, samtidigt som han förberedde arbetet själv. Svens dokumentation gav honom något att hålla sig till. Att också få resonera med en annan erfaren person gjorde bedömningen tryggare. Robert vet vad som står på spel och har respekt för att en förändring kan påverka kundernas verksamheter.
– Min utgångspunkt var att vi behövde lösa det. Det är klart att man blir lite orolig när man ska uppdatera något man inte brukar arbeta med. Man vill ju inte orsaka en driftstörning. Men alternativet, att låta ett allvarligt säkerhetshål vara kvar, behöver man också ta på allvar, säger Robert.
Dags för patchning
När Sven kom in i arbetet fick han en genomgång av Robert och Martin, ställde några frågor och gick vidare med uppdateringen. De känner varandra väl och kan använda varandras bedömningar för att komma vidare.
– Jag litar fullt ut på mina kollegor. När de har undersökt saken och kommit fram till att det är akut finns det ingen anledning för mig att göra om analysen. Jag behövde förstå vad de hade sett, och sedan var det dags att göra jobbet, säger Sven.
Nästa steg var att uppdatera med så liten påverkan som möjligt. Lastbalanseringen styr trafik till kundernas system och är byggd med redundans. En del kan uppdateras medan en annan används, och därefter flyttas trafiken till den uppdaterade delen genom en så kallad failover. Systemingenjörerna behövde också väga in vad de visste om varje kunds miljö. Sven berättar hur det påverkade kontakten och tidpunkten
för arbetet.
– Vi visste att en av kunderna var känslig för förändringar i sin miljö, så vi ringde och pratade med dem först. För den kunden gjorde vi växlingen vid ett på natten. För övriga gjorde vi den tidigare under kvällen. Det gick väldigt snabbt att flytta trafiken, berättar Sven.
Viktigt att följa upp efter patchning
Under kvällen prioriterades att få trafiken över till den uppdaterade delen av tjänsten. Den andra delen behölls tillfälligt ouppdaterad som möjlighet att gå tillbaka om något skulle gå fel. Därefter fortsatte arbetet med ytterligare kontroller, uppdatering av de återstående delarna och verifiering av funktionen. När gruppen går igenom uppföljningen kommer de också in på problem som behövde undersökas efteråt. Ett DDoS-skydd, som ska skydda mot överbelastningsattacker, stoppade viss legitim webbtrafik. Problemet felsöktes och åtgärdades, och Sven lyfter särskilt fram Rasmus ”briljanta insats” i det arbetet. Om det fanns ett samband med NetScaler-uppdateringen var inte klarlagt när vi höll samtalet.
Uppföljningen omfattade också frågan om någon hade hunnit utnyttja sårbarheterna före uppdateringen. Sven gick igenom systemen för att undersöka tecken på det. Ulf vänder sig till honom och lyfter fram den omsorgen – att följa upp vad som kan ha hänt även när den akuta åtgärden är genomförd.
– Det tycker jag är väldigt bra, Sven. Du gick vidare och tittade på om det kunde ha varit ett intrång innan vi fick på uppdateringen. Vi vill ju både åtgärda felet och förstå vad som kan ha hänt under tiden som det fanns där. Det är ett sådant engagemang jag uppskattar hos er, som våra kunder uppskattar, säger Ulf och ser ut att vara väldigt stolt över sina kollegor.
Patchning eller vänta – det är frågan
Det för samtalet tillbaka till Roberts avvägning under kvällen. En uppdatering kan ge störningar, men att vänta innebär också en risk. Systemingenjörerna känner igen ansvaret och hjälps åt att sätta ord på vad båda alternativen kan betyda för kunden. Sven återkommer till konsekvenserna om någon obehörig får tillgång till information.
– Jag tror att många kunder uppskattar att man agerar när man har gjort en ordentlig bedömning och ser att det är allvarligt. Det är inte roligt att få störningar i sitt system, men vi behöver också tänka på vad ett intrång kan innebära. Information som har hamnat i fel händer får man inte tillbaka genom att laga systemet, säger Sven.
Ulf poängterar vikten av att förstå kundens verksamhet och förväntningar för att kunna fatta genomtänkta beslut när
tiden är knapp.
– Vi behöver känna till kundens förväntningar och prata om hur vi ska agera i olika lägen. Hur viktiga är systemen? Vad händer om de blir otillgängliga en stund, och vad händer om information hamnar i fel händer? Den här gången kunde vi växla över mellan systemen. I andra situationer kan förutsättningarna vara annorlunda. Våra nära kundrelationer och killarnas personliga engagemang i varje kund gör att vi kan agera, och vara trygga i att vi fattar rätt beslut, säger Ulf.
Vi backar varandra
Robert bygger vidare på frågan om trygghet och lyfter stödet runt den systemingenjör som har ansvaret för stunden. Instruktioner, rutiner och möjligheten att prata med någon i gruppen hjälper. Men man behöver också veta att ett välgrundat beslut får stöd om uppdateringen skulle ge följdproblem. Ulf tar fasta på det ansvaret.
– Det är viktigt för mig som ytterst ansvarig att ni känner att ni har mandat att agera. Och att ni vet att jag står bakom er och försvarar ett välgrundat beslut även om något skulle gå fel. Ni behöver kunna göra det som situationen kräver och känna er trygga i det, säger Ulf.
Rasmus känner igen sig i det de andra beskriver. Han arbetar ofta kvällar och nätter och vet hur det kan kännas att vara den som behöver ta tag i en situation. Samtidigt upplever han att tempot har förändrats. Med hjälp av AI går både upptäckten av sårbarheter och arbetet med att förstå hur de kan utnyttjas snabbare. Mängden säkerhetsbrister gör det också svårt att gå igenom allt manuellt.
– Man har fått ett helt annat tänk än för ett eller två år sedan. Det går mycket snabbare nu, och det har man ju sett med AI. Då kan man inte vänta på samma sätt. Det är klart att det kan vara tufft att sitta ensam på natten och fatta ett beslut som påverkar våra kunder. Jag kan ringa en kollega och stämma av, men jag behöver ändå ta tag i situationen. Hade det handlat om en allvarlig sårbarhet i brandväggarna hade jag nog valt att patcha, kanske efter att först ha försökt få tag på Robert, säger Rasmus.
Rasmus ord leder vidare till hur fler systemingenjörer kan få den tryggheten. Robert betonar att instruktionerna också behöver fungera för den som inte redan kan miljön. Martin vill att fler ska uppgradera systemen tillsammans med den som normalt ansvarar för dem. Det finns ett värde i att ha gjort arbetet och veta vad man kommer att möta.
– Om man har varit med om en uppgradering tidigare blir det mindre oro i magen när man ska göra den själv. Vi behöver sprida erfarenheten så att fler kan hjälpa till. Då blir vi också mindre beroende av att just en viss person går att få tag på, säger Martin.
Vänta inte för länge
Förberedelserna handlar också om hur systemen tas om hand mellan de akuta insatserna. Robert tar upp patchskuld, som innebär man avvaktat med mindre viktiga uppdateringar under en längre tid. Sven känner igen hur besvärligt arbetet kan bli när en miljö har halkat långt efter från en tidigare arbetsplats. Uppdateringar som skjuts framför en kan göra nästa steg större och mer komplicerat. När något är brådskande vill man inte samtidigt behöva ta igen flera års underhåll. Det löpande arbetet ger systemingenjörerna bättre förutsättningar att hjälpa kunden när nästa allvarliga sårbarhet dyker upp.
– Det är lätt att tänka att nu fungerar det, så vi gör ingenting. Men då kan jobbet bli betydligt svårare den dag vi verkligen måste uppdatera. Vi behöver hålla systemen uppdaterade även mellan de akuta insatserna, säger Robert.
Håll kunderna informerade före och efter patchning
När gruppen pratar om vad kunden behöver kommer de också in på informationen efter en akut insats. Kunden som kontaktades under kvällen fick veta vad som skulle göras, och övriga berörda kunder informerades på måndagsmorgonen. Systemingenjörerna funderar på hur det kan bli enklare att snabbt nå rätt kontaktpersoner. Sven beskriver värdet av att kunden får ett besked från oss innan en varning eller en fråga från någon i den egna verksamheten väcker oro. Att berätta vad vi har gjort är också ett sätt att ta hand om kunden.
– Det behöver inte vara en lång text. Vi kan berätta vad vi har uppdaterat och varför. Då kan kunden dricka sitt morgonkaffe utan att först behöva ringa och fråga om vi har hanterat problemet. Jag tror att det ger en trygghet att få den informationen direkt från oss, säger Sven.
En ständig strävan att bli bättre
Här i soffgruppen har samtalet hela tiden rört sig mellan vad som hände och vad som kan bli bättre. Systemingenjörerna delar med sig av sin erfarenhet och är öppna med det som kan utvecklas. Ulf uppskattar den viljan, men vill också att de stannar upp och tar till sig vad de faktiskt åstadkommit.
– Vi sätter oss här för att prata om en insats som ni har gjort väldigt bra. Och nästan direkt börjar ni fundera på hur vi kan göra det ännu bättre. Jag tycker att det är häftigt att jobba med kollegor som tar ständiga förbättringar på så stort allvar, säger Ulf. Samtidigt, fortsätter han, ta nu en minut och ta till er hur grymma ni faktiskt är!
Bytte myskväll mot patchning
Mot slutet återvänder vi till den lediga kvällen som fick avbrytas. Martin hade gärna fortsatt med sitt, men ville inte lämna Robert ensam med problemet. Sven skämtar om att myskvällen med frun fick ge plats åt uppdateringen. Bakom skämtet finns samma omtanke som har följt hela samtalet. När någon behöver hjälp ställer man upp, och man behöver inte vara expert på just det systemet för att kunna bidra. Ibland betyder det mycket att få resonera med någon som förstår ansvaret.
– Vi har tagit på oss ett ansvar och då får vi hjälpas åt att lösa det, även om det händer på en helg. Man behöver inte kunna allt för att göra nytta. Ens input eller närvaro kan betyda mycket för den som sitter där, säger Sven.
Det är just den omtanken Ulf vill att fler ska få en bild av. Systemingenjörerna känner kunderna, förstår att deras system är viktiga och hjälper varandra att ta hand om dem. Här i soffgruppen blir det synligt i hur de berättar om kvällen, ger varandra uppskattning och delar med sig av det de har lärt sig. Sven tycker inte om att skryta, men Ulf tar gärna på sig att berätta vad han ser hos gruppen.
– Det är mitt jobb att berätta hur bra mina kollegor är. Med de kollegor jag har är det faktiskt superenkelt, säger Ulf med ett leende.
Läs även När det blir farligare att vänta än att patcha och Snabbare patchning i praktiken där vi berättar mer.
