Vi har nu afsluttet verificeringen af udrulningen. Alle Linux-servere, hvor vi har driftsansvaret for middleware, samt alle webhoteller kører nu på de rettede PHP-pakker. De midlertidige sikkerhedsforanstaltninger fra tidligere er dermed erstattet af de officielle rettelser.

Servere uden for vores driftsansvar er ikke blevet opdateret af os. Vi anbefaler på det kraftigste, at PHP opdateres hurtigst muligt.

Vi følger fortsat udviklingen omkring sårbarhederne og vil opdatere, såfremt der kommer nye oplysninger, der kræver handling.

Udrulningen af de rettede PHP-pakker er nu også gennemført på vores webhoteller, og samtlige PHP-versioner på platformen er dermed opdateret.

Vi er i gang med en samlet gennemgang af alle berørte servere for at verificere, at opdateringen er korrekt gennemført overalt. Vi opdaterer fortsat denne driftsmeddelelse.

Udrulningen af de rettede PHP-pakker er nu gennemført på alle servere, hvor vi har driftsansvaret for middleware. Servere uden for vores driftsansvar er som tidligere nævnt ikke omfattet, og vi anbefaler fortsat, at man opdaterer PHP hurtigst muligt.

Arbejdet med webhotellerne fortsætter. Vi afventer, at de rettede pakker er fuldt synkroniseret ud til pakkespejlene, og påbegynder udrulningen, så snart de er tilgængelige. Vi opdaterer denne driftsmeddelelse løbende.

Vi påbegynder nu også udrulningen på vores AlmaLinux 9-servere. Der skal som før forventes kortvarige udfald, når PHP-tjenesterne genstartes.

For webhotellerne afventer vi, at de rettede pakker er synkroniseret ud til leverandørens pakkespejle (mirrors). Vi forventer at kunne påbegynde udrulningen inden længe og opdaterer denne driftsmeddelelse løbende.

Vi har nu testede pakker klar til vores AlmaLinux 8- og AlmaLinux 10-servere og påbegynder udrulningen nu. Der skal forventes kortvarige udfald, når PHP-tjenesterne genstartes.

Webhoteller og øvrige servere med andre operativsystemer afventer fortsat testede pakker. Vi opdaterer denne driftsmeddelelse, når udrulningen på disse kan påbegyndes.

Plesk har frigivet patchede PHP-pakker, og vi har nu opdateret alle Plesk-servere, hvor vi har driftsansvaret for middleware. Der kan i den forbindelse have forekommet kortvarige genstarter af PHP-tjenester.

For vores øvrige platforme afventer vi fortsat, at der er testede pakker klar til alle versioner. Vi opdaterer denne driftsmeddelelse, når der er nyt.

Leverandørerne er nu begyndt at frigive patchede pakker. Vi er i gang med at teste dem og sikre, at der er opdaterede pakker til alle de PHP-versioner og platforme, vi drifter.

Vi igangsætter nødpatch-vinduet, så snart testen er gennemført, og pakkerne er klar til udrulning. Vi opdaterer denne driftsmeddelelse med tidspunktet, når det er fastlagt.

De midlertidige sikkerhedsforanstaltninger fra tidligere i dag er fortsat aktive.

Vi har nu implementeret en række midlertidige sikkerhedsforanstaltninger på vores webhoteller, herunder justeringer af PHP-konfigurationen, som skal reducere risikoen for udnyttelse af de annoncerede sårbarheder.
Vi undersøger desuden yderligere beskyttelsesmekanismer, som kan bidrage til at afværge angrebsforsøg.
Disse tiltag er midlertidige og erstatter ikke de officielle sikkerhedsrettelser. Planen for opdatering af PHP er uændret.

Alle servere er nu online igen, og adgangen er genetableret.

Backup og restore-jobs fungerer igen som normalt. Vi anbefaler, at I kontrollerer, at jeres planlagte backupjobs kører som forventet, og eventuelt starter en manuel backup, hvis et job er sprunget over under udfaldet.

Vi fortsætter med at overvåge platformen tæt for at sikre stabil drift.

Vi har nu åbnet for adgangen til følgende servere:

backup1.zitcom.dk
backup2.zitcom.dk
backup3.zitcom.dk
backup4.zitcom.dk
backup6.zitcom.dk
backup7.zitcom.dk
backup8.zitcom.dk
backup9.zitcom.dk
backup10.zitcom.dk
backup11.zitcom.dk
backup01.dandomain.dk
backup01.scannet.dk

Arbejdet fortsætter så vi kan få de sidste servere online igen.

Vi arbejder fortsat på at løse problemet, og sagen har højeste prioritet. Vi beklager ulejligheden og opdaterer, så snart der er nyt.

Vi arbejder stadig på højtryk for at løse problemet.
Enkelte servere kommer online løbende.

Der arbejdes sideløbende på hændelsesforløb som vi kan dele efterfølgende.

Vi har modtaget en rettelse (early access build) direkte fra Citrix til de sårbarheder, der lå til grund for, at vi tog vores Citrix NetScalers offline som en forebyggende sikkerhedsforanstaltning.

Rettelsen er nu blevet installeret. Sammen med at vi løbende har gennemgået alle indikatorer på kompromittering (IOC'er), vi har modtaget, uden at finde tegn på, at vores miljø har været udsat — bringer vi nu systemerne online igen.

Vær opmærksom på, at dette endnu ikke er en officiel, offentligt tilgængelig rettelse fra Citrix — det er en tidlig opdatering, vi har modtaget direkte fra Citrix. Vi forventer, at Citrix udgiver officiel information, CVE-numre og en endelig rettelse (GA) inden for de kommende dage.

Vi følger fortsat situationen tæt i den mellemliggende periode og laver en ny opdatering, når vi har behov for at planlægge servicevindue ift. GA-opdatering.

Vi har modtaget yderligere information om kompromitteringsindikatorer (IoC'er), som vi har brugt til at analysere vores NetScaler-miljø. Vi har fortsat ikke fundet tegn på kompromittering.

Da Citrix endnu ikke har udgivet en patch eller yderligere detaljer, fastholder vi beslutningen om at holde adgangen til Citrix lukket, indtil en patch er tilgængelig og installeret. Forventningen er, at vi modtager en patch til installation i løbet af i dag.

Vi opdaterer med ny status, så snart der er nyt fra Citrix eller anden relevant udvikling.

All servers are back online and ready for backup and restore operations.

Please note that, in some cases, the previous TSM client session or scheduler service may hang. If this occurs, restarting the TSM scheduler services will resolve the issue.

We apologize for any inconvenience.

All servers are back online and ready for backup and restore operations.

Please note that, in some cases, the previous TSM client session or scheduler service may hang. If this occurs, restarting the TSM scheduler services will resolve the issue.

We apologize for any inconvenience.

Vores Object Storage-platform har kørt stabilt siden i går middag, og vi har siden da ikke observeret flere af de periodiske HTTP 500- og 503-fejl, som har berørt platformen.

Vi følger fortsat platformen tæt over weekenden - forløber perioden uden nye udfald, anser vi problemet for løst. Når dette er verificeret, vender vi tilbage med en beskrivelse af årsagen til problemet.

Vi takker for tålmodigheden og beklager de gener det har medført.

Vi ser igen en stigning i antallet af HTTP 503-fejl på Object Storage-platformen, samt nogle HTTP 500-fejl.

Der arbejdes fortsat på sagen sammen med software leverandøren.

Vores Object Storage-platform har kørt stabilt siden kl. 13:46 i dag, og vi har siden da ikke observeret flere af de periodiske HTTP 500- og 503-fejl, som har berørt platformen.

Vi følger fortsat platformen tæt de næste 48 timer - forløber perioden uden nye udfald, anser vi problemet for løst. Når dette er verificeret, vender vi tilbage med en beskrivelse af årsagen til problemet.

Vi takker for tålmodigheden og beklager de gener det har medført.

Vi oplever fortsat periodiske HTTP 500- og 503-fejl på platformen, og der arbejdes fortsat på sagen sammen med software leverandøren.

Her til morgen er der lavet adskillige konfigurationsændringer på platformen for at afhjælpe problemet.

Vi kommer med den næste status i morgen, onsdag d. 23. september, kl. 10:00 - eller tidligere, hvis der er væsentligt nyt.

Vi oplever fortsat små, periodiske HTTP 500- og 503-fejl på platformen, hvor et retry som regel løser requestet.

Der arbejdes stadig på sagen sammen med software leverandøren, og platformen monitoreres løbende.

Vi kommer med den næste status i morgen, tirsdag d. 22. september, kl. 10:00 – eller tidligere, hvis der er væsentligt nyt.

Ingen væsentlig ændring siden sidste status: Vi ser fortsat sporadiske HTTP 500- og 503-fejl på platformen, og der arbejdes stadig på at finde og rette årsagen sammen med software leverandøren.

Et retry løser som regel de requests, der fejler.

Vi kommer med den næste status kl. 16:00 - eller tidligere, hvis der er væsentligt nyt.

Status på platformen: Antallet af HTTP 503-fejl er nu nærmest forsvundet, mens antallet af HTTP 500-fejl fortsat er faldende, men endnu ikke helt væk.

Platformen monitoreres løbende, og der arbejdes videre på sagen sammen med software leverandøren.

Vi kommer med den næste status kl. 14:00 - eller tidligere, hvis der er væsentligt nyt.

Problemet er endnu ikke løst, og der arbejdes fortsat på sagen sammen med software leverandøren.

Omfanget er uændret: meget sporadiske HTTP 500- og 503-fejl, hvor et retry som regel løser requestet.

Vi forventer at komme med den næste status i morgen, mandag d. 21. september, kl. 10:00 - eller tidligere, hvis der er væsentligt nyt.

Vi oplever stadig meget sporadiske HTTP 500- og 503-fejl på platformen, men på et væsentligt lavere niveau end tidligere.

Platformen monitoreres fortsat, og sagen følges sammen med software leverandøren.

Vi kommer med den næste status i morgen, søndag d. 20. september, kl. 11:00 - eller tidligere, hvis der er væsentligt nyt.

Vi arbejder fortsat aktivt på sagen i tæt samarbejde med software leverandøren.

Den tidligere udmeldte forbedring holder: Antallet af HTTP 503-fejl er faldet markant og ligger nu på et meget lavt niveau, mens der fortsat opstår periodiske HTTP 500-fejl. Software leverandøren arbejder videre på at finde og rette årsagen hertil.

Fejler et enkelt request, lykkes et retry som regel umiddelbart efter, og de fleste kunder vil derfor ikke bemærke noget til fejlene.

Platformen monitoreres fortsat løbende.

Vi kommer med en ny status igen kl. 21:00 – eller tidligere, hvis der er væsentligt nyt.

Vi arbejder fortsat på sagen.

Der er allerede indført adskillige tiltag på platformen i samarbejde med software leverandøren, og det har haft en tydelig effekt: Antallet af fejlede requests (HTTP 500 og 503) er markant reduceret i løbet af dagen, men fejlene er endnu ikke helt væk.

Fejlsøgningen fortsætter, og platformen monitoreres løbende.

Vi kommer med en ny status igen kl. 18:00 – eller tidligere, hvis der er væsentligt nyt.

Serveren er online og kørende igen

Backup serveren er igen online efter service.