Driftudmeldinger

Udfald på GPU-as-a-Service Nedbrud Løst

Start: 8 hours ago 6 hours ago
Beskrivelse af udmelding

Vi har i nat oplevet udfald på vores GPU-as-a-Service platform. Følgende maskiner var berørt:

  • node73.gpufactory.io
  • node90.gpufactory.io
  • node91.gpufactory.io
  • node101.gpufactory.io
  • node115.gpufactory.io

Udfaldet startede kl. 02:30, og maskinerne er online igen fra kl. 04:10.

Vi beklager de gener, dette måtte medføre.

Object Storage-platformen ustabil Nedbrud Løst

Start: 5 days ago 4 days ago
Beskrivelse af udmelding

Årsag til hændelse: Platform ustabil/utilgængelig

Vores Object Storage-platform er på nuværende tidspunkt meget ustabil, og betragtes som værende utilgængelig.

Platformen blev midlertidig stabiliseret ca 10:02, dog er problemet genopstået ca 11:04.

Vi fejlsøger fortsat aktivt på årsagen, sammen med leverandøren.

Berørte kunder:
Kunder med følgende services er påvirket:

  • objXXXX.obj.storagefactory.io

Risiko for nedetid:
[Høj] – Platformen er utilgængelig.

Næste opdatering:
12:00 – eller tidligere, hvis der er væsentligt nyt.

Opdateringer

  • 3 days ago

    Platformen har kørt stabilt i 24 timer - vi anser derfor problemet for værende løst.

  • 4 days ago

    Platformen kører fortsat stabilt med workaround. Vores leverandør arbejder på en permanent løsning, med mindst mulig påvirkning af driften for øje.
    Vi fortsætter med at overvåge platformen (udvidet), så vi hurtigst muligt kan fange eventuelle problemer.
    Vi melder tilbage med en status så snart det er muligt.

  • 4 days ago

    Platformen er stabil med workaround implementeret, i samarbejder med leverandøren (kl 11:14)
    Vi arbejder på at finde en permanent løsning, sammen med leverandøren
    I mellemtiden holder vi ekstra øje med platformen, så vi kan reagere hurtigt hvis nødvendigt

  • 4 days ago

    Platformen er igen stabiliseret (ca. 11:14), dog fejlrettes der stadig.
    Vi kommer med en status igen kl 13:00

Incident TSM16.zitcom.dk backup server down Nedbrud Løst

Start: 5 days ago 5 days ago
Beskrivelse af udmelding

TSM16.zitcom.dk Backup Server is currently down.
Scheduled backups and restores via TSM16 are currently unavailable.
Restores can still be performed directly from the target server.
We are actively troubleshooting the issue in coordination with our backup supplier. Next update will be provided as soon as new information is available.

Opdateringer

  • 5 days ago

    The server is back online, and backup and restore services are fully available again.
    Sorry for the inconvenience.

Problemer med Veeam Cloud Connect platform Nedbrud Løst

Start: 10 days ago 9 days ago
Beskrivelse af udmelding

Vi ser i øjeblikket problemer med vores Veeam Cloud Connect platform, der betyder at backup og restore pånuværrende ikke kan køre igennem korrekt.

Følgende services er berørte:

  • veeamrepoX.hostedservices.nu

Følgende abonnemter er berørte:

  • CloudRepo
  • AgentRepo

Vi er ved at undersøge sagen og kommer med en opdatering senest kl. 11:00 eller før hvis der er nyt i sagen

Opdateringer

  • 10 days ago

    Vi hører fra flere kunder at systemet igen ser ud til at kører som skal.

    Vi monitorer forsat incident resten af dagen.

Opgradering af Object Storage platform Planlagt arbejde

Start: in 1 day - Forventet slut: in 5 days
Beskrivelse af udmelding

Årsag til afvikling: Opgradering af Object Storage platform

Vi opgraderer backend til en nyere version.

Kunder med følgende services er berørt af denne opdatering:

  • objXXXX.obj.storagefactory.io

Der kan være korte udfald på enkelte requests som de bagvedliggende noder opgraderes.

Vi beklager de gener det kan medføre.

Opgradering af Veeam Cloud Connect til version 13.1 Planlagt arbejde

Start: in 1 day - Forventet slut: in 2 days
Beskrivelse af udmelding

Vi opgraderer vores resterende Veeam Cloud Connect platform til Veeam version 13.1.

Bemærk, at Veeam Backup & Replication servere der ikke kører version 12.3.2.X eller nyere, ikke længere er supporteret af Cloud Connect'en efter opgradering til version 13.1.

Vigtig information om servicevinduet

  • Tidspunkt: Mellem kl. 07:00 og 21:00
  • Backup & Restore: Grundet arbejdet der skal udføres for at få de resterende servere i Cloud Connect platformen, vil backup & & restore være utilgængelig i det meste af service vinduet. Når platformen er opgraderet kommer der en opdatering herpå, og backup & restore vil være tilgængelig igen herefter.

Berørte abonnementer:

  • CloudRepo
  • AgentRepo

Services: Følgende services vil være berørte under servicevinduet

  • Veeam Cloud Connect: veeamrepo*.hostedservices.nu

Infrastructure upgrade of TSM Backup Servers Planlagt arbejde Løst

Start: 4 days ago - Slut: 3 days ago
Beskrivelse af udmelding

Our TSM Backup service provider will be performing scheduled maintenance on TSM backup servers. During this period, backup operations will be unavailable.
Restore operations will still be possible from target servers. The following backup servers will be affected:
TSM27.zitcom.dk
TSM20.zitcom.dk
TSM24.zitcom.dk
TSM1.zitcom.dk
TSM10.zitcom.dk
TSM12.zitcom.dk
TSM14.zitcom.dk
TSM16.zitcom.dk
TSM3.zitcom.dk
TSM7.zitcom.dk
TSM9.zitcom.dk

Konfigurations rettelse på Object Storage platform Planlagt arbejde Løst

Start: 11 days ago - Slut: 11 days ago
Beskrivelse af udmelding

Årsag til afvikling: Konfigurationsrettelse på Object Storage-platformen

For at rette periodiske 500-fejl i særligt belastede perioder retter vi en række indstillinger på Object Storage-platformen. Dette kræver, at vi genstarter services på noderne én ad gangen.

Under genstarten kan enkelte HTTP-requests fejle med en HTTP 500-fejl. Et retry vil som regel løse dette umiddelbart efter.

Berørte kunder:

Kunder med følgende services er berørt af denne konfigurationsrettelse:

  • objXXXX.obj.storagefactory.io

Risiko for nedetid:

[LAV] – Services genstartes én node ad gangen, hvorefter de øvrige noder overtager trafikken, indtil den genstartede node er klar igen.

Opgradering af Veeam Cloud Connect til version 13.1 Planlagt arbejde Løst

Start: 12 days ago - Slut: 10 days ago
Beskrivelse af udmelding

Vi opgraderer vores Veeam Cloud Connect platform til Veeam version 13.1.

Bemærk, at Veeam Backup & Replication servere der ikke kører version 12.3.2.X eller nyere, ikke længere er supporteret af Cloud Connect'en efter opgradering til version 13.1.

Vigtig information om servicevinduet

  • Tidspunkt: Mellem kl. 10:00 og 16:00
  • Backup & Restore: Vil være utilgængeligt i ca. 4 timer fra opstart af arbejdet.

Berørte abonnementer:

  • CloudRepo
  • AgentRepo
  • CloudLic

Services: Følgende services vil være berørte under servicevinduet

  • Veeam Cloud Connect: veeamrepo*.hostedservices.nu
  • Veeam Cloud Connect: veeambilling2.hostedservices.nu
Opdateringer

  • 10 days ago

    Migrering aflyst og dermed også upgrade til 13.1

    Beklageligvis må vi aflyse migreringen af Cloud Connect serverne til ny OS grundet større implikationer på Veeam Service Provider Console enden.

    Det er flere og store implekationer i migreringen af Cloud Connect serverne end først ansat, der kræver et større forbedredelse arbejde for at kunne udføre migreringen.

    De gamle servere er taget online igen, og er igen tilgængelig på kunde siden.

    Vi beklager meget for de gener der har måtte være med opgraderingen i går og i dag.

    Når vi har en fuldendt plan for migreringen, vil der komme en ny drift umelding.

  • 11 days ago

    Problemer med opgradering. Løsning rullet tilbage

    Der er problemer med det underliggende OS på de servere som hoster CloudRepo og AgentRepo.

    Vi har taget en beslutning om at rulle serverne er tilbage til før upgrade, for at undgå yderligere nedetid på løsningen i dag.

    Derfor er der planlagt et nyt service vindue i morgen mellem 10:00 og 14:00, hvor løsningen migreres til nogen nye servere og efterfølgende opgraderes til version 13.1

    Vi beklager for de gener dette måtte have.

  • 11 days ago

    Følgende abonnementer og services er online igen:

    • CloudLic
    • Veeam Cloud Connect: veeambilling2.hostedservices.nu

    Følgende abonnementer og services er fortsat offline pga. opgraderingen, og nedetid for opgraderingen er udvidet til kl. 18:00.

    • CloudRepo
    • AgentRepo
    • Veeam Cloud Connect: veeamrepo*.hostedservices.nu

Konfigurations rettelse på Object Storage platform Planlagt arbejde Løst

Start: 15 days ago - Slut: 15 days ago
Beskrivelse af udmelding

Årsag til afvikling: Konfigurationsrettelse på Object Storage-platformen

For at rette periodiske 500-fejl i særligt belastede perioder retter vi en række indstillinger på Object Storage-platformen. Dette kræver, at vi genstarter services på noderne én ad gangen.

Under genstarten kan enkelte HTTP-requests fejle med en HTTP 500-fejl. Et retry vil som regel løse dette umiddelbart efter.

Berørte kunder:

Kunder med følgende services er berørt af denne konfigurationsrettelse:

  • objXXXX.obj.storagefactory.io

Risiko for nedetid:

[LAV] – Services genstartes én node ad gangen, hvorefter de øvrige noder overtager trafikken, indtil den genstartede node er klar igen.

Planlagt Opgradering af infrastruktur på OnPay betalingsløsning Planlagt arbejde Løst

Start: 18 days ago - Slut: 18 days ago
Beskrivelse af udmelding

Planlagt opgradering af infrastruktur Kunder med følgende services kan blive påvirket under servicevinduet i form af manglende netværksadgang til servicen: Betalingsgateway.
Risiko for nedetid: Høj. Selvom de berørte dele indgår som del i et redundant setup, kan platformen være utilgængelig, da kritiske komponenter opdateres. Forventede længste udfald er på 1 min.

Vigtig sikkerhedspatch til Citrix på hosted.dk Planlagt arbejde Løst

Start: 23 days ago - Slut: 23 days ago
Beskrivelse af udmelding

Grundet en vigtig sikkerhedsopdatering, som netop er frigivet til Citrix NetScaler, opdaterer vi i aften vores NetScalere, som håndterer Citrix fjernskrivebordsforbindelser til Hosted.dk.

Opdateringen bør ikke påvirke eksisterende forbindelser andet end måske give et kort hop i forbindelsen.
Skulle en session blive afbrudt, så forsøg at starte sessionen på ny.

Opdatering af VMware platform Planlagt arbejde Løst

Start: 1 month ago - Slut: 22 days ago
Beskrivelse af udmelding

Årsag til afvikling: Opdatering af VMware platform
Vi opdaterer alle vores ESXi hosts til nyeste 8.0 release
Grundet VMSA-2026-0006 udføres denne opdatering med kort varsel

Kunder med følgende services er berørt af denne opdatering:

  • VDC - Virtual Datacenter
  • CRP - Cloud Ressource Pool

Opdateringerne kommer til at ske, i perioden fra onsdag d. 29. juli til og med fredag d. 21. August, i tidsrummet fra kl. 17 til kl. 05.

Under opdateringen vil VMs migrere rundt mellem de resterende hosts i clusteret, på samme vis som DRS i dag automatisk migrere VMs rundt for at sprede loadet bedst muligt.
Dette vil have minimal indvirkning på VMs der ligger i clusteret, dog kan mere sensitive VMs mærke til dette, i form af korte timeouts mens de flyttes mellem hosts.