Oude incidenten

Statusupdate vanuit Leverancier:

Vanwege het isoleren van PG's en het toevoegen van extra OSD's in het cluster, is Ceph nu aan het 'recoveren' en aan het 'backfillen'. Grote hoeveelheden data worden momenteel verplaatst en gerepliceerd. Binnenkort kunnen de Cephfs pools ook weer online gebracht worden. Shared storage binnen het virtualisatie platform draait op zo'n Cephfs pool. De virtual machines die geen Cephfs disk gebruiken zullen dus wel al functioneren.

Statusupdate vanuit Leverancier:

Een groot deel van de PG's die nu geïsoleerd worden, zullen niet apart teruggeplaatst hoeven te worden omdat er andere OSD's zijn waar die PG wel beschikbaar is. Voor PG's die niet automatisch kunnen recoveren is uit tests duidelijk geworden dat ze wel apart geïmporteerd kunnen worden. Er wordt geen dataverlies verwacht als gevolg van dit incident.

Statusupdate vanuit Leverancier:

Er komen steeds meer, voorheen crashende, OSD's weer beschikbaar. Het zal nog enige tijd duren voordat alle OSD's weer beschikbaar zijn. Er wordt nog onderzocht of de geïsoleerde PG's weer beschikbaar gemaakt kunnen worden.

Statusupdate vanuit Leverancier:

De problematische PG's worden geïsoleerd van de crashende OSD's, waarna die OSD's naar verwachting wel zullen starten.

Statusupdate vanuit Leverancier:

Een deel van de placement groups (PG) veroorzaakt problemen en zorgt ervoor dat bepaalde OSD's niet starten. Als die PG uit de OSD gehaald wordt start de OSD wel. Er wordt nu onderzocht of dit voor alle creashende OSD's geldt en hoe de geïsoleerde PG alsnog toegevoegd kan worden aan een OSD. Als data op de storage wordt geplaatst, worden objecten gemapped naar PG's. PG's op hun beurt worden weer naar OSD's gemapped.

Statusupdate vanuit Leverancier:

Het herstarten van de OSD's heeft geen effect gehad, deze blijven crashen. Er wordt met externe experts verder gezocht naar een oorzaak en oplossing.

Statusupdate vanuit Leverancier:

Alle OSD's zullen een restart krijgen in een poging om meer OSD's beschikbaar te krijgen

Statusupdate vanuit Leverancier:

De Ceph monitoring daemons op alle Ceph monitoring servers zijn herstart. Er wordt daarna gepoogd de OSD's weer beschikbaar te maken.

Statusupdate vanuit Leverancier:

Een enkele OSD is weer beschikbaar gekomen, maar de rest van de OSD's niet. Middels debugging tools wordt verder uitgezocht wat het probleem veroorzaakt. Een OSD is de object storage daemon voor het gedistribueerde Ceph file systeem. Een OSD is verantwoordelijk voor het opslaan van objecten op een lokaal file systeem en geeft over het netwerk toegang tot de objecten.

Statusupdate vanuit Leverancier:

Onze eigen engineers en de externe Ceph specialisten zijn mogelijke oorzaken voor de verstoring aan het uitsluiten. Het is nog niet duidelijk wat de oorzaak wel is.

Statusupdate vanuit Leverancier:

NL: Met de ingeschakelde externe specialisten worden de Ceph logfiles geanalyseerd. Zodra bekend is wat de conclusies van die analyse zijn, wordt de incidentmelding bijgewerkt.

Statusupdate vanuit Leverancier:

NL: OSD's in alle drie de failure domains zijn gecrasht en blijven crashen bij restarts. Het is nog niet duidelijk waar dit door veroorzaakt wordt. Externe expertise wordt hiervoor nu ingeschakeld.

Statusupdate vanuit Leverancier:

NL: Alle diensten van BIT die gebruik maken van shared Ceph storage zijn getroffen door dit incident. Engineers van BIT onderzoeken de oorzaak van de verstoring.

Statusupdate vanuit Leverancier:

Er zijn problemen met storage systemen van BIT, waar ons premium platform op ondergebracht is. Diverse diensten, waaronder virtual machines en mail, zijn hierdoor niet of sterk verminderd bereikbaar. Engineers hebben de exacte oorzaak in onderzoek.