Cephfs offline

Na het stroomloos maken van het Huygens gebouw, is er een probleem ontstaan met het online brengen van het Ceph file systeem.

We hebben nu nog geen zicht op wanneer het Ceph cluster het weer doet.

Update 2023-08-01 10:30

Ceph werkt weer. Deze CPK is afgesloten. CPK#1338 is ook gesloten.

Update 2023-07-31 12:30

Na nog meer ondersteuning van 42on hebben we nu weer een werkende cephfs. Helaas kunnen we niet met zekerheid zeggen of alle files er zijn, maar vrijwel alle files zijn er. Laat het ons weten of er essentiele data mist, in theorie kunnen we files die geschreven zijn ook terugzoeken, maar dit zal lang duren, omdat we zo’n 500 miljoen entries moeten doorzoeken.

Dit ziet er goed uit, maar de Ceph mounts zullen nog niet werken, we zullen later vandaag een all clear geven en deze CPK afsluiten

Update 2023-07-27 14:00

We zijn het journal aan het replayen. Dit proces heeft geen voortgang indicator, dus het is lastig om te zeggen wanneer het klaar is. Als het klaar is moeten we uitzoeken wat de volgende stap zal zijn.

Update 2023-07-26 14:20

We zijn nog steeds bezig in overleg met 42on. NB, de dagelijkse backups zijn hierdoor ook sinds zaterdag offline, we kunnen geen backups maken of terugzetten van vóór 22 juli uit de daily backups.

Update 2023-07-24 14:35

We hebben onze Ceph support firma (42on.com) ingezet om ons te helpen debuggen. Het doel is om Ceph binnen een aantal dagen weer werkend te hebben.

Update 2023-07-24 8:05

Het ceph filesystem is nog niet goed.

Update 2023-07-23 10:45

Na een ceph file systeem scrub is het cluster weer online.