Kleine fout, grote catastrofe - GitLab is offline voor een dag

GitLab, een startup die een alternatief is voor de zeer populaire GitHub, heeft onlangs een vrij ruwe dag achter de rug, omdat een menselijke fout ervoor zorgde dat de hele website een volledige dag niet werkte.

Het probleem van GitLab begon voor het eerst toen de website problemen met de laadtijd en stabiliteit ervoer . De website is offline gehaald om de problemen op te lossen. Tijdens het onderhoud maakte iemand echter onbewust de fout om per ongeluk een map met 300 GB aan live productiegegevens te verwijderen .

Gelukkig voor GitLab was de inhoud die werd verwijderd alleen van invloed op problemen en samengevoegde aanvragen . De repositories en wiki's werden op geen enkele manier door deze fout beïnvloed, wat betekent dat de schade veroorzaakt door deze fout niet zo ernstig was als mogelijk was

Wanneer de directory is verwijderd, schakelen de medewerkers van GitLab onmiddellijk over naar de back-up. Helaas voor hen kwam GitLab nog een ander probleem tegen . Volgens het Google Doc-bestand dat constant werd bijgewerkt omdat GitLab moeite heeft om weer online te gaan, hebben alle 5 back-up / replicatietechnieken die door de website werden geïmplementeerd, niet betrouwbaar gewerkt en in sommige gevallen nooit opgezet .

Het ophalen van deze verloren bestanden uit de cloud is geen optie voor GitLab, omdat de opstart eind vorig jaar besloot de cloud te dumpen om in plaats daarvan zijn eigen Ceph-clusters te bouwen en te beheren . Onnodig te zeggen dat GitLab nu zijn standpunt over dat specifieke onderwerp heroverweegt.

@TheRegister @gitlab zal werken aan het effectiever maken van de applicatie en het verkennen van alternatieve cloudhostingproviders.

- Connor Shea (@connorjshea) 1 februari 2017

Ondanks de tumultueuze dag die GitLab heeft gehad, is de website nu in gebruik zoals normaal. Hoewel de website meldde dat sommige gegevens verloren gingen gedurende een venster van zes uur, werden de Git- opslagplaatsen gedurende de hele beproeving ongedeerd gelaten . Een volledig incidentenlog van het hele evenement kan hier bekeken worden.

Hoewel er veel lessen kunnen worden getrokken uit de kleine vergissing van GitLab (vooral overmoed), is de methode van GitLab om de crisis aan te pakken vrij bewonderenswaardig, omdat de startup duidelijk en transparant was voor de gebruikers . Hier is te hopen dat GitLab leert van deze fout. Anders zou het gebruikersbestand waarschijnlijk minder vergevingsgezind zijn als de geschiedenis zich herhaalt.

Bron: het register