Nos mesanventures de serveur

Bonjour,

Vous avez pu constater ces derniers jours un dysfonctionnement des services de G3L. Si vous voulez savoir ce qui s'est passé, pour vous dire qu'on a pas chômé ici. J'ai retranscrit un résumé, donc non exhaustif de tous nos échanges avec l’hébergeur de notre serveur, mais je ne voulais pas faire un romans non plus.

Le 06/12/2024

13h15 JP et moi installations pour débuter la mise à jour du serveur de G3L, celui contient une majeure partie de nos services. Après mise à jour de la version du système debian (10 vers 11),tout se passe bien. Ceci est la 1ere étape avant la mise à jour de tous les autres services, le serveur est redémarré vers 14h45. Le serveur ne démarre plus, JP fait quelques tests à partir de la console de secours mais le serveur ne démarre toujours pas.

(ST = Service Technique)

15h25 G3L signalement de la panne

15h32 ST = le technicien prend la main

16h26 ST= pour info le disque est HS > faites votre sauvegarde

18h42 G3L fin de la sauvegarde, vous pouvez changer le disque dur ... silence radio malgré des relances jusqu'à 21h45

Le 07/12/2024 06h40 G3L allo, il y a quelqu'un ?

07h30 ST = oui on est là, mais c'est le WE, on n'est pas nombreux

09h12 G3L qu'est ce que vous faites ?

10h31 ST le disque est changé je vérifie

10h51 ST le serveur ne démarre toujours pas, je fais appel à une autre équipe

12h05 G3L Alors ?

14h36 ST désolé c'est long, je reteste

15h50 ST c'est la carte RAID qui est HS mais comme le disque dur se duplique on attend. vous pouvez suivre l'avancement sur la console.

16h27 G3L On a pas accès à la console

17h25 ST ah oui je n'arriva pas à vous donner l'accès, on en est à 5% merci de patienter

17h41 G3L alors arrêtez la copie, changer la carte RAID si possible et sinon redémarrer le serveur sans RAID en attendant au moins sur un disque.

17h57 ST je ne pense pas qu'il peut démarrer, il faut attendre

hors ligne G3L : 5% en 1h30 de progression avec une carte défectueuse 1.5h X 20 = 100% dans 30h si on arrive au 100% !

Le 08/12/2024 8h17 G3L où en es-t-on ?

9h38 ST on en est à 38.35%

hors ligne G3L = c'est mort pour aujourd’hui

le 09/12/2024 8h47 G3L où en es-t-on ?

8h52 ST on en est à 87.13%

13h47 G3L si on en est à 100% merci de changer la carte raid

14h26 ST on en est à 99.06%

15h25 G3L Dites moi qu'on en est à 100% et qu'on va passer à l’étape suivante

15h34 Oui, la duplication est terminée, je signale à l'autre équipe pour le changement de carte

17h02 G3L Allo ? la carte réclame à être changée ne la délaissez pas.

17h26 G3L nouveau ticket pour relancer la demande encore 3 relance par G3L jusqu'à 22h55

23h58 ST je vous assure on s'en occupe.

hors ligne G3L: le temps passe sans réponse = c'est encore mort pour aujourd’hui

Le 10/12/2024 6H58 G3L où en est-on ?

hors ligne G3L: ... le temps passe : 9H00 décision de réinstallation d'un nouveau serveur chez un autre prestataire : on trouve une offre qui nous convient chez OVH. 10h00 le nouveau serveur est loué on commence l'installation

10h23 ST on s'en occupe, on vous préviendra quand on aura changé la carte

15h43 changement d'heure dans le ticket d'intervention : G3L ça va être rétabli ?

hors ligne G3L : On travaille à reparamétrer tous les dns de G3L, 1ere étape restaurer les mails, ensuite on récupère tous les sauvegardes / cycle de 3h jusqu'à 23h qu'il va falloir installer le lendemain pour redémarrer tous les site et services de G3L

20h43 ST en fait, on n'a pas la carte il faut la commander ou sinon en quelques minute on peut vous mettre en place un autre serveur.

le 11/12/2024 Tous les services de G3L sont en place.

le 12/12/2024 9h55 : ST alors que souhaitez vous ?

11h32 : G3L on a un nouveau serveur chez OVH, on a migré dans les pires conditions à cause de votre inefficacité. bon courage pour travailler dans ces conditions.

13h34 : ST oui mais il fallait faire un choix (ndlr : le 10/12 commander la pièce ou prendre un nouveau serveur 4j après la panne) et si vous répondez pas on ne peux pas avancer.

19h13 G3L vous plaisantez? ça faisait 4j qu'on patientait, on a juste attendu en cas de défaillance de nos sauvegardes

Au revoir Scaleway.

PS : au final, après tout ce temps perdu, il nous reste des encore mises à jours à faire sur les services !