Rapports de problèmes techniques & maintenances du serveur

2 problèmes techniques hier (non-relié aux changements récents)

- Impossible de poster sur le forum, problème de base de donnée (changement de MyISAM à InnoDB par un collègue)
- Panne pendant 1 heure causé par un disque dur plein, le disque est baissé à 84% de capacité mais c'est quand même élevé et on va vite manquer de place avec les téléchargements uploadés par les membres des autres forums. Comme solution, c'était déjà prévu d'introduire un nouveau serveur de stockage dans le réseau d'ici peu

Ce topic sert aussi de journal de bord au cas où quelqu'un oublierait les changements qu'on a fait dans quelques mois, c'est très pratique

Je salue au passage les collègues qui travaillent dans l'ombre et qui ne sont pas membre des forums car non-francophones, je ne veux pas prendre tout le crédit car leur aide est essentielle ! Un gros merci spécialement à Longinos, le nouveau membre qui s'est ajouté à l'équipe depuis bientôt 1 an et qui s'implique chaque jour

 

Le nouveau serveur est en route !



Ce nouveau serveur est moins performant que nos 3 autres serveurs principaux, cependant il nous donne 2TB de stockage. Le but est de régler définitivement le problème d'espace disque qui persiste depuis plus de 1 an sur le Serveur 3 et qui cause des problèmes avec les backups.

Donc tous les téléchargements seront migrés vers ce nouveau Serveur 4, incluant tous les uploads par les membres des forums, ainsi que les milliers d'albums hébergés sur PunkDownload.com.

Ca va aider à alléger la charge du Serveur 3, qui sera maintenant dédié à l'hébergement de seulement 4 sites (les 3 forums et Infolibertaire)

En même temps, un vieux serveur du réseau sera "mis à la retraite" car le matériel date de 2011. Donc le compte final de nos serveurs ne change pas (10 au total)

Le tout comme à l'habitude financé par NDNM

 

Encore une panne aujourd'hui pendant 1h, même raison : espace disque du serveur plein



C'est exactement le même problème récurrent qui sera réglé avec l'arrivée du nouveau Serveur 4, mais en attendant il faut faire avec notre espace disque limité

 

Le nouveau serveur a été installé et l'équipe vient de terminer la migration de PunkDownload. Tous les téléchargements des 3 forums sont à présent hébergés sur le nouveau serveur 4 qui dispose de 2TB d'espace disque. Présentement le disque est utilisé à seulement 20% de capacité (comparé à 85% sur l'ancien serveur) donc on s'attends à ce que ce nouveau serveur soit en ligne pendant plusieurs années avant de surpasser sa capacité.

Comme d'habitude, les membres sont invités à rapporter les bugs à l'équipe technique. Selon nos tests tout fonctionne correctement, mais il pourrait y avoir des bugs lors de l'upload de gros fichiers (comme ce fut le cas sur l'ancien serveur). Des ajustements à la configuration seront peut-être nécessaires.

À noter que le Serveur 3 est toujours en surcapacité car l'équipe technique n'a pas encore supprimé les anciens fichiers de PunkDownload (au cas où il y a un problème sur le nouveau serveur, ca permet de revenir en arrière). On va attendre au moins 2 semaines pour s'assurer que tout fonctionne correctement, et ensuite les fichiers seront supprimés du Serveur 3. En d'autres termes, ça signifie que dans les 2 prochaines semaines, le Serveur 3 pourrait encore tomber en panne à cause du disque dur plein, ce qui entrainerait une panne des forums.

 

Comme d'habitude : Bravo à toute l'équipe !!!

 

Quoi de mieux qu'une panne de serveur pour tester notre nouveau système de monitoring

Problème d'adresse IP suite à un erreur d'un collègue. Sites inaccessibles entre 18h et 1h00 AM, heure du Canada. Mon collègue espagnol dormait donc je ne pouvais pas le contacter pour comprendre ce qu'il avait changé sur le serveur. Finalement, j'ai fini par trouver, c'était un problème de Nginx et PHP-FPM qui refusaient de démarrer à cause d'une adresse IP erronée.

Au moins, c'était une panne sur le serveur européen pendant la nuit en Europe donc peu de perturbation des services pour les membres/visiteurs

La panne est visible sur les nouveaux outils de monitoring:
Servers Monitoring – No Gods No Masters Network




On peut aussi vérifier la panne sur l'outil "État des Sites"
Sites Monitoring – No Gods No Masters Network

On voit que Libertaire.net a cessé de répondre entre 20h et 1h00 à partir des 4 locations géographiques testées (Canada, Allemagne, France, USA)

 

Après un retard, les derniers fichiers de PunkDownload ont été supprimés du Serveur 3 maintenant que tout a été migré vers le Serveur 4

Le Serveur 3 (celui qui héberge les forums) a donc pu récupérer beaucoup d'espace disque et n'aura plus de problème de disque plein qui causait des pannes. Ce serveur utilise maintenant moins de la moitié de l'espace disque (49.9%)

Du côté de PunkDownload, le nouveau serveur dédié (Serveur 4) a tellement d'espace de stockage que seulement 10.5% est utilisé.



Bref, le réseau devrait maintenant disposer de suffisamment d'espace de stockage pour plusieurs années à venir

On peut vérifier l'espace disque en temps réel ici :
Servers Monitoring – No Gods No Masters Network

 

Encore un nouveau serveur pour les forums !

Le réseau vient de faire l'achat d'un nouveau serveur pour les 3 forums et Infolibertaire, un déménagement est donc prévu dans les prochaines semaines.
Les raisons n'ont rien à voir avec les performances techniques - le Serveur 3 suffit pleinement aux besoins des sites hébergés comme on peut voir sur les outils de monitoring.

Les raisons :

- Matériel vieillissant : Le Serveur 3 a été acheté il y a 7 ans et a déjà été recyclé 2 fois, son cycle de vie est terminé. On peut obtenir meilleur pour moins cher aujourd'hui.
Note: le serveur a été remplacé par l'assurance du datacenter suite à l'incendie de Mars 2021, mais avec le même matériel que l'ancien serveur utilisé depuis 7 ans, et au même tarif que lors de la signature du contrat de service avec le datacenter.

- Baisser les dépenses : Le Serveur 3 est celui qui coûte le plus cher en frais mensuel, ça ne fait pas de sens car le matériel est inférieur à d'autres serveurs qui nous coûtent plus cher. Ceci s'explique par le fait que le contrat avec le datacenter a été signé il y a presque 7 ans et aujourd'hui on peut obtenir beaucoup mieux pour moins cher. En remplaçant le matériel par plus moderne, on baisse les dépenses sans pénaliser le Serveur 3 qui maintiens les mêmes performances.

- Migrer vers Alma Linux : Nos 3 serveurs principaux tournent encore sous Linux CentOS qui est en fin de vie, ce qui nous oblige à migrer vers une autre distribution de Linux. Une migration vers Alma Linux est prévu depuis longtemps, ce sera l'occasion de la faire.

- AnarchistFederation.net, le grand gagnant de cette migration : Baisser les dépenses du Serveur 3 permet à NDNM d'augmenter les dépenses du Serveur 2 qui héberge les 10 sites du AnarchistFederation Network et 4 autres sites. Contrairement au serveur qui héberge les forums, le Serveur 2 est en surcapacité et a besoin d'un upgrade de processeurs.

Cette restructuration permettra donc de rediriger les resources du réseau là où elles sont vraiment nécessaires et donnera à AnarchistFederation Network la possibilité de lancer de nouveaux sites.

Une fois la migration terminée, l'ancien Serveur 3 sera retiré (car déjà recyclé 2 fois dans le réseau) donc le compte final des serveurs du réseau restera le même (10)

Ce sera un travail échelonné sur plusieurs semaines, et une fermeture temporaire de chaque forum sera nécessaire avant chaque migration (environ 24h-48h) afin d'éviter les pertes de données. Un avis sera publié à l'avance. Pour l'instant je n'ai pas de date car mon camarade de l'équipe technique qui aidera à la migration est présentement hospitalisé.

 

Avis important : fermeture temporaire des sites à partir du Mercredi le 22 février 2023

Afin de procéder à la migration vers le nouveau serveur, l'équipe technique fermera temporairement tous les sites hébergés sur le Serveur 3 à partir du Mercredi 22 février. En théorie le tout devrait être terminé en 24h à 48h, mais impossible à estimer la durée exacte car le temps de propagation DNS varie d'un fournisseur internet à l'autre.

Pourquoi une fermeture ?

Le 22 février, les sites seront transférés vers notre nouveau Serveur 3. Une fermeture est nécessaire afin d'éviter des pertes de données. Transférer tous les sites prendra environ 24h, si pendant ce temps un membre poste un message sur le forum, le message sera publié sur l'ancien serveur et sera perdu sur le nouveau serveur. Ça permet également d'éviter que l'équipe technique se fasse accuser de censurer des messages qui auraient disparus pendant la migration

Sites concernés par la fermeture :

• Libertaire.net
• Pirate-Punk.net
• Anarcho-Punk.net
• InfoLibertaire.net

Arrêt temporaire de la newsletter d'Infolibertaire :

Tout doit être réinstallé à neuf sur le nouveau serveur, et comme la newsletter d'Infolibertaire est envoyée chaque semaine ça ne laisse pas beaucoup de temps à l'équipe pour compléter la migration. Donc il est possible que la newsletter d'Infolibertaire doive prendre une pause pendant la dernière semaine de Février.


Plus d'infos sur la propagation DNS et pourquoi c'est impossible d'estimer le temps nécessaire :

La propagation des DNS, c’est quoi? - Astral Internet Canada

 

Big Up à toute l'équipe technique !!!

 

Après un tas de problèmes imprévus et de frustrations, la migration du forum Anarcho-Punk.net vient d'être terminé. Malgré les imprévus le tout a été réalisé dans les délais prévus de 48 heures et le forum est maintenant de retour en ligne. Si le site n'est pas accessible dans certaines localisations géographiques, c'est simplement un délais temporaire de propagation DNS.

La bonne nouvelle, c'est que les leçons tirés de ces imprévus aideront l'équipe à ce que les mêmes problèmes ne se répètent pas lors du reste de la migration prévu pour le mercredi 22 février.

Un gros merci aux collègues de l'équipe technique, spécialement mon camarade d'Espagne qui se porte volontaire malgré ses ennuis de santé, ce qui nous permet de se relayer 24/24 grâce aux différents fuseaux horaires et d'accomplir ce travail en un temps record !

 

La migration d'InfoLibertaire est présentement en cours, pas de fermeture nécessaire du côté de ce site

Rappel que demain mercredi Libertaire.net et Pirate-Punk.net seront temporairement fermés pour procéder aux migrations (24h à 48h)

 

La migration de Libertaire.net et Pirate-Punk.net est maintenant terminée et tout s'est bien passé encore plus rapide que les délais prévus (seulement 7h vs le 24-48h prévu)

L'équipe a commencé la migration vers 16h00 au Canada, donc 22h en Europe, ce qui fait en sorte de minimiser le temps d'indisponibilité des sites pendant la nuit en France. La migration a été terminée vers minuit (6h en France)

Chez moi le site est déjà accessible sur le nouveau serveur mais comme j'expliquais le délais varie selon le FAI à cause de la propagation DNS. Si vous lisez ce message, c'est que la propagation DNS est terminée et que vous êtes sur le nouveau serveur, sinon le message d'avis de fermeture temporaire (en rouge) s'afficherait sur l'ancien serveur.

La plus grosse partie de la migration est terminée, l'équipe centrera ses efforts à configurer et optimiser le nouveau serveur, et en parallèle l'équipe fait un plan pour l'upgrade su Serveur 2 (AnarchistFederation.net)

Si vous repérez un bug sur le nouveau serveur, merci de le rapporter ici !