Rapports de problèmes techniques & maintenances du serveur

Panne du Serveur 3 qui héberge les forums pendant plusieurs heures aujourd'hui. Un défaut a fait en sorte que l'équipe technique n'a pas été alerté de la panne jusqu'à ce qu'un membre contacte l'équipe technique sur le site de https://NoGodsNoMasters.org (merci - c'est la bonne chose à faire dans le cas d'une panne prolongée)

Les sites hébergés sont maintenant de retour en ligne. La cause de la panne est toujours en cours d'analyse...

 

Encore le même problème aujourd'hui

La cause est au niveau de la mémoire, le Serveur 3 a plusieurs lourdes tâches qui s'exécutent en arrière plan, ce qui cause une sur-utilisation de la mémoire du serveur qui devient insuffisante. Quand la mémoire est pleine, le serveur lance le processus OOM Killer (out of memory killer) qui stoppe les programmes sur le serveur afin de libérer la mémoire. Le problème, c'est que le OOM Killer stoppe parfois la base de donnée MySQL donc tous les sites sont plantés jusqu'à ce qu'un admin intervienne.

On essaie de trouver une solution pour libérer de la mémoire sans avoir à changer encore une fois de serveur

 

Problèmes techniques pendant plus de 24h, ça a commencé d'abord avec un simple problème de renouvellement du certificat SSL pour le cryptage, qui a malfonctionné et fait un effet boule de neige entrainant d'autres problèmes et bloquant complètement l'accès aux sites à cause du HSTS. J'ai tenté de régler le problème hier mais je n'ai pas réussi, j'ai donc délégué la tâche à un autre collègue mais il était indisponible jusqu'à aujourd'hui.

Bref, au moins maintenant ça fonctionne de nouveau !

p.s. si vous avez vu un message d'erreur concernant l'incendie du datacenter, ça date de 2021 et ce message n'aurait jamais dû s'afficher de nouveau, c'était une erreur. Non, il n'y a pas eu d'autre incendie, et nos serveurs sont en sécurité !

 

Merci à toi et à toutes les personnes de la Tech Team !!!

 

Le 22 février un collègue de l'équipe a fait un update sur les 3 forums afin de corriger un bug qui fait en sorte que des emails sont envoyés à des adresses courriels invalides, ce qui qui cause plusieurs problèmes avec le serveur mail. La modification a causée une modification de la valeur "user_state" mise en "email_bounce" lorsqu'un email envoyé à une adresse invalide rebonti.

Le problème c'est que mon collègue ne savait pas que par défaut, XenForo va automatiquement bloquer l'accès au forum si l'adresse e-mail est invalide. Nous n'avons jamais obligés les membres à valider leur adresse email pour participer, donc il y a des milliers de membres avec des adresses invalides. Les admins ont modifié le fonctionnement par défaut de XenForo pour permettre de participer avec un mail invalide. Mais la modification du user_state en email_bounce a réactivé la validation forcée des adresses mail.

Bref depuis le 22 février des milliers de membres ont été bloqués par erreur, et c'était impossible de poster sur le forum car un message d'erreur indiquait que l'adresse email est invalide.

J'ai annulé les modifications et remis l'ancienne version, l'accès au forum est rétabli pour tous. Désolé pour cet inconvénient

 

Maintenance électrique à venir
Les serveurs 2 et 3 sont touchés et seront indisponibles pendant quelques heures

Opération de maintenance (No1) :
Créneau : 29/04/2024 de 06h00 UTC à 14h00 UTC

Opération de maintenance (No2) :
Créneau : 02/05/2024 de 06h00 UTC à 14h00 UTC

Sites web concernés :
- Libertaire.net
- InfoLibertaire.net
- Pirate-Punk.net
- Anarcho-Punk.net
- AnarchistFederation.net
- FederacionAnarquista.net
- FederacaoAnarquista.com.br
- AnarchistischeFederatie.nl
- AnarchistMemes.org
- AnarsistHaberler.net
- AnarchistArt.net
- Anarquismo.net
- Propagande-Anarchiste.org

 

1. Panne de 1 heure aujourd'hui sur le Serveur 3 qui héberge les forums. Depuis 2 semaines il y a aussi des ralentissements et micro-coupures régulières, on y travaille

2. La maintenance électrique annoncée Mercredi est reportée à une date ultérieure

 

Encore une fois, Gros Merci à toute l'équipe technique qui assure grave ! Big up !

 

Gros problème. La page d'inscription est présentement brisée avec l'erreur suivante:

Il semble qu'un upgrade récent de MariaDB par un collègue de l'équipe a causé des bugs imprévus avec la base de donnée.

Comme c'est un problème côté serveur, tous les forums hébergés sur le Serveur 3 sont touchés par le bug et les inscriptions ne fonctionnent plus.

On travaille à régler le problème mais il ne semble pas y avoir de solution rapide et j'ai besoin de l'aide des autres membres de l'équipe technique dans un fuseau horaire différent.

 

Une solution vient à l'instant d'être trouvée pour ce bug. Le problème était difficile à retracer, mais avec l'aide des collègues de l'équipe technique on y est arrivé.

Cependant, le bug n'avait rien à voir avec l'upgrade récent de MariaDB, c'était un problème différent