Chargement...

Rapports de problèmes techniques & maintenances du serveur

Discussion dans 'Discussion générale' créé par Libertaire.net, 2 Septembre 2018.

  1. 2 problèmes techniques hier (non-relié aux changements récents)

    - Impossible de poster sur le forum, problème de base de donnée (changement de MyISAM à InnoDB par un collègue)
    - Panne pendant 1 heure causé par un disque dur plein, le disque est baissé à 84% de capacité mais c'est quand même élevé et on va vite manquer de place avec les téléchargements uploadés par les membres des autres forums. Comme solution, c'était déjà prévu d'introduire un nouveau serveur de stockage dans le réseau d'ici peu

    Ce topic sert aussi de journal de bord au cas où quelqu'un oublierait les changements qu'on a fait dans quelques mois, c'est très pratique

    Je salue au passage les collègues qui travaillent dans l'ombre et qui ne sont pas membre des forums car non-francophones, je ne veux pas prendre tout le crédit car leur aide est essentielle ! Un gros merci spécialement à Longinos, le nouveau membre qui s'est ajouté à l'équipe depuis bientôt 1 an et qui s'implique chaque jour
     
    Anarchie 13 et allpower aiment ça.
  2. Le nouveau serveur est en route !

    upload_2022-12-10_21-47-49.png

    Ce nouveau serveur est moins performant que nos 3 autres serveurs principaux, cependant il nous donne 2TB de stockage. Le but est de régler définitivement le problème d'espace disque qui persiste depuis plus de 1 an sur le Serveur 3 et qui cause des problèmes avec les backups.

    Donc tous les téléchargements seront migrés vers ce nouveau Serveur 4, incluant tous les uploads par les membres des forums, ainsi que les milliers d'albums hébergés sur PunkDownload.com.

    Ca va aider à alléger la charge du Serveur 3, qui sera maintenant dédié à l'hébergement de seulement 4 sites (les 3 forums et Infolibertaire)

    En même temps, un vieux serveur du réseau sera "mis à la retraite" car le matériel date de 2011. Donc le compte final de nos serveurs ne change pas (10 au total)

    Le tout comme à l'habitude financé par NDNM
     
    allpower apprécie ceci.
  3. Encore une panne aujourd'hui pendant 1h, même raison : espace disque du serveur plein

    upload_2022-12-11_21-49-17.png

    C'est exactement le même problème récurrent qui sera réglé avec l'arrivée du nouveau Serveur 4, mais en attendant il faut faire avec notre espace disque limité
     
  4. Le nouveau serveur a été installé et l'équipe vient de terminer la migration de PunkDownload. Tous les téléchargements des 3 forums sont à présent hébergés sur le nouveau serveur 4 qui dispose de 2TB d'espace disque. Présentement le disque est utilisé à seulement 20% de capacité (comparé à 85% sur l'ancien serveur) donc on s'attends à ce que ce nouveau serveur soit en ligne pendant plusieurs années avant de surpasser sa capacité.

    Comme d'habitude, les membres sont invités à rapporter les bugs à l'équipe technique. Selon nos tests tout fonctionne correctement, mais il pourrait y avoir des bugs lors de l'upload de gros fichiers (comme ce fut le cas sur l'ancien serveur). Des ajustements à la configuration seront peut-être nécessaires.

    À noter que le Serveur 3 est toujours en surcapacité car l'équipe technique n'a pas encore supprimé les anciens fichiers de PunkDownload (au cas où il y a un problème sur le nouveau serveur, ca permet de revenir en arrière). On va attendre au moins 2 semaines pour s'assurer que tout fonctionne correctement, et ensuite les fichiers seront supprimés du Serveur 3. En d'autres termes, ça signifie que dans les 2 prochaines semaines, le Serveur 3 pourrait encore tomber en panne à cause du disque dur plein, ce qui entrainerait une panne des forums.
     
    Anarchie 13 apprécie ceci.
  5. Comme d'habitude : Bravo à toute l'équipe !!!
     
    Anarchie 13 apprécie ceci.
  6. Quoi de mieux qu'une panne de serveur pour tester notre nouveau système de monitoring -_-

    Problème d'adresse IP suite à un erreur d'un collègue. Sites inaccessibles entre 18h et 1h00 AM, heure du Canada. Mon collègue espagnol dormait donc je ne pouvais pas le contacter pour comprendre ce qu'il avait changé sur le serveur. Finalement, j'ai fini par trouver, c'était un problème de Nginx et PHP-FPM qui refusaient de démarrer à cause d'une adresse IP erronée.

    Au moins, c'était une panne sur le serveur européen pendant la nuit en Europe donc peu de perturbation des services pour les membres/visiteurs

    La panne est visible sur les nouveaux outils de monitoring:
    Servers Monitoring – No Gods No Masters Network
    upload_2023-1-11_0-56-43.png
    upload_2023-1-11_0-56-59.png


    On peut aussi vérifier la panne sur l'outil "État des Sites"
    Sites Monitoring – No Gods No Masters Network

    On voit que Libertaire.net a cessé de répondre entre 20h et 1h00 à partir des 4 locations géographiques testées (Canada, Allemagne, France, USA)

    upload_2023-1-11_1-2-14.png
     

    Fichiers attachés:

  7. Après un retard, les derniers fichiers de PunkDownload ont été supprimés du Serveur 3 maintenant que tout a été migré vers le Serveur 4

    Le Serveur 3 (celui qui héberge les forums) a donc pu récupérer beaucoup d'espace disque et n'aura plus de problème de disque plein qui causait des pannes. Ce serveur utilise maintenant moins de la moitié de l'espace disque (49.9%)

    Du côté de PunkDownload, le nouveau serveur dédié (Serveur 4) a tellement d'espace de stockage que seulement 10.5% est utilisé.

    upload_2023-2-8_22-0-14.png

    Bref, le réseau devrait maintenant disposer de suffisamment d'espace de stockage pour plusieurs années à venir

    On peut vérifier l'espace disque en temps réel ici :
    Servers Monitoring – No Gods No Masters Network
     
    allpower apprécie ceci.
  8. Encore un nouveau serveur pour les forums !

    Le réseau vient de faire l'achat d'un nouveau serveur pour les 3 forums et Infolibertaire, un déménagement est donc prévu dans les prochaines semaines.
    Les raisons n'ont rien à voir avec les performances techniques - le Serveur 3 suffit pleinement aux besoins des sites hébergés comme on peut voir sur les outils de monitoring.

    Les raisons :

    - Matériel vieillissant : Le Serveur 3 a été acheté il y a 7 ans et a déjà été recyclé 2 fois, son cycle de vie est terminé. On peut obtenir meilleur pour moins cher aujourd'hui.
    Note: le serveur a été remplacé par l'assurance du datacenter suite à l'incendie de Mars 2021, mais avec le même matériel que l'ancien serveur utilisé depuis 7 ans, et au même tarif que lors de la signature du contrat de service avec le datacenter.

    - Baisser les dépenses : Le Serveur 3 est celui qui coûte le plus cher en frais mensuel, ça ne fait pas de sens car le matériel est inférieur à d'autres serveurs qui nous coûtent plus cher. Ceci s'explique par le fait que le contrat avec le datacenter a été signé il y a presque 7 ans et aujourd'hui on peut obtenir beaucoup mieux pour moins cher. En remplaçant le matériel par plus moderne, on baisse les dépenses sans pénaliser le Serveur 3 qui maintiens les mêmes performances.

    - Migrer vers Alma Linux : Nos 3 serveurs principaux tournent encore sous Linux CentOS qui est en fin de vie, ce qui nous oblige à migrer vers une autre distribution de Linux. Une migration vers Alma Linux est prévu depuis longtemps, ce sera l'occasion de la faire.

    - AnarchistFederation.net, le grand gagnant de cette migration : Baisser les dépenses du Serveur 3 permet à NDNM d'augmenter les dépenses du Serveur 2 qui héberge les 10 sites du AnarchistFederation Network et 4 autres sites. Contrairement au serveur qui héberge les forums, le Serveur 2 est en surcapacité et a besoin d'un upgrade de processeurs.

    Cette restructuration permettra donc de rediriger les resources du réseau là où elles sont vraiment nécessaires et donnera à AnarchistFederation Network la possibilité de lancer de nouveaux sites.

    Une fois la migration terminée, l'ancien Serveur 3 sera retiré (car déjà recyclé 2 fois dans le réseau) donc le compte final des serveurs du réseau restera le même (10)

    Ce sera un travail échelonné sur plusieurs semaines, et une fermeture temporaire de chaque forum sera nécessaire avant chaque migration (environ 24h-48h) afin d'éviter les pertes de données. Un avis sera publié à l'avance. Pour l'instant je n'ai pas de date car mon camarade de l'équipe technique qui aidera à la migration est présentement hospitalisé.
     
    allpower apprécie ceci.
  9. Avis important : fermeture temporaire des sites à partir du Mercredi le 22 février 2023

    Afin de procéder à la migration vers le nouveau serveur, l'équipe technique fermera temporairement tous les sites hébergés sur le Serveur 3 à partir du Mercredi 22 février. En théorie le tout devrait être terminé en 24h à 48h, mais impossible à estimer la durée exacte car le temps de propagation DNS varie d'un fournisseur internet à l'autre.

    Pourquoi une fermeture ?

    Le 22 février, les sites seront transférés vers notre nouveau Serveur 3. Une fermeture est nécessaire afin d'éviter des pertes de données. Transférer tous les sites prendra environ 24h, si pendant ce temps un membre poste un message sur le forum, le message sera publié sur l'ancien serveur et sera perdu sur le nouveau serveur. Ça permet également d'éviter que l'équipe technique se fasse accuser de censurer des messages qui auraient disparus pendant la migration ;)

    Sites concernés par la fermeture :
    • Libertaire.net
    • Pirate-Punk.net
    • Anarcho-Punk.net
    • InfoLibertaire.net

    Arrêt temporaire de la newsletter d'Infolibertaire :

    Tout doit être réinstallé à neuf sur le nouveau serveur, et comme la newsletter d'Infolibertaire est envoyée chaque semaine ça ne laisse pas beaucoup de temps à l'équipe pour compléter la migration. Donc il est possible que la newsletter d'Infolibertaire doive prendre une pause pendant la dernière semaine de Février.


    Plus d'infos sur la propagation DNS et pourquoi c'est impossible d'estimer le temps nécessaire :
    La propagation des DNS, c’est quoi? - Astral Internet Canada
     
    allpower apprécie ceci.
  10. Big Up à toute l'équipe technique !!!
     
  11. Après un tas de problèmes imprévus et de frustrations, la migration du forum Anarcho-Punk.net vient d'être terminé. Malgré les imprévus le tout a été réalisé dans les délais prévus de 48 heures et le forum est maintenant de retour en ligne. Si le site n'est pas accessible dans certaines localisations géographiques, c'est simplement un délais temporaire de propagation DNS.

    La bonne nouvelle, c'est que les leçons tirés de ces imprévus aideront l'équipe à ce que les mêmes problèmes ne se répètent pas lors du reste de la migration prévu pour le mercredi 22 février.

    Un gros merci aux collègues de l'équipe technique, spécialement mon camarade d'Espagne qui se porte volontaire malgré ses ennuis de santé, ce qui nous permet de se relayer 24/24 grâce aux différents fuseaux horaires et d'accomplir ce travail en un temps record !
     
    allpower apprécie ceci.
  12. La migration d'InfoLibertaire est présentement en cours, pas de fermeture nécessaire du côté de ce site

    Rappel que demain mercredi Libertaire.net et Pirate-Punk.net seront temporairement fermés pour procéder aux migrations (24h à 48h)
     
    Anarchie 13 apprécie ceci.
  13. La migration de Libertaire.net et Pirate-Punk.net est maintenant terminée et tout s'est bien passé encore plus rapide que les délais prévus (seulement 7h vs le 24-48h prévu)

    L'équipe a commencé la migration vers 16h00 au Canada, donc 22h en Europe, ce qui fait en sorte de minimiser le temps d'indisponibilité des sites pendant la nuit en France. La migration a été terminée vers minuit (6h en France)

    Chez moi le site est déjà accessible sur le nouveau serveur mais comme j'expliquais le délais varie selon le FAI à cause de la propagation DNS. Si vous lisez ce message, c'est que la propagation DNS est terminée et que vous êtes sur le nouveau serveur, sinon le message d'avis de fermeture temporaire (en rouge) s'afficherait sur l'ancien serveur.

    La plus grosse partie de la migration est terminée, l'équipe centrera ses efforts à configurer et optimiser le nouveau serveur, et en parallèle l'équipe fait un plan pour l'upgrade su Serveur 2 (AnarchistFederation.net)

    Si vous repérez un bug sur le nouveau serveur, merci de le rapporter ici !
     
    allpower et Anarchie 13 aiment ça.
  14. Nouvelle méthode de vérification des demandes d'inscriptions

    L'équipe technique teste présentement une nouvelle façon de bloquer les inscriptions de robots publicitaires SANS captcha et sans aucune autre vérification manuelle (dans la majorité des cas), ce qui simplifie l'inscription et augmente la sécurité. Donc sur la page d'inscription, il n'y a pas de code à entrer, pas de question à répondre, pas de confirmation email, et pas de 30 secondes à attendre.

    Comme c'est expérimental, il pourrait y avoir une hausse ou une baisse des inscriptions de robots alors il faudrait faire un suivi avec les modérateurs

    Pourquoi ? En résumé, les captcha sont non seulement chiants pour l'utilisateur mais en plus ca contribue à l'esclavage salarié des "fermes humaines" d'employés payés 1$ par jour (voir le vidéo). Avec l'IA, les méthodes conventionnelles de code de vérification ne fonctionneront plus.

    La nouvelle méthode détecte les inscriptions malicieuses basé sur de multiple facteurs :
    - Vérification de l'IP contre plusieurs base de données de spammeurs connus
    - Si tor ou un proxy est détecté
    - Si l'IP n'est pas Européenne ou Nord-Américaine
    - Si des trucs louches sont détectés dans la signature du navigateur (User-Agent)
    - Si l'IP est identifiée comme une menace par le Threat Score de Cloudflare
    - Si l'IP fait trop de demandes d'inscriptions répétées, flood ou autre abus

    Le visiteur devra alors compléter une vérification manuelle avant de pouvoir accéder à la page d'inscription, mais pour tous les autres (99% des visiteurs humains) aucune vérification à faire.

    Cette vérification manuelle, si elle est déclenchée, est maintenant délégué au système de Cloudflare et son IA pour détecter les robots et présenter une meilleure vérification. De plus, ça a l'avantage de bloquer les robots directement au niveau du Firewall de Cloudflare, avant même que la requête atteigne nos serveurs, ce qui évite que les spammeurs consomment inutilement les resources des processeurs.



    À noter que chaque inscription doit quand même être validée par l'équipe de modérateurs, rien n'a changé de ce côté la. Il y a 2 étapes de protections et on parle ici de filtrer les *demandes* d'inscription. Sans ces protections les modérateurs auraient à désapprouver des dizaines d'inscriptions de robots chaque jour et ce serait ingérable.
     
    Anarchie 13 et allpower aiment ça.
  15. Merci pour cette aide pour les inscriptions !
    Et merci aussi pour la vidéo sur les captchas
     
  16. Par contre, depuis ton dernier message, déjà 3 demandes d'inscription avec des adresses mail "bizarre" (style @jointciter.com) répertorié comme 100% risk par site anti spam/fraude...
    J'ai bien entendu pas validé ces inscriptions !
     
  17. Encore une autre tentative avec le même "nom de domaine" : @bookiebest.com
    Vont bien finir par se lasser :)
     
  18. Encore une... Je sens que la journée va être longue ! :) + :(
     
  19. En effet il y a eu un problème lors du déploiement des nouvelles protections qui sont actives uniquement sur cette adresse :
    Code:
    libertaire.net/inscription
    Mais les bots contournent les protections en utilisant une autre adresse qui aboutit aussi sur la page d'inscription
    Code:
    libertaire.net/register
    La protection a été modifiée pour couvrir les 2 adresses, donc en théorie les inscriptions de robots devraient cesser après ce message.

    Comme je disais ces protections sont essentielles sans quoi les demandes d'inscriptions deviennent ingérable :'D
     
    Dernière édition: 20 Avril 2023
  20. Anarchie 13
    Offline

    Anarchie 13   Comité auto-gestion Membre actif

    8 430
    753
    143
    Jan 2009
    France
  21. libertaire, anarchiste, marxiste, individualiste, révolutionnaire, anti-fasciste
    Cool :) j'ai eu à virer un bot aussi depuis ce matin avec la même adresse qu'allpower.

    J'ai bien aimé la vidéo sur les captcha et leur cadre de travail <3<3
     
    Ungovernable apprécie ceci.

Les membres qui ont lu cette discussion dans le dernier mois (Total: 42)

  1. Wiston 2.0
  2. Samuel
  3. Barmy
  4. Tikia
  5. Ytalf
  6. HNORD
  7. gorekhaa
  8. graccchus
  9. cyberpxte
  10. Ziggy-star
  11. Doxus
  12. Cacab
  13. amidespapillons
  14. Gourbi
  15. Gabi
  16. Hector Plasme
  17. MusketeerZ
  18. acide_errant
  19. Ganate
  20. Anarkocom
  21. manolis
  22. Jaf
  23. Motok'
  24. Sylvanozzz
  25. ninaa
  26. pxone
  27. depassage
  28. Damona
  29. anarch
  30. Alba
  31. Diego_CA
  32. Roaringriri
  33. lucifer
  34. Dagomir
  35. pierrem
  36. B.A.R.J.O
  37. allpower
  38. jabali
  39. Anarchie 13
  40. Ungovernable
  41. HarryKill
  42. Ze Dark Dude