Chargement...

Rapports de problèmes techniques & maintenances du serveur

Discussion dans 'Discussion générale' créé par Libertaire.net, 2 Septembre 2018.

  1. La phase de test de Memcached est terminé et c'était un succès. Memcached est maintenant en fonction sur tous les sites du réseau.
    upload_2022-4-20_16-30-28.png

    On amorce la dernière phase des mises à jour annuelles sur les forums (et la plus importante). Ça fait déjà quelques semaines qu'on travaille à une refonte majeur du site. Encore ici le but est d'accélérer la vitesse de chargement. Pour se faire, il faut modifier la façon dont les resources externes sont chargées (par exemple, les images, les icônes, et les polices de caractères). Le moindre changement pouvant provoquer des bugs, on compte sur votre vigilance pour rapporter toute anormalité repérée sur le site dans les jours suivant ou précédant cette annonce.
    Plus d'infos ici : Rapports de problèmes techniques

    Également une grosse mise à jour sera annoncée pour Pirate-Punk.net et Anarcho-Punk.net dans les prochains jours, dont une nouvelle fonctionnalité qui devrait contribuer à rehausser le niveau d'activité des forums.
     
    Anarchie 13 et allpower aiment ça.
  2. Anarchie 13
    Offline

    Anarchie 13   Comité auto-gestion Membre actif

    8 430
    753
    143
    Jan 2009
    France
  3. libertaire, anarchiste, marxiste, individualiste, révolutionnaire, anti-fasciste
    Félicitations et merci pour tout ce taf !
    Ça paie parce que le résultat est vraiment quali !
     
    Ungovernable apprécie ceci.
  4. Nos travaux sont maintenant terminés sur les forums. Selon nos tests, la vitesse de chargement a été améliorée de 800% ce qui est énorme !

    Je tiens à remercier spécialement Longinos, un nouveau programmeur de l'équipe technique et syndicaliste retraité de la CNT espagnole, sans lui tout ceci n'aurait pas pu être possible. Merci d'avoir travaillé avec nous pendant 3 mois à améliorer les sites ! Longinos est l'admin de sites syndicaux espagnols et c'est un spécialiste de en optimisation et pagespeed, ce qui est une spécialisation plutôt rare, c'est exactement ce qu'on avait besoin ! C'est une des personnes les plus compétantes et aidantes que j'ai rencontré depuis que je suis dans ce collectif et il m'a apprit un tas de trucs qui me serviront pour la gestion des autres sites dans le futur.

    C'est donc plus de 30 sites qui bénéficierons de ces améliorations :
    10 serveurs et 30 sites web militant hébergés par la Coop NDNM
    C'est une grande chance que d'avoir une équipe technique solide pour gérer des sites anars qui n'auraient jamais accès à ce genre de resources spécialisés en d'autres cas. Engager des professionnels avec qualifications équivalentes auraient coûté des milliers d'Euros.

    On centre maintenant notre attention sur la boutique NDNM et on travaille ensemble à refaire le code CSS qui était problématique depuis longtemps.
    En parallèle, je continue de travailler avec l'autre moitié de l'équipe technique qui concentrent leurs efforts pour déployer notre nouveau système de newsletter.

    Bref ça bouge beaucoup dans le collectif et c'est super encourageant de voir les collègues motivéEs et l'équipe qui s'aggrandie !
     
    allpower et ninaa aiment ça.
  5. Génial !
    Bravo à toute l'équipe !
     
  6. Anarchie 13
    Offline

    Anarchie 13   Comité auto-gestion Membre actif

    8 430
    753
    143
    Jan 2009
    France
  7. libertaire, anarchiste, marxiste, individualiste, révolutionnaire, anti-fasciste
    Ça fait plaiz ! 800% c'est impressionnant ^^ Merci encore pour le taf ! Et cool que y ait une dynamique dans l'équipe

    J'ai remarqué un petit "bug" sur téléphone / android lorsqu'on déroule la liste des infos d'infolibertaire et qu'on en ouvre une dans un nouvel onglet et qu'on revient sur le forum on ne peut plus dérouler à nouveau le bandeau qui reste alors bloqué sur l'information qu'on a ouverte.
    C'est pas très grave, sans doute pour ça que personne n'a jamais remarqué, puisque si on actualise ou change de page ça revient à la normale. En plus si ça se trouve ça vient pas du forum
     
  8. Un gros problème généralisé avec Cloudflare affecte présentement environ la moitié de tous les sites internet mondiaux, cause inconnue pour le moment (mais pas une attaque de piratage DDoS selon mes recherches). Des millions de sites sont présentement plantés incluant même Google.

    Tous les sites du réseau sur nos 4 serveurs sont inaccessibles depuis environ 1 heure. Plus de 30 sites. Après avoir paniqué un instant avec mon collègue de l'équipe technique en pensant que c'était un problème de notre côté, on a fini par comprendre que ça venait de Cloudflare donc on ne peut pas rien y faire. Présentement les sites semblent revenir de façon intermittente (ce qui me permet de venir poster ce message) et puis ça replante après. Selon nos infos ca varie selon la localisation, certains sites sont accessibles seulement pour certains pays.

    J'ignore combien de temps le problème va durer mais il est 4h00 AM ici et je m'en vais dormir. Mon collègue en Espagne prend la relève.

    Bonne chance aux techniciens de Cloudflare qui doivent vivre un cauchemard en ce moment.
     
  9. Un membre m'a demandé pourquoi les notifications du forum ne contiennent plus le contenu complet du message, ca m'a fait penser que je n'avais jamais posté l'explication technique, alors la voici :

    Oui, c'est normal. Je trouvais moi aussi cette fonction très pratique mais ca causait plusieurs problèmes. Un collègue a repéré certains mails qui étaient bloqués par Hotmail et Free.fr pour cause de "spam" et après avoir enquêté (et échangé beaucoup de mails avec le Postmaster de Free.fr) la conclusion de l'équipe est que ce sont ces mails qui font "blacklister" notre serveur par les filtres anti-spam.

    Par exemple si un membre du forum recoit un e-mail avec une notification du forum car un nouveau message a été publié, si ce message contient des liens vers des sites externes c'est un "drapeau rouge" pour les filtres anti-spam qui bloquent notre serveur. Et c'est encore pire quand le message contient des liens vers des sites de téléchargements, comme c'est souvent le cas pour ce forum.

    La "logique" des filtres anti-spam semble être que si un e-mail contient des liens vers des téléchargements externes, ça pourrait être un virus

    Un autre problème était que certains membres se trompaient en répondant au e-mail contenant la notification, au lieu d'aller sur le forum pour poster la réponse. Donc le destinataire ne recevait jamais le message.
     
  10. ninaa
    Offline

    ninaa Membre du forum Expulsé du forum

    11 199
    1 856
    499
    Fev 2014
    France
  11. anarchiste, anarcho-féministe, individualiste
    Pour ma part je ne trouve pas important que la notification ne contienne pas le message, pourvu que l'on soit averti qu'il y a eu un message et qu'il y ait un lien pour accéder directement à la discussion.
     
  12. Une panoplie de problèmes techniques sur le serveur aujourd'hui qui était complètement surchargé et les processeurs à 100% d'utilisation constante (la normale est entre 25%-50%), ce qui a entrainé un effet "boule de neige" de problèmes techniques car le Serveur 3 ne répondait pas aux requêtes du Serveur 2 qui continuait à relancer les requêtes donc d'autres serveurs du réseau étaient sur le point de tomber.

    Le problème a commencé vers 9H ce matin (heure du Canada). Mon collègue a repéré le problème vers midi, mais n'est pas parvenu à trouver de solution et moi j'étais indisponible car j'étais au travail. Le serveur était en panne complète entre 10H et 16H et partiellement indisponible jusqu'à 19H

    Après le boulot j'ai rejoint mon collègue et après quelques heures de travail on pense avoir trouvé la cause du problème mais c'était plutôt complexe et ca reste à confirmer (je ne sais même pas comment l'expliquer simplement sans écrire 10 pages). Le problème a finalement été identifié comme provenant d'InfoLibertaire, et le site a préventivement été mis hors-ligne pour éviter la catastrophe puisque le Serveur 2 était aussi surchargé à cause d'une boucle de requêtes sans réponse. Pendant ce temps, InfoLibertaire affichait "Erreur 404".

    La situation est revenu à la normale vers 19H

    Ce graphique de l'utilisation combiné de nos 16 processeurs démontre bien le niveau de surcharge du Serveur 3
    upload_2022-11-25_2-2-39.png

    Sites touchés par la panne : InfoLibertaire et les 3 forums
     
  13. Bravo à vous 2 pour le job !
     
  14. Dire qu'aujourd'hui (21h créneau france) ça déconne à nouveau :(
     
  15. Oui, même problème qu'hier et même situation de mon côté :( Je viens de terminer le boulot je vais tenter de trouver la cause de ce bordel en espérant ne pas y passer tout la soirée...

    Tous nos processeurs sont à nouveau surchargés à 100% de capacité

    upload_2022-11-25_15-43-32.png
     
  16. Franchement, passe plutôt une bonne soirée !!! :)
     
  17. Surtout qu'actuellement, ça ne bug plus !
    Vive Vous !
     
  18. À priori le problème provient encore d'infolibertaire. Après avoir désactivé les robots informatiques qui parcourent le web pour trouver les articles à poster, la surcharge du serveur est redescendue vers un niveau normal.

    Alors pour tester cette théorie, on a complètement désactivé les robots sur le Serveur 3 (infolibertaire) en redirigeant toutes les requêtes vers les robots du Serveur 2 (AnarchistFederation)

    On a aussi élargi notre système de cache pour mitiger le problème (cache = servir une copie statique sauvegardée pour éviter des requêtes au serveur)

    Voyons quels résultats ça va donner, mais rediriger toute la charge vers le Serveur 2 pourrait avoir possiblement comme conséquence de faire planter le Serveur 2, mais au moins on saurait d'où vient le problème.

    La charge du Serveur 3 est revenu à la normale depuis 2 heures (et même plus bas que la normale vu que les requêtes sont maintenant redirigés vers le Serveur 2). Terminé pour ce soir.
    upload_2022-11-25_18-12-36.png
     
    Anarchie 13 et allpower aiment ça.
  19. C'est donc exactement ce qui s'est passé -_- Nos actions n'ont eu pour conséquence que de transférer le problème sur un autre serveur. Depuis vendredi, la charge du Serveur 2 est passé d'environ 25% à plus de 75% avec quelques pannes intermittentes et plaintes des sites hébergés.

    Retour à la case départ, la redirection vers le Serveur 2 est annulée. Donc le Serveur 3 risque de redevenir encore surchargé et on doit trouver la "vraie solution". L'équipe technique est sur une piste, mais on est bloqué avec un problème qui nous dépasse et on attend une réponse du support technique.
     
  20. Respect pour votre taff !
    + 10
     
  21. Ça aura finalement prit l'intervention de 3 personnes différentes et 7 jours de travail collaboratif pour venir à bout de ces problèmes car 2 serveurs et 15 sites étaient touchés par les pannes.

    Les causes sont diverses mais principalement lié au fait que les sites sont de plus en plus gros avec une énorme quantité d'articles (plus de 600,000) et qu'il y a de plus en plus de visiteurs (et de nouveaux sites !)
    Bref le niveau atteint par les sites fait en sorte que nos programmeurs doivent carrément refaire Wordpress en version customisé (et épurée) pour répondre aux besoins techniques.

    En tout plus d'une 30aine d'optimisations ont été faites sur les 10 sites du réseau InfoLibertaire/AnarchistFederation, les points principaux sont :

    1. Déploiement de 3 nouveaux types de caching haute-performance concu pour les gros sites habituellement réservé aux professionels. Ceci fait en sorte que le site est sauvegardé chaque 5 minutes en copie statique qui est ensuite distribuée par le CDN de Cloudflare réparti partout sur la planète. Donc les visiteurs recoivent les données d'une location géographique plus rapprochée au lieu de faire des requêtes à notre serveur central.
    - Cloudflare Page Cache
    - Object Cache relié au serveur Memcached installé en Avril 2022
    - Database Cache relié à Memcached avec W3 Total Cache

    2. Sécurité renforcie pour détecter et bloquer les bots des hackers qui consomment inutilement des resources de nos serveurs en scannant les vulnérabilités de sécurités

    3. Compression des données avec Minify, Brotli et Gzip

    4. Optimisation du chargement de page et correctifs de divers bugs

    5. Réduction de 50% du nombre de plugins utilisés par Wordpress en les remplacant par des plugins maison concu par l'équipe

    Des frais mensuels supplémentaires seront financés par NDNM pour les 2 serveurs, mais ça évite un upgrade serveur qui serait encore plus coûteux sans ce travail

    Ceci est la plus grande amélioration de la vitesse jamais observé, le temps de réponse du serveur d'Info Libertaire est passé de 10,000ms à 50ms !!! testé via 3 pays sur 7 jours

    upload_2022-12-1_3-42-36.png
     
    allpower apprécie ceci.
  22. Anarchie 13
    Offline

    Anarchie 13   Comité auto-gestion Membre actif

    8 430
    753
    143
    Jan 2009
    France
  23. libertaire, anarchiste, marxiste, individualiste, révolutionnaire, anti-fasciste
    Franchement bravo pour le travail accompli ! Et merci !
    Merci aussi de prendre le temps de faire des retours sur ce que fait l'équipe technique :)
     
    Ungovernable apprécie ceci.

Les membres qui ont lu cette discussion dans le dernier mois (Total: 42)

  1. Wiston 2.0
  2. Samuel
  3. Barmy
  4. Tikia
  5. Ytalf
  6. HNORD
  7. gorekhaa
  8. graccchus
  9. cyberpxte
  10. Ziggy-star
  11. Doxus
  12. Cacab
  13. amidespapillons
  14. Gourbi
  15. Gabi
  16. Hector Plasme
  17. MusketeerZ
  18. acide_errant
  19. Ganate
  20. Anarkocom
  21. manolis
  22. Jaf
  23. Motok'
  24. Sylvanozzz
  25. ninaa
  26. pxone
  27. depassage
  28. Damona
  29. anarch
  30. Alba
  31. Diego_CA
  32. Roaringriri
  33. lucifer
  34. Dagomir
  35. pierrem
  36. B.A.R.J.O
  37. allpower
  38. jabali
  39. Anarchie 13
  40. Ungovernable
  41. HarryKill
  42. Ze Dark Dude