Chargement...

Aggrégateur décentralisé de manifs

Discussion dans 'Agenda militant - manifestations et évènements' créé par Ungovernable, 21 Octobre 2022.

  1. Nouveau sur le forum: basé sur le même principe que l'aggrégateur de concerts pour Pirate Punk, les manifs publiés sur plus de 25 sites différents sont maintenant relayés sur le forum.

    De nouveaux robots ont été programmés pour scruter le web à la recherche d'événements militants sur différents sites comme Demosphere et Mobilizon. Les événements sont ensuite triés et ajoutés dans l'agenda militant du forum avec une description, des images, et une carte OpenStreet.

    Le nouveau système est présentement en phase de test et la suite sera déployée progressivement


    PHASE 1

    La première phase consiste à tester la viabilité du système avec des données réelles. Par exemple, la communauté doit vérifier la pertinence des événements (dont certains ne sont pas directement anarchistes). Il faut aussi s'assurer de la stabilité du système et corriger les bugs.

    Parmi les bugs potentiels de la phase de test, il y a les doublons ou les événements qui s'affichent mal. Évidement il y a aussi le risque que des événements non-appropriés se glissent au travers de nos flitres, mais il y a quand même plusieurs équipes de modération qui surveilleront (celles de Demosphere et celle du forum).

    PHASE 2

    La deuxième phase consistera à relier InfoLibertaire à l'agenda militant. Les événements seront donc affichés sur les 2 sites, mais le système de gestion d'événements sera toujours basé sur le forum. Cette phase nécessitera le développement d'un calendrier sur mesure par nos programmeur.e.s.

    PHASE 3

    La phase finale de ce projet sera de relier l'agenda militant à la newsletter pour envoyer un résumé mensuel ou bi-mensuel des manifs à venir. Si tout fonctionne bien, ça pourrait influencer directement le nombre de personnes présentes aux manifs vu la quantité énorme d'abonnés (environ 50,000 au total).


    EXPLICATIONS SUR LES FILTRES DES ROBOTS

    Comment fonctionne le tri des événements ? Le titre doit contenir des mots comme "manif", "rassemblement", "mobilisation", "cortège" afin de s'assurer de la précision. Ce filtre est nécessaire afin de ne pas innonder le forum de centaines d'annonces moins pertinentes.

    Exemple d'événements exclus du relayage : rencontres, réunions, présentations, conférences, débats, permanences, assemblées, sports, soirées, apéros, repas, cantines, festivals, ateliers, expositions, vernissages, projections, formations, fêtes, inaugurations, porte-ouverte, lectures, librairies
    (ces événements peuvent quand même être publiés manuellement par les membres au cas-par-cas)


    PROBLÈMES POTENTIELS

    Pour vérifier si nos filtres fonctionnent correctement, il faut tester le système avec des données réelles sur une longue période pour entrainer et améliorer l'intelligence artificielle. Par exemple, au départ on incluait les événements qui contiennent le terme "marche" comme adjectif de "manif", mais Ninaa nous a fait remarqué qu'une erreur s'est glissée et les filtres ont été ajustés en conséquence.

    Dans un tel système la perfection n'existe pas et il faut s'attendre à ce que des événements doivent être modérés à posteriori. Au final ce qui importe est le taux de succès et si seulement 1% des événements publiés doivent être supprimés à posteriori, on pourra dire que les avantages surpassent les inconvénients. Selon nos tests le taux de succès est supérieur à 99% pour le moment.

    Dans le cas où il y aurait trop d'événements inappropriés qui se glissent au travers des filtres, il y a aussi la possibilité de modérer à priori, c'est-à-dire que les événements doivent être approuvés manuellement par les modérateurs. Comme ce genre de concept n'exite pas nulle part ailleurs on ne sait pas exactement à quoi s'attendre. Donc si vous repérez un problème, merci de le signaler à l'équipe technique, ça nous aidera à améliorer l'intelligence artificielle du système.
     
  2. ninaa
    Offline

    ninaa Membre du forum Expulsé du forum

    11 199
    1 856
    499
    Fev 2014
    France
  3. anarchiste, anarcho-féministe, individualiste
    Je n'avais noté qu'une seule erreur issue de Démosphère. En effet ce n'est pas beaucoup et à mon avis les avantages dépassent les inconvénients. Pour ma part je trouve cette innovation très intéressante car les annonces manuelles d'évènements n'étaient pas assez nombreuses, or le forum n'est pas censé être seulement un site de débats, d'infos ou de téléchargements mais aussi renvoyer les militants à des luttes IRL.
     
    Ungovernable apprécie ceci.
  4. ninaa
    Offline

    ninaa Membre du forum Expulsé du forum

    11 199
    1 856
    499
    Fev 2014
    France
  5. anarchiste, anarcho-féministe, individualiste
  6. J'ai supprimé un des 2 doublons
    Ce problème survient quand 2 sites différents postent le même événement. Si le lien ou le titre est différent, nos robots ne peuvent pas détecter que l'événement a déjà été publié. Même si cette manif est à Lille, elle a aussi été relayé sur le site de Dunkerque
    19 nov.: Manifestation contre les violences sexistes et sexuelles / #Lille
    19 nov.: Manifestation contre les violences sexistes et sexuelles / Lille Centre

    Espérons que ca n'arrive pas trop souvent
     
  7. ninaa
    Offline

    ninaa Membre du forum Expulsé du forum

    11 199
    1 856
    499
    Fev 2014
    France
  8. anarchiste, anarcho-féministe, individualiste
    C'est pas très grave de toute façon...
     
  9. J'ai oublié de mentionner que pour ne pas inonder le forum d'annonces de manifs postés par @Info-Manif@Info-Manif, le bloc du menu de droite "Nouveaux Messages" exclus maintenant les messages publiés dans le forum de l'agenda militant.

    Il faudra ré-évaluer cette décision dans quelques semaines. Présentement, il semble avoir de nombreux événements publiés mais les robots ne font que "rattraper le retard" en publiant des événements déjà annoncés depuis plusieurs jours/semaines. Mais une fois ce retard rattrapé, la fréquence de posts risque de baisser. En théorie, des manifs ne sont pas annoncées chaque jour.

    Donc si, dans quelques semaines, on voit que le robot publie seulement une annonce à tous les 2-3 jours, on pourra peut-être décider d'inclure à nouveau les annonces de manifs dans les nouveaux messages.

    En attendant, on peut toujours voir les nouvelles annonces en allant dans le forum de l'agenda et en triant les messages par "date de début"
    Agenda militant - manifestations et évènements

    Pirate-Punk a eu le même problème suite à l'ajout des annonces de concerts automatisés, le compromis a été d'afficher ces annonces dans un bloc séparé, mais il y a beaucoup plus de concerts que de manifs.

    upload_2022-10-21_19-11-42.png
     
    allpower apprécie ceci.
  10. ninaa
    Offline

    ninaa Membre du forum Expulsé du forum

    11 199
    1 856
    499
    Fev 2014
    France
  11. anarchiste, anarcho-féministe, individualiste
  12. Bon après consultation avec les collègues sur le meilleure méthode a utiliser, on a trouvé une solution (plutôt techniquement complexe) pour entrainer l'intelligence artificielle à reconnaitre la similarité entre 2 événements même si le titre est différent. C'est encore expérimental mais pour le moment ça fonctionne bien.

    Je vais essayer de résumer le procédé

    1. le robot repère une manif le 10 novembre
    2. avant de publier, le robot va chercher la liste des autres événements déjà annoncés sur le site pour le 10 novembre
    3. pour chaque événement déjà publié, on compare la similarité des titres, et si le titre est minimum 70% similaire à une manif déjà publié, c'est considéré comme un doublon et ne sera pas reposté
    4. la similarité des titres est définie par un algorithme complexe qui compare la similarité des mots (peu importe l'ordre) mais aussi la similarité des caractères avec l'aide de l'algorithme Levenshtein
    PHP: levenshtein - Manual

    Oui, mais si la liste des manifs sera éventuellement envoyée à 50,000 membres avec la newsletter, vaut mieux peaufiner les détails. Même si c'est plus de travail au départ, ce système devrait être bon pour tourner pendant plusieurs années après avoir corrigé les bugs. Alors merci de rapporter les doublons ca aide à repérer les bugs comme je ne vérifie pas l'agenda chaque jour
     
    ninaa apprécie ceci.
  13. ninaa
    Offline

    ninaa Membre du forum Expulsé du forum

    11 199
    1 856
    499
    Fev 2014
    France
  14. anarchiste, anarcho-féministe, individualiste
    Je ne sais pas si c'est voulu mais les annonces de l'agenda n'apparaissent plus dans la colonne de droite, où figuraient apparemment les posts les plus récents?
     
  15. Réponse déjà donnée plus haut :(
     
  16. ninaa
    Offline

    ninaa Membre du forum Expulsé du forum

    11 199
    1 856
    499
    Fev 2014
    France
  17. anarchiste, anarcho-féministe, individualiste
    Ah oui en effet au temps pour moi! :)

    Personnellement j'espère donc que "dans quelques semaines" on reverra les annonces dans la colonne de droite. Je ne sais pas si c'est faisable mais on pourrait peut-être seulement laisser les annonces postées par des membres du forum, pour leur donner un surcroît de visibilité?
     
  18. C'est ce qu'on aurait préféré faire, mais malheureusement techniquement impossible

    Présentement, en moyenne, il semble avoir 2 nouvelles annonces publiées chaque jour. Ça peut quand même s'accumuler rapidement dans le menu de droite et donner moins de visibilité aux discussions.

    Sinon il y a toujours la possibilité d'un 2ième bloc séparé, comme sur Pirate Punk
     
  19. Un bug passé inaperçu a brisé le système d'aggrégation depuis février, c'est maintenant corrigé et les événements recommencent à être annoncés automatiquement sur le forum

    Sinon, on prévoit toujours lancer cette newsletter de manifs qu'on annonce depuis l'année dernière, mais le projet a prit du retard car l'équipe a d'autres priorités à s'occuper
     
    allpower apprécie ceci.
  20. Juste avant le 1er mai ! Excellent !!!
     
  21. Un bug a été corrigé qui empêchait certains événements d'être republiés par nos robots.

    À titre de rappel, nos robots parcourent une trentaine de sites militants plusieurs fois chaque jour pour repérer les événements militants et les importer sur le forum. La tâche la plus complexe est de faire le tri parmi ces événements qui sont beaucoup trop nombreux, pour identifier les manifs et les autres événements pertinents, tout en excluant les événements moins pertinents qui pourraient "flooder" l'agenda (permanences, réunions, projections, cinéma, etc)

    Ça peut sembler facile mais en fait c'est très complexe, il faut entrainer nos robots avec un peu de "IA" pour identifier la terminologie de mots qui représentent les manifs, et construire une liste de mots pour identifier les événements moins pertinents.

    Le problème, c'est que ça crée des faux positifs (des événements pertinents qui sont exclus par erreur, et des événements non-pertinents qui se retrouve dans l'agenda). La seule solution c'est une analyse par nos programmeurs, et un correctif pour entrainer nos robots à mieux repérer ce qu'on recherche.

    Bref pour résumer : l'efficacité a été augmentée.
     
    allpower apprécie ceci.
  22. Merde ! Le dernier update en août a brisé l'aggrégateur, qui ne publiait plus aucune annonce sur le forum depuis quelques mois. L'équipe technique n'avait pas été avisé avant aujourd'hui. Tout est maintenant réparé, et les annonces recommencent à être publiées.

    On en a profité pour corriger des bugs d'affichages sous appareil mobile, ainsi que la traduction des jours.

    Ça va finir par venir un jour, mais comme d'hab l'équipe est débordé à gérer tous les sites hébergés
     
    allpower et Anarchie 13 aiment ça.
  23. Avec plus de 1 an de retard, l'équipe technique est enfin presque prête à lancer la newsletter mensuelle du Forum Libertaire.

    Contenu de la newsletter :
    • Présentation du forum Libertaire pour inciter les membres à participer
    • une liste de 10 discussions du forum qui ont été actives dans le dernier mois (excluant les forums : présentation, documentaires, autogestion, et excluant les posts de nouveaux membres pour éviter le trollage)
    • Liste des manifs et événements militants à venir tiré de la section Agenda Militant (il faudra donc redoubler de vigilance sur les annonces publiées automatiquement, mais depuis 2022 quasi aucun problème à rapporter)
    La newsletter sera envoyée aux 15 000 membres du forum et aux abonné.e.s d'InfoLibertaire, donc ca devrait aider à rehausser le niveau d'activité du forum
     

Les membres qui ont lu cette discussion dans le dernier mois (Total: 19)

  1. depassage
  2. ninaa
  3. Sylvanozzz
  4. Ganate
  5. mamie
  6. durand
  7. jabali
  8. anarch
  9. HarryKill
  10. ABRACADABOUM
  11. allpower
  12. Ze Dark Dude
  13. Roaringriri
  14. Anarchie 13
  15. manolis
  16. MusketeerZ
  17. utopia
  18. bigteuf
  19. Ungovernable