«L’open source est l’antidote» : Roost, cette ONG qui vise à rendre gratuits des outils de modération des contenus

L’annonce a été faite lors du sommet pour l’action sur l’intelligence artificielle de Paris. Google, OpenAI, Discord, Roblox, mais aussi Bluesky, Hugging Face, Microsoft ou Mozilla s’allient pour bâtir une nouvelle ONG baptisée Roost, pour Robust Open Online Safety Tool. Dotée de 27 millions de dollars, cette fondation vise à rendre gratuits des outils de modération des contenus sur internet dont pourra se saisir n’importe quel éditeur de services en ligne.

« J’ai géré des équipes de Trust and Safety pendant ma carrière (chez Google et Niantic). Non seulement c’est un travail très dur, mais il coûte aussi très cher. Les systèmes de pointe de sécurisation des contenus sont donc la chasse gardée des très grandes plateformes et sont inaccessibles pour les autres acteurs », explique au Figaro la chercheuse française Camille François, spécialiste des questions de modération et présidente de Roost. Ce que confirme Aaron Rodericks, responsable Trust and Safety du réseau social Bluesky : « Il faut bâtir de zéro des centaines d’outils et il faut des millions de dollars pour apporter une sécurisation similaire aux autres grands médias sociaux. » Cela représente une immense barrière à l’entrée pour proposer des alternatives crédibles à Facebook, Instagram ou X.

Inspiré de la cybersécurité

Pour régler ce problème, Roost s’inspire du monde de la cybersécurité où l’open source est la règle depuis près d’une trentaine d’années. Plutôt que de construire chacune de leur côté leurs outils de détection et de correction des risques cyber, et donc de réinventer constamment la roue, les entreprises ont mis en commun leurs connaissances. Cette grande bibliothèque d’outils est en libre-service, et est améliorée par la communauté des ingénieurs en cybersécurité. « Il faut arrêter d’opposer open source et sécurité, rappelle Camille François. C’est tout l’inverse. L’open source n’est pas le poison, il est l’antidote. »

Roost va adopter une philosophie similaire. Les entreprises pourront piocher dans sa bibliothèque, en s’engageant à améliorer en retour cette dernière. Prendre et donner, donc. L’ONG va dans un premier temps travailler sur trois axes. Elle va tout d’abord proposer des outils pour détecter, supprimer et signaler aux autorités les contenus pédopornographiques, dont le volume va augmentant avec l’IA générative. Elle va aussi créer des « trieurs » (« classifiers ») pour détecter tout type de contenus problématiques (violences, insultes, harcèlement, racisme, appels au terrorisme…) sur tout type de médias (texte, photo, audio, vidéo…). Enfin, elle va proposer des outils et des interfaces pour le travail des modérateurs.

L’ONG ne va pas faire de la modération, ni imposer des règles sur le tri des contenus. Mais elle donne aux entreprises les ingrédients pour faire les choses à leur goût. « Ce sont des outils modulaires, comme des briques, par-dessus lesquelles on peut bâtir d’autres choses », ajoute Camille François. L’annonce intervient au moment où, chez les géants de la Silicon Valley, « certaines équipes de Trust and Safety ont été réduites. Mais le vent se lève avec cette approche ouverte de la “safety” », sourit-elle.