Classer et modérer les contenus d’une plateforme communautaire

Le contexte

La plateforme voulait proposer à chaque membre des publications proches de ses centres d’intérêt. Pour cela, chaque publication devait être rattachée à un thème. Il fallait aussi protéger la communauté : écarter les propos haineux et repérer les comptes automatisés.

Ce que nous avons construit

• Un classement thématique. 52 thèmes, de la finance à la cuisine, chacun défini par une trentaine de phrases de référence. Chaque publication est comparée à ces phrases par similarité de sens, et non par mots-clés.
• Une modération. Un filtre qui repère les propos haineux.
• Une détection de bots. Des signaux de comportement pour repérer les comptes qui ne sont pas tenus par des personnes.
• Des recommandations. Un filtrage collaboratif, qui propose des contenus à partir des préférences de membres proches.

Le point dur : la précision du classement

La première version rattachait correctement entre 60 et 70 % des publications. C’est trop peu : une erreur de thème se voit tout de suite dans le fil d’un membre.

Le gain n’est pas venu d’un modèle plus gros. Il est venu de deux choses. D’abord la règle de décision : au lieu de regarder seulement la ressemblance moyenne avec un thème, le score tient compte des correspondances les plus fortes. Ensuite les thèmes eux-mêmes : leur liste et leurs phrases de référence ont été relues par l’équipe produit, qui a signalé les manques et les doublons. La précision est passée entre 90 et 95 %.

Les résultats

• Une précision de classement passée d’environ 65 % à plus de 90 %.
• Des briques de modération, de détection de bots et de recommandation, intégrées au produit.
• Une liste de thèmes documentée, que l’équipe produit peut faire évoluer seule.

Sur un problème de classement, le gain vient souvent de la définition des catégories et de la règle de décision, avant le choix du modèle.

Ce que nous en retenons

Une liste de thèmes que l’équipe produit peut lire et corriger vaut autant qu’un bon modèle. C’est elle qui permet d’améliorer le système sans repartir de zéro.

Partager sur LinkedIn →