La startup d’intelligence artificielle Mistral vient de dévoiler une nouvelle API dédiée à la modération de contenu, intégrée dans sa plateforme de chatbot Le Chat. Conçue pour répondre à des besoins variés et à des normes de sécurité spécifiques, cette technologie propose une modération fine et adaptable, offrant un soutien essentiel aux entreprises dans leur gestion de contenu numérique. Mais ce nouvel outil, malgré son efficacité revendiquée, soulève également des questions quant aux biais possibles des systèmes de modération basés sur l’IA.
Une API de modération de contenu adaptable aux exigences de sécurité
L’API de Mistral, utilisée pour la modération de contenu dans sa plateforme de chatbot Le Chat, est conçue pour être personnalisable et répond aux besoins spécifiques de chaque application. Ce modèle, baptisé Ministral 8B, est spécialement entraîné pour classifier du texte en neuf catégories distinctes, comme les contenus à caractère sexuel, les propos haineux ou discriminatoires, et les informations personnelles identifiables.
En incluant plusieurs langues, comme le français, l’anglais et l’allemand, l’API permet une analyse multiculturelle et multilingue, s’adaptant ainsi aux divers contextes d’utilisation. Selon Mistral, cette classification est une solution pragmatique pour fixer des limites de sécurité claires et efficaces, afin de prévenir les contenus potentiellement nuisibles dans différents environnements numériques. Cette API vient en concurrence frontale de solutions de modération de contenu, comme le français Bodyguard.ai, l’API Azure Content Moderator de Microsoft, l’API d’OpenAI, ou encore Moderate text Cloud Natural Language API de Google.
Un modèle pour modérer le texte brut et conversationnel
L’API de Mistral peut gérer aussi bien le texte brut que le texte conversationnel, s’intégrant ainsi facilement dans divers systèmes, du chatbot au forum en ligne. Ce choix technique permet aux entreprises d’appliquer des règles de modération adaptées aux spécificités de leur audience et de leur contenu, garantissant une meilleure adéquation avec leur politique de sécurité et leurs standards de qualité.
En intégrant cette API, les plateformes bénéficient d’une modération plus robuste et scalable, capable de faire face à des volumes de contenu importants, tout en répondant aux besoins de protection de l’utilisateur et de gestion des risques juridiques.
Le challenge principal des technologies de modération via IA : les biais et les limitations des modèles
Malgré les avancées notables, les systèmes de modération IA ne sont pas exempts de biais. Par exemple, certaines expressions en anglais vernaculaire afro-américain (AAVE) sont souvent interprétées de manière disproportionnée comme « toxiques » par des modèles de détection de toxicité. De même, les publications sur les réseaux sociaux traitant des handicaps peuvent parfois être classées de manière négative par les modèles de modération habituels.
Mistral reconnaît que son modèle de modération, bien que précis, est encore en développement. La société collabore avec ses clients pour améliorer en continu ses outils et participe activement à la recherche sur la sécurité dans ce domaine, cherchant à réduire les biais involontaires qui pourraient affecter certaines communautés ou thématiques sensibles.
La réduction des coûts grâce à l’API en mode batch
En parallèle, Mistral a également annoncé une API en mode batch pour traiter les requêtes à haut volume de manière asynchrone, permettant ainsi une réduction de coûts de l’ordre de 25 %. Cette solution de traitement par lots est particulièrement bénéfique pour les entreprises nécessitant une gestion de volume importante de données, optimisant ainsi les coûts liés à l’infrastructure tout en maintenant un service de modération performant.
Avec cette approche, Mistral rejoint d’autres leaders de l’IA comme Anthropic, OpenAI et Google, qui proposent également des options de traitement en mode batch, contribuant à rendre les solutions de modération de contenu plus économiques et accessibles.
Source : https://mistral.ai/news/mistral-moderation/