Une initiative intéressante et originale : en lançant Compar:IA, le ministère de la Culture entend encadrer et sensibiliser aux enjeux de diversité et de transparence dans le domaine de l’IA générative. Ce nouvel outil, en version Beta, permet aux utilisateurs d’explorer et de tester différents modèles d’IA conversationnelle à l’aveugle, tout en questionnant les biais culturels et linguistiques des algorithmes. Découvrez les objectifs de ce comparateur innovant, qui incarne une approche tournée vers le respect de la pluralité culturelle et l’esprit critique des utilisateurs.
Le comparateur Compar:IA a pour but de promouvoir la diversité et la transparence des IA conversationnelles
Compar:IA, développé dans le cadre du programme beta.gouv.fr, vise à évaluer le respect de la diversité culturelle au sein des IA conversationnelles. Ce projet, disponible à l’adresse https://comparia.beta.gouv.fr/, est initié par le ministère de la Culture, qui souhaite assurer un encadrement des modèles d’IA en matière de respect des spécificités linguistiques et culturelles, notamment pour les langues francophones.
Avec Compar:IA, les utilisateurs peuvent tester onze modèles d’IA générative, qu’ils soient propriétaires ou open source. Parmi les modèles disponibles figurent Llama 3.1, Gemini 1.5 Pro et Phi-3.5-mini. Ces IA sont évaluées pour vérifier leur adéquation avec les cultures francophones et leur capacité à fournir des réponses équilibrées et non biaisées.
Liste des IA comparées par l’outil Compar:IA
Voici la liste des IA testées et comparées par l’outil du ministère de la Culture :
- jpacifico/Chocolatine 14B – Open source, 14 milliards de paramètres. Développé à partir du modèle Phi-3 Medium de Microsoft, il est spécialisé pour la langue française.
- Google/Gemini 1.5 Pro – Propriétaire, taille XL. Sorti en février 2024, ce modèle multimodal prend en charge la génération de textes et d’images, l’analyse vidéo, et la transcription audio.
- Google/Gemma 2 27B – Open source, 27 milliards de paramètres. Modèle performant à usage spécifique, il est idéal pour des applications nécessitant une grande précision.
- Nous/Hermes 3 405B – Open source, 405 milliards de paramètres. Lancé en juillet 2024, ce modèle est une adaptation du Llama 3.1 405B de Meta, et le plus avancé de la série Hermes.
- Liquid/LFM 40B MoE – Propriétaire, taille L. Introduit en septembre 2024, ce modèle Mixture of Experts maximise l’efficacité de ses paramètres.
- Meta/Llama 3.1 405B – Open source, 405 milliards de paramètres. Sorti en juillet 2024, il est optimisé pour des tâches complexes telles que la programmation, le raisonnement et les mathématiques.
- Meta/Llama 3.1 70B – Open source, 70 milliards de paramètres. Publié en avril 2024, il excelle dans la compréhension et la génération de textes en plusieurs langues.
- Meta/Llama 3.1 8B – Open source, 8 milliards de paramètres. Version allégée de Llama 3.1, ce modèle est rapide et adapté aux applications quotidiennes. Sorti en avril 2024.
- NVIDIA/Llama 3.1 Nemotron 70B – Open source, 70 milliards de paramètres. Ce fine-tune par NVIDIA du Llama 3.1 70B est orienté vers des applications intensives.
- Mistral/Ministral – Open source, 8 milliards de paramètres. Conçu pour des réponses rapides, il supporte plus de 100 langues et est idéal pour des applications réactives. Lancé en octobre 2024.
- Mistral/Mistral Nemo – Open source, 12 milliards de paramètres. Avec un contexte étendu à 128k tokens, ce modèle est optimisé pour des réponses rapides et multilingues. Sorti en juillet 2024.
- Mistral/Mixtral 8x22B – Open source, 176 milliards de paramètres. Ce modèle multilingue, lancé en avril 2024, est particulièrement performant pour les langues européennes et les tâches analytiques avancées.
- Mistral/Mixtral-8x7B – Open source, 56 milliards de paramètres. Conçu pour des tâches variées, ce modèle multilingue est optimal pour des applications moins complexes.
- Microsoft/Phi-3.5-mini – Open source, 4 milliards de paramètres. Idéal pour la génération de code et les résumés, il gère de grands contextes avec 128k tokens.
- Alibaba/Qwen2.5-7B – Open source, 7 milliards de paramètres. Polyvalent et multilingue, il est efficace pour des tâches telles que la traduction, le résumé, l’analyse et le raisonnement, avec un contexte étendu à 130k tokens.
Les biais culturels et linguistiques dans les modèles d’IA conversationnelle
Les modèles d’IA disponibles sur Compar:IA soulèvent des questions autour des biais linguistiques et culturels. Beaucoup d’IA conversationnelles sont entraînées principalement sur des données en anglais, ce qui peut entraîner des distorsions dans les résultats générés. Ces biais se manifestent par des réponses parfois stéréotypées ou discriminantes.
Selon le ministère de la Culture, il est essentiel de mesurer comment ces IA respectent la diversité des cultures francophones, afin d’identifier et de corriger les biais. Compar:IA s’inscrit ainsi dans une volonté d’assurer une représentation équitable des utilisateurs et d’éviter que certains contextes culturels ne soient minorés ou ignorés dans les réponses des IA.
Constitution de jeux de données d’alignement pour réduire les biais
Le comparateur Compar:IA ne se contente pas de proposer un test des IA, il a également pour ambition de collecter des données d’alignement. Ces données, issues des préférences des utilisateurs, permettront de réentraîner les modèles de manière plus inclusive et respectueuse de la diversité des cultures francophones.
Les jeux de données d’alignement incluront une variété de langues et contextes pour enrichir les algorithmes. Cette collecte de préférences utilisateurs vise à obtenir des réponses qui reflètent mieux les réalités et attentes des usagers francophones, rendant ainsi les IA conversationnelles plus pertinentes et moins biaisées.
Encourager l’esprit critique des utilisateurs et un droit au pluralisme des IA
Le ministère de la Culture souhaite, par ce projet, encourager les utilisateurs à adopter un regard critique sur les IA et à choisir des modèles en accord avec leurs valeurs. Le comparateur Compar:IA défend l’idée d’un droit au pluralisme des modèles d’IA, en écho au principe de pluralisme effectif des algorithmes.
Cette démarche de pluralisme vise à faciliter l’accès aux IA génératives tout en sensibilisant les utilisateurs aux biais potentiels. Compar:IA veut ainsi se positionner comme un outil d’information et de sensibilisation, offrant aux utilisateurs les moyens d’interroger la diversité et la transparence des technologies conversationnelles actuelles.