Les chatbots, ces outils d’intelligence artificielle qui gagnent en popularité, sont de plus en plus utilisés pour se tenir informé de l’actualité. Pourtant, une étude récente révèle que s’en remettre à eux pour des informations précises peut être risqué. Découvrons pourquoi ces assistants numériques ne sont pas aussi fiables qu’on pourrait le croire.
Les 3 infos à ne pas manquer
- Sur 45 % des questions posées, les chatbots ont fourni des réponses erronées, notamment en raison de citations incorrectes.
- Parmi les chatbots étudiés, Gemini présente le taux d’erreur le plus élevé avec 76 %.
- Les chatbots fournissent des informations plus précises sur des faits d’actualité déjà « clos ».
L’étude sur la fiabilité des chatbots
Une étude orchestrée par des médias internationaux, sous la direction de la BBC et de l’Union Européenne de Radio-Télévision, a évalué la fiabilité des chatbots populaires tels que ChatGPT, Gemini, Perplexity et Microsoft Copilot. Les résultats montrent que 45 % des réponses fournies par ces outils contenaient au moins une erreur.
Les erreurs commises par les chatbots incluent principalement la citation de sources incorrectes, représentant 31 % des erreurs totales. Les autres défauts notables sont le manque de précision et l’absence de contexte, affectant respectivement 20 % et 14 % des réponses.
Gemini : le mauvais élève des chatbots
Parmi les quatre chatbots examinés, Gemini se distingue par son taux d’erreur particulièrement élevé, atteignant 76 %. Bien que les autres chatbots, tels que Perplexity, ChatGPT et Copilot, affichent des performances légèrement meilleures, ils ne sont pas exempts de fautes. Perplexity, souvent considéré comme le « chatbot le plus performant », présente un taux d’erreur de 31 %, tandis que ChatGPT et Copilot enregistrent des taux de 36 % et 37 % respectivement.
La précision des chatbots face à l’actualité
Les chatbots semblent rencontrer plus de difficultés à fournir des informations précises lorsque l’actualité est en constante évolution, comme dans le cas des conflits ou des crises en cours. En revanche, pour des événements achevés, les réponses sont généralement plus exactes. Cette tendance pourrait s’expliquer par le décalage entre les ensembles de données sur lesquels ces outils ont été entraînés et les informations actuelles.
Les efforts pour améliorer la fiabilité des chatbots
Les entreprises à l’origine des chatbots sont conscientes de ces limitations et ont entrepris de leur donner accès à Internet pour pallier leur manque de connaissances actualisées. Malgré ces tentatives d’amélioration, il demeure essentiel de ne pas se fier uniquement à ces outils pour s’informer et de continuer à vérifier les informations par soi-même.
ChatGPT, développé par OpenAI, est l’un des chatbots les plus connus et repose sur des modèles de langage avancés qui ont considérablement évolué depuis ses débuts. Son utilisation s’est répandue dans divers domaines, allant de l’éducation à la santé, mais sa fiabilité en tant que source d’information reste discutable.
Quant à Gemini, ce chatbot connaît un chemin semé d’embûches, notamment en raison de ses performances inférieures par rapport à ses concurrents. Ces résultats mettent en lumière les défis persistants auxquels sont confrontées les entreprises pour améliorer la précision et la fiabilité des chatbots, éléments cruciaux pour gagner la confiance des utilisateurs.