Risques et bénéfices des agents conversationnels pour l’accès profane aux connaissances scientifiques

Cet article analyse les risques associés à l’utilisation d’agents conversationnels génératifs tels que ChatGPT pour l’accès aux connaissances scientifiques (et plus globalement techniques et médicales). Le développement du Web s’est en effet accompagné d’une évolution du processus de gatekeeping sous une forme algorithmique dont les intelligences artificielles génératives constituent le dernier avatar. Leurs limitations, et notamment les phénomènes d’hallucinations et de biais, sont cependant connues. Dès lors, ces agents conversationnels se révèlent-ils aptes à des tâches de médiation scientifique ? Leurs performances sont conditionnées aux caractéristiques de leur algorithme mais aussi de la disponibilité de données d’entraînement en quantité et de qualité. Or, l’accès à des contenus de sites de presse est régulièrement entravé par les éditeurs. Qu’en est-il pour les contenus scientifiques gérés par des éditeurs scientifiques commerciaux ? Les producteurs d’agents conversationnels génératifs doivent-ils se contenter de contenus de moindre qualité avec des conséquences dommageables sur la fiabilité des réponses ? Nous analysons dès lors les risques de mésinformation scientifique dus aux contraintes d’accès aux données. Nous discutons ensuite plus globalement ces risques, en cas d’usage en tant que médiateur scientifique, selon différents scénarios d’utilisation.

This article examines the risks associated with using generative conversational agents such as ChatGPT to access scientific knowledge (and, more broadly, technical and medical knowledge). The evolution of the Web has been accompanied by a shift in gatekeeping towards algorithmic forms, of which generative artificial intelligences are the latest manifestation. Their limitations, most notably hallucinations and various biases, are, however, well documented. Are these conversational agents therefore suitable for tasks of scientific mediation? Their performance depends not only on the properties of their algorithms but also on the availability of training data in sufficient quantity and quality. Access to content on news websites is, moreover, frequently hindered by publishers. What, then, of scientific content managed by commercial academic publishers? Must developers of generative chatbots rely on lower-quality material, with harmful consequences for the reliability of responses? We therefore analyse the risks of scientific misinformation stemming from constraints on data access. We then discuss these risks more broadly, when such agents are used as scientific mediators, across different usage scenarios.

Intelligence artificielle gatekeeping mésinformation jeu de données

Artificial intelligence gatekeeping misinformation datasets