Une nouvelle étude, dirigée par la psychologue de Harvard Ashwini Ashokkumar et publiée dans le journal Nature, indique que les grands modèles de langage (GML), tels que GPT-4, peuvent prédire de manière surprenante les résultats de nombreuses expériences en sciences sociales.
Cependant, les résultats sont accompagnés d’une mise en garde : un système qui prédit les réactions humaines n’est pas nécessairement un système qui comprend le comportement humain. Les « répondants synthétiques » ou « échantillons de silicium » ne sont pas un substitut direct aux vraies personnes.
Ashokkumar et ses collègues ont recueilli 70 expériences réelles menées aux États-Unis, auxquelles ont participé près de 120 000 participants. Ils ont fourni à GPT-4 des descriptions de répondants hypothétiques ainsi que des messages expérimentaux et des questions d’enquête, en demandant d’évaluer comment ces personnes réagiraient dans différentes conditions. En comparant les prédictions de GPT-4 avec les résultats réels, les chercheurs ont découvert une forte corrélation : le modèle pouvait souvent distinguer les interventions les plus efficaces et les moins efficaces. Il s’agit d’un résultat impressionnant qui indique que les GML peuvent capter des schémas significatifs dans le monde social, au moins dans les enquêtes textuelles étudiées dans la recherche. Cependant, ce n’est pas une preuve que l’IA a trouvé un moyen fiable de remplacer les recherches impliquant des humains.
Les prédictions utiles ne signifient pas la compréhension
Les scientifiques américaines Lisa Messeri et Molly J. Crockett mettent en garde contre le fait que les systèmes d’intelligence artificielle (IA) peuvent créer des « illusions de compréhension » — des résultats qui semblent convaincants et utiles, mais qui incitent les utilisateurs à surestimer ce qui a réellement été compris. Les GML peuvent générer des explications plausibles ou des prédictions convaincantes, mais cela peut refléter une correspondance complexe de schémas, et non une véritable compréhension des mécanismes sous-jacents au comportement observé.
Par exemple, la nouvelle étude a montré que GPT-4 évaluait souvent bien les effets probables de différentes interventions, mais surestimait systématiquement leur ampleur d’environ deux fois par rapport aux résultats réels. Cette différence est cruciale : un outil peut informer les chercheurs que le message X est susceptible de fonctionner mieux que le message Y, mais il peut rester peu fiable quant à savoir si la différence sera négligeable, modérée ou substantielle.
Un outil puissant pour les études pilotes
Lorsqu’ils sont utilisés avec prudence, ces renseignements peuvent encore être très précieux. Les chercheurs mènent souvent de petites études pilotes avant de lancer des expériences coûteuses. De telles études aident à perfectionner les interventions et à évaluer si l’effet attendu est suffisamment grand pour justifier la réalisation d’une étude plus vaste.
Les prédictions générées par les GML peuvent compléter ces études pilotes. Par exemple, les chercheurs peuvent modéliser comment différents groupes démographiques réagiront à plusieurs versions de messages sur la vaccination, des interventions sur le lieu de travail ou différentes variantes de formulation de politiques. Dans le même temps, l’étude a montré que la combinaison des prédictions des GML avec celles des humains s’est avérée plus précise que chacune de ces sources séparément. L’avenir le plus utile peut ne pas résider dans le remplacement des chercheurs ou des participants aux recherches par l’IA, mais dans l’aide à déterminer où diriger plus efficacement les ressources humaines limitées.
La tentation de l’« échantillon de silicium »
L’idée des « répondants synthétiques » ou « échantillons de silicium » est intéressante non seulement d’un point de vue scientifique. Elle est de plus en plus discutée dans le domaine des enquêtes sociologiques, des études de marché et des consultations publiques, où les partisans voient des possibilités de tests plus rapides et moins coûteux. Dans le même temps, les critiques mettent en garde contre le fait que cela pourrait saper la confiance si les simulations sont présentées comme une véritable opinion publique.
Pour un politicien qui veut connaître la réaction du public à une nouvelle politique fiscale, ou une entreprise évaluant une nouvelle campagne publicitaire, les GML peuvent fournir une réponse rapide et plausible. Mais ce n’est pas la même chose que de mesurer l’opinion publique. Une enquête ordinaire recueille des réponses de personnes vivant dans une société particulière à un moment donné. Un échantillon synthétique, en revanche, est basé sur des schémas intégrés dans les données d’apprentissage du modèle, la construction des requêtes et ses limites. Il peut reproduire certains éléments du jugement humain, mais il lui manque l’expérience de vie, les connaissances locales et l’intérêt réel pour la question étudiée.
Cet écart peut être particulièrement important pour les nouveaux problèmes, les communautés marginalisées, les événements en rapide évolution et les groupes de population sous-représentés dans les données en ligne. Ashokkumar et ses collègues ont constaté que le modèle fonctionnait généralement bien avec différents groupes démographiques, mais ont également enregistré certaines différences de précision en faveur des échantillons de répondants blancs et des partisans du Parti républicain aux États-Unis. Sans un calibrage minutieux, les répondants synthétiques peuvent reproduire les schémas dominants dans les données disponibles, lissant les divergences ou les positions minoritaires.
Des applications similaires — et les risques qui y sont associés — se posent également dans les panels d’experts soutenus par l’IA, la prédiction et les outils de consensus de la méthode Delphi. Ils peuvent rendre les processus de prédiction et de discussion des experts plus rapides et plus accessibles, mais l’accord formé par le modèle peut également masquer des divergences réelles et utiles, plutôt que de les aider à résoudre. L’« échantillon de silicium » peut être utile pour générer des hypothèses et tester des suppositions, mais il ne peut pas remplacer les recherches impliquant de vraies personnes. Le risque ne réside pas dans l’utilisation d’agents synthétiques, mais dans le fait de prendre à tort le substitut créé par le modèle pour la population elle-même.
Le risque d’optimisation de la persuasion nuisible
La même capacité de prédiction de l’IA peut être utilisée à mauvais escient. Les auteurs de l’étude ont vérifié si GPT-4 pouvait identifier le contenu sur les réseaux sociaux susceptible de réduire les intentions de vaccination contre le COVID-19. Bien que le modèle puisse refuser de créer directement des messages anti-vaccination, il est toujours capable d’aider à déterminer quels messages nuisibles parmi un ensemble de variantes existantes sont les plus susceptibles d’être les plus efficaces. Cela souligne la nécessité de mécanismes de protection qui vont au-delà du blocage des requêtes clairement nuisibles. Les systèmes peuvent également avoir besoin de protection contre l’utilisation de l’IA pour classer, optimiser ou cibler la persuasion nuisible.
Les recherches utilisant des GML commerciaux tels que GPT-4 sont également vulnérables aux changements apportés par les développeurs de modèles. De tels modèles peuvent changer ou même cesser de fonctionner sans préavis, ce qui rend difficile ou même impossible la vérification ou la reproduction des résultats obtenus par d’autres chercheurs.
La principale conclusion n’est pas que la prédiction par l’IA est vaine ou, au contraire, magique. Les grands modèles de langage peuvent devenir un outil précieux pour les sciences sociales, aidant les chercheurs à tester de nouvelles idées, à déterminer les priorités d’intervention et à modéliser différents scénarios avec un minimum de coûts. Dans le même temps, les chercheurs mettent en garde : plus les prédictions de l’IA deviennent précises, plus il est facile de les prendre à tort comme une preuve de véritable compréhension du comportement humain.
Source : Phys.org
