Una nueva investigación, dirigida por la psicóloga de Harvard Ashwini Ashokkumar y publicada en la revista Nature, sugiere que los grandes modelos de lenguaje (GML), como GPT-4, pueden predecir sorprendentemente bien los resultados de muchos experimentos en ciencias sociales.
Sin embargo, los resultados vienen con una advertencia: un sistema que predice las reacciones humanas no es necesariamente un sistema que comprende el comportamiento humano. Los «respondientes sintéticos» o «muestras de silicio» no son un reemplazo directo para las personas reales.
Ashokkumar y sus colegas recopilaron 70 experimentos reales realizados en los Estados Unidos, en los que participaron casi 120.000 participantes. Proporcionaron a GPT-4 descripciones de respondientes hipotéticos junto con mensajes experimentales y preguntas de encuestas, pidiéndole que evaluara cómo reaccionarían estas personas bajo diferentes condiciones. Al comparar las predicciones de GPT-4 con los resultados reales, los investigadores encontraron una fuerte correlación: el modelo a menudo podía distinguir entre intervenciones más efectivas y menos efectivas. Este es un resultado impresionante que sugiere que los GML pueden captar patrones significativos en el mundo social, al menos en las encuestas de texto estudiadas en la investigación. Sin embargo, esto no es prueba de que la IA haya encontrado una forma confiable de reemplazar la investigación con participación humana.
Predicciones útiles no equivalen a comprensión
Las científicas estadounidenses Lisa Messeri y Molly J. Crockett advierten que los sistemas de inteligencia artificial (IA) pueden crear «ilusiones de comprensión»: resultados que parecen convincentes y útiles, pero que inducen a los usuarios a sobreestimar lo que realmente se ha comprendido. Los GML pueden generar explicaciones plausibles o predicciones convincentes, pero esto puede reflejar una compleja coincidencia de patrones, en lugar de una verdadera comprensión de los mecanismos detrás del comportamiento observado.
Por ejemplo, la nueva investigación mostró que GPT-4 a menudo evaluaba bien los efectos probables de diferentes intervenciones, pero sistemáticamente sobreestimaba su magnitud aproximadamente al doble en comparación con los resultados reales. Esta diferencia es crítica: la herramienta puede informar a los investigadores que el mensaje X probablemente funcione mejor que el mensaje Y, pero al mismo tiempo seguir siendo poco confiable en cuanto a si la diferencia será menor, moderada o sustancial.
Una herramienta poderosa para estudios piloto
Con un uso cuidadoso, esta información aún puede ser muy valiosa. Los investigadores a menudo realizan pequeños estudios piloto antes de lanzar experimentos costosos. Tales estudios ayudan a perfeccionar las intervenciones y a evaluar si el efecto esperado es lo suficientemente grande como para justificar la realización de un estudio más amplio.
Las predicciones generadas por los GML pueden complementar estos estudios piloto. Por ejemplo, los investigadores pueden modelar cómo diferentes grupos demográficos reaccionarán a varias versiones de mensajes sobre vacunación, intervenciones en el lugar de trabajo o diferentes variantes de formulación de políticas. Al mismo tiempo, el estudio mostró que la combinación de predicciones de GML con predicciones humanas resultó ser más precisa que cada una de estas fuentes por separado. El futuro más útil puede no estar en que la IA reemplace a los investigadores o a los participantes de las investigaciones, sino en que ayude a determinar hacia dónde es más conveniente dirigir los recursos humanos limitados.
La tentación de la «muestra de silicio»
La idea de los «respondientes sintéticos» o «muestras de silicio» es interesante no solo desde el punto de vista científico. Se discute cada vez más en el ámbito de las encuestas sociológicas, investigaciones de mercado y consultas públicas, donde los defensores ven oportunidades para pruebas más rápidas y económicas. Al mismo tiempo, los críticos advierten que esto puede socavar la confianza si las simulaciones se hacen pasar por opinión pública real.
Para un político que quiere conocer la reacción del público a una nueva política fiscal, o una empresa que evalúa una nueva campaña publicitaria, los GML pueden proporcionar una respuesta rápida y plausible. Pero esto no es lo mismo que medir la opinión pública. Una encuesta común recopila respuestas de personas que viven en una sociedad particular en un momento específico. Una muestra sintética, en cambio, se basa en patrones incrustados en los datos de entrenamiento del modelo, la construcción de las consultas y sus limitaciones. Puede reproducir elementos individuales del juicio humano, pero carece de la experiencia vital, los conocimientos locales y el interés real en el tema investigado.
Esta brecha puede ser particularmente importante para nuevos problemas, comunidades marginadas, eventos de rápido desarrollo y grupos de población insuficientemente representados en los datos en línea. Ashokkumar y sus colegas encontraron que el modelo en general funcionaba bien con diferentes grupos demográficos, sin embargo, también registraron ciertas diferencias en la precisión a favor de muestras de respondientes blancos y partidarios del Partido Republicano en los EE.UU. Sin una calibración cuidadosa, los respondientes sintéticos pueden reproducir patrones dominantes en los datos disponibles, suavizando las divergencias o las posiciones minoritarias.
Estas aplicaciones —y los riesgos asociados— también surgen en paneles de expertos apoyados por IA, predicciones e instrumentos de consenso como el método Delphi. Pueden hacer que los procesos de predicción y discusión de expertos sean más rápidos y accesibles, pero el consenso modelado también puede ocultar divergencias reales y útiles, en lugar de ayudar a resolverlas. La «muestra de silicio» puede ser útil para generar hipótesis y probar suposiciones, pero no puede reemplazar la investigación con participación de personas reales. El riesgo no está en el uso de agentes sintéticos, sino en tomar erróneamente el sustituto generado por el modelo como la población misma.
El riesgo de optimizar la persuasión dañina
La misma capacidad predictiva de la IA puede ser utilizada con fines no intencionados. Los autores del estudio probaron si GPT-4 podía identificar contenido en redes sociales que probablemente redujera las intenciones de vacunación contra el COVID-19. Aunque el modelo puede negarse a crear directamente mensajes antivacunas, aún es capaz de ayudar a identificar qué mensajes dañinos de un conjunto ya existente probablemente serán los más efectivos. Esto subraya la necesidad de mecanismos de protección que vayan más allá del bloqueo de solicitudes claramente dañinas. Los sistemas también pueden necesitar protección contra el uso de la IA para clasificar, optimizar o dirigir la persuasión dañina.
Las investigaciones que utilizan GML comerciales, como GPT-4, también son vulnerables a los cambios que introducen los desarrolladores de modelos. Tales modelos pueden cambiar o incluso dejar de funcionar sin previo aviso, lo que dificulta o incluso hace imposible la verificación o reproducción de los resultados obtenidos por otros investigadores.
La conclusión principal no es que la predicción mediante IA sea inútil o, por el contrario, mágica. Los grandes modelos de lenguaje pueden convertirse en una herramienta valiosa para las ciencias sociales, ayudando a los investigadores a probar nuevas ideas, priorizar intervenciones y modelar diferentes escenarios con costes mínimos. Al mismo tiempo, los investigadores advierten: cuanto más precisas se vuelven las predicciones de la IA, más fácil es tomarlas erróneamente como prueba de una verdadera comprensión del comportamiento humano.
Fuente: Phys.org
