Нове дослідження, проведене під керівництвом психологині з Гарварду Ашвіні Ашоккумар (Ashwini Ashokkumar) та опубліковане в журналі Nature, свідчить, що великі мовні моделі (ВММ), такі як GPT-4, можуть напрочуд добре передбачати результати багатьох експериментів у соціальних науках.
Проте результати супроводжуються застереженням: система, яка прогнозує людські реакції, не обов’язково є системою, що розуміє людську поведінку. «Синтетичні респонденти» або «кремнієві вибірки» не є прямою заміною реальним людям.
Ашоккумар та її колеги зібрали 70 реальних експериментів, проведених у Сполучених Штатах, у яких взяли участь майже 120 000 учасників. Вони надали GPT-4 описи гіпотетичних респондентів разом з експериментальними повідомленнями та питаннями опитувань, попросивши оцінити, як ці люди відреагують за різних умов. Порівнявши прогнози GPT-4 з реальними результатами, дослідники виявили сильну кореляцію: модель часто могла розрізняти ефективніші та менш ефективні втручання. Це вражаючий результат, який свідчить, що ВММ можуть вловлювати значущі закономірності в соціальному світі, принаймні в текстових опитуваннях, вивчених у дослідженні. Однак це не є доказом того, що ШІ знайшов надійний спосіб замінити дослідження за участю людей.
Корисні прогнози не дорівнюють розумінню
Американські вчені Ліза Мессері (Lisa Messeri) та Моллі Дж. Крокетт (Molly J. Crockett) застерігають, що системи штучного інтелекту (ШІ) можуть створювати «ілюзії розуміння» — результати, які здаються переконливими та корисними, але спонукають користувачів переоцінювати те, що насправді було зрозуміло. ВММ можуть генерувати правдоподібні пояснення або переконливі прогнози, але це може відображати складне зіставлення закономірностей, а не справжнє розуміння механізмів, що стоять за спостережуваною поведінкою.
Наприклад, нове дослідження показало, що GPT-4 часто добре оцінював ймовірні ефекти різних втручань, але систематично завищував їхню величину приблизно вдвічі порівняно з реальними результатами. Ця відмінність є критичною: інструмент може повідомити дослідникам, що повідомлення X, ймовірно, спрацює краще, ніж повідомлення Y, але при цьому залишатися ненадійним щодо того, чи буде різниця незначною, помірною або суттєвою.
Потужний інструмент для пілотних досліджень
При обережному використанні ця інформація все ще може бути дуже цінною. Дослідники часто проводять невеликі пілотні дослідження перед запуском дорогих експериментів. Такі дослідження допомагають удосконалити втручання та оцінити, чи достатньо великий очікуваний ефект, щоб виправдати проведення масштабнішого дослідження.
Прогнози, згенеровані ВММ, можуть доповнювати ці пілотні дослідження. Наприклад, дослідники можуть змоделювати, як різні демографічні групи реагуватимуть на кілька версій повідомлень про вакцинацію, втручання на робочому місці або різні варіанти формулювання політики. Водночас дослідження показало, що поєднання прогнозів ВММ із прогнозами людей виявилося точнішим, ніж кожне з цих джерел окремо. Найкорисніше майбутнє може полягати не в тому, що ШІ замінить дослідників або учасників досліджень, а в тому, що він допоможе визначати, куди доцільніше спрямувати обмежені людські ресурси.
Спокуса «кремнієвої вибірки»
Ідея «синтетичних респондентів» або «кремнієвої вибірки» цікава не лише з наукової точки зору. Її дедалі частіше обговорюють у сфері соціологічних опитувань, маркетингових досліджень та громадських консультацій, де прихильники бачать можливості для швидшого й дешевшого тестування. Водночас критики застерігають, що це може підірвати довіру, якщо симуляції видаватимуть за реальну громадську думку.
Для політика, який хоче дізнатися реакцію громадськості на нову податкову політику, або компанії, яка оцінює нову рекламну кампанію, ВММ можуть надати швидку й правдоподібну відповідь. Але це не те саме, що вимірювання громадської думки. Звичайне опитування збирає відповіді від людей, які живуть у певному суспільстві в конкретний момент часу. Синтетична вибірка натомість базується на закономірностях, закладених у навчальні дані моделі, конструкції запитів та її обмеженнях. Вона може відтворювати окремі елементи людського судження, але їй бракує життєвого досвіду, місцевих знань і реальної зацікавленості у досліджуваному питанні.
Цей розрив може бути особливо важливим для нових проблем, маргіналізованих спільнот, подій, що швидко розвиваються, та груп населення, які недостатньо представлені в онлайн-даних. Ашоккумар та її колеги встановили, що модель загалом добре працювала з різними демографічними групами, однак також зафіксували певні відмінності в точності на користь вибірок білих респондентів і прихильників Республіканської партії у США. Без ретельного калібрування синтетичні респонденти можуть відтворювати домінуючі закономірності в доступних даних, згладжуючи розбіжності або позиції меншин.
Подібні застосування — і пов’язані з ними ризики — виникають також у експертних панелях за підтримки ШІ, прогнозуванні та інструментах досягнення консенсусу за методом Дельфі. Вони можуть зробити процеси експертного прогнозування та обговорення швидшими й доступнішими, але сформована моделлю згода також може приховувати реальні та корисні розбіжності, а не допомагати їх вирішувати. «Кремнієва вибірка» може бути корисною для генерування гіпотез і перевірки припущень, але вона не може замінити дослідження за участю реальних людей. Ризик полягає не у використанні синтетичних агентів, а в тому, щоб помилково сприймати створений моделлю замінник за саме населення.
Ризик оптимізації шкідливого переконання
Та сама прогностична здатність ШІ може бути використана не за призначенням. Автори дослідження перевірили, чи може GPT-4 ідентифікувати контент у соціальних мережах, який, ймовірно, знизить наміри щодо вакцинації проти COVID-19. Хоча модель може відмовитися безпосередньо створювати антивакцинні повідомлення, вона все одно здатна допомогти визначити, які шкідливі повідомлення з уже наявного набору варіантів, найімовірніше, будуть найефективнішими. Це підкреслює необхідність захисних механізмів, які виходять за рамки блокування очевидно шкідливих запитів. Системи також можуть потребувати захисту від використання ШІ для ранжування, оптимізації або націлювання шкідливого переконання.
Дослідження, що використовують комерційні ВММ, такі як GPT-4, також вразливі до змін, які вносять розробники моделей. Такі моделі можуть змінюватися або взагалі припиняти роботу без попередження, що ускладнює або навіть унеможливлює перевірку чи повторення отриманих результатів іншими дослідниками.
Головний висновок полягає не в тому, що прогнозування за допомогою ШІ є марним або, навпаки, магічним. Великі мовні моделі можуть стати цінним інструментом для соціальних наук, допомагаючи дослідникам тестувати нові ідеї, визначати пріоритетність втручань і моделювати різні сценарії з мінімальними витратами. Водночас дослідники застерігають: що точнішими стають прогнози ШІ, то легше помилково сприйняти їх як доказ справжнього розуміння людської поведінки.
Джерело: Phys.org
