Et nyt studie viser, at AI-simulerede forsøgspersoner ikke reproducerer menneskelige holdninger og adfærd troværdigt nok til at erstatte rigtige mennesker i samfundsvidenskabelig forskning.
Det politiske spørgsmål
Forskning i menneskelig adfærd er dyr og tidskrævende. Det kræver rekruttering af forsøgspersoner, etisk godkendelse, dataindsamling og analyse — og selv da er det svært at nå store nok stikprøver til at drage sikre konklusioner.
AI-sprogmodeller lover en genvej. Hvis et AI-system kan simulere, hvordan mennesker tænker og reagerer, kunne forskere i princippet køre tusindvis af virtuelle eksperimenter på en brøkdel af tid og penge. Og når AI i stigende grad bruges til at informere beslutninger om alt fra folkesundhed til valgkampagner og velfærdspolitik, er det et reelt politisk spørgsmål, om de data, der ligger bag, er pålidelige.
Spørgsmålet er altså ikke kun akademisk: Hvis beslutningstagere, ministerier og forskningsinstitutioner begynder at basere anbefalinger på AI-simulerede "deltagere", har det konsekvenser for den politik, der i sidste ende rammer borgere.
Det empiriske spørgsmål bag
Kan AI-sprogmodeller — når de instrueres til at spille rollen som menneskelige forsøgspersoner — faktisk reproducere de svar og adfærdsmønstre, som rigtige mennesker ville udvise?
Det er præcis det spørgsmål, et nyt studie har sat sig for at besvare. Metoden er direkte: Forskerne sammenlignede svar fra AI-agenter (det vil sige sprogmodeller der instrueres til at agere som menneskelige deltagere) med svar fra rigtige mennesker på de samme spørgsmål og i de samme eksperimentelle opgaver. Afvigelserne blev målt systematisk.
Resultatet peger i én klar retning: AI-agenterne bestod ikke testen.
Hvad ved vi
AI-agenter afviger systematisk fra menneskelige svar ✓✓
Studiet viser, at AI-genererede "deltagere" — ofte kaldet silicon samples (silikonestikprøver) i forskningslitteraturen — producerer resultater, der adskiller sig betydeligt fra dem, rigtige mennesker leverer. Det er ikke tilfældige fejl, der jævner sig ud over mange forsøg. Det er systematiske skævheder, der betyder, at konklusionerne fra AI-simulerede eksperimenter kan pege i en anden retning end konklusionerne fra forskning med rigtige mennesker.
Ifølge den analyse, som Science og AAAS beskriver, afhænger de data, AI-agenterne producerer, i høj grad af, hvilken konkret model forskeren vælger, hvordan instruktionerne (prompts) er formuleret, og hvilke indstillinger der er valgt. Det betyder, at to forskere der undersøger det samme spørgsmål, men bruger lidt forskellige AI-opsætninger, kan nå til modstridende konklusioner — ikke fordi fænomenet er flertydigt, men fordi AI-systemet reagerer forskelligt på forskellig håndtering.
Svarene er formfølsomme, ikke indholdsfølsomme ✓
En central observation er, at AI-agenter er ekstremt følsomme over for, præcis hvordan et spørgsmål er stillet. Mindre ændringer i formuleringen — ting som ville betyde lidt for et rigtigt menneske — kan give markant anderledes svar fra en sprogmodel. Det er et alvorligt problem for adfærdsvidenskab, der ofte måler subtile effekter af netop den måde, spørgsmål stilles på.
Reproducerbarhed er et grundlæggende problem ✓✓
Videnskab kræver, at resultater kan genskabes. Men når AI-agenternes svar varierer med model, prompt og indstillinger, er reproducerbarhed ikke garanteret. To laboratorier der bruger "den samme" metode, kan ende med forskellige data — og dermed forskellige konklusioner.
Hvad ved vi ikke
Der er stadig meget, forskningen ikke har besvaret:
Er nogle AI-modeller bedre end andre? Studiet dokumenterer problemet på tværs af modeller, men det er ikke kortlagt præcist, om nyere eller mere avancerede sprogmodeller klarer sig markant bedre — eller om der er specifikke typer spørgsmål, hvor AI-agenter er mere pålidelige.
Hvad med meget snævre, velafgrænsede opgaver? Det er muligt, at AI-agenter i visse typer eksperimenter — for eksempel meget simple, klart definerede valgsituationer — er mere pålidelige end i åbne spørgsmål om holdninger og værdier. Denne afgrænsning er ikke fuldt ud dokumenteret.
Kan kalibrering hjælpe? Nogle forskere arbejder på metoder til at kalibrere AI-agenter mod kendte menneskelige datasæt, inden de bruges i nye eksperimenter. Om det kan løse de grundlæggende problemer, eller blot flytte dem, er endnu uafklaret.
Hvad sker der, når AI-modeller trænes på mere og mere menneskegenereret data? Sprogmodeller trænes på tekst skrevet af mennesker. I takt med at internettet fyldes med AI-genereret indhold, kan det skabe en cirkulær dynamik, der gør det sværere at vurdere, hvad modellerne egentlig afspejler.
Hvad eksperter er uenige om
~ Kan AI-agenter nogensinde erstatte menneskelige forsøgspersoner?
Her er der reel faglig uenighed. Nogle forskere mener, at problemerne er tekniske og midlertidige — at bedre modeller og mere raffinerede metoder vil gøre AI-agenter til et brugbart supplement eller endog en erstatning i visse sammenhænge. Andre er mere principielt skeptiske: De argumenterer for, at sprogmodeller grundlæggende er designet til at forudsige sandsynlige tekstsekvenser, ikke til at simulere menneskelig psykologi — og at de to opgaver ikke lader sig forene.
~ Er AI-agenter nyttige som et første skridt?
Nogle forskere ser en rolle for AI-simulerede forsøg som et hurtigt pilotstudium, der kan screene hypoteser, inden man investerer i dyr forskning med rigtige mennesker. Kritikerne svarer, at hvis AI-agenterne systematisk afviger fra mennesker, kan de pilotstudier lede forskningen i den forkerte retning fra starten — og dermed spilde ressourcer i stedet for at spare dem.
~ Hvem bærer ansvaret for fejlagtige konklusioner?
Hvis et policy-anbefalingsgrundlag er baseret på AI-simulerede deltagere, og konklusionerne viser sig at være forkerte, er det så den forsker, der valgte metoden? Tidsskriftet, der godkendte den? Teknologileverandøren? Denne ansvarsfordeling er ikke afklaret hverken fagligt eller juridisk.
⚖ Skal AI-agenter tillades i peer-reviewede studier?
Det er i stigende grad et værdispørgsmål for det videnskabelige samfund. Nogle tidsskrifter er begyndt at kræve, at forfattere oplyser, om AI-agenter er brugt som forsøgspersoner. Andre har endnu ikke taget stilling. Der er ikke konsensus om, hvilke standarder der bør gælde.
Konklusion
Den korte version: AI-agenter er ikke klar til at erstatte menneskelige forsøgspersoner i adfærdsvidenskabelig forskning — og det er ikke et spørgsmål om tålmodighed, men om dokumenterede, systematiske fejlkilder.
Det nye studie viser klart, at de data, AI-simulerede deltagere producerer, varierer med model, prompt og indstillinger på måder, der underminerer både validitet og reproducerbarhed. Det betyder, at forskning baseret på sådanne silikonestikprøver kan lede til forkerte konklusioner — konklusioner der i værste fald danner grundlag for politiske beslutninger.
Det er ikke en afvisning af AI som forskningsværktøj. Sprogmodeller kan være nyttige til at formulere hypoteser, analysere tekst eller sortere data. Men at simulere menneskelig adfærd og holdningsdannelse er en anden og langt sværere opgave — en opgave, de nuværende systemer ikke løser tilstrækkeligt troværdigt.
For dem der bruger eller finansierer samfundsvidenskabelig forskning — fra universiteter og ministerier til tænketanke og interesseorganisationer — er budskabet ligetil: Vær kritisk over for studier der erstatter menneskelige forsøgspersoner med AI-agenter. Spørg til modellen, til promptformuleringen, og til om resultaterne er valideret mod rigtige mennesker. Og kræv gennemsigtighed.
Videnskaben om menneskelig adfærd kræver stadig mennesker.