Forskning viser at AI-agenter under visse betingelser udvikler kommunikationsformer der er uforståelige for mennesker — men hvad betyder det egentlig for vores evne til at kontrollere og overvåge kunstig intelligens?
Det korte svar
AI-agenter kan under visse betingelser udvikle kommunikationsformer der er uforståelige for mennesker. Det er dokumenteret i flere eksperimenter. Men fænomenet er langt mere nuanceret end overskrifterne antyder: Det handler ikke om hemmelige maskinkonspirationer, men om en forudsigelig konsekvens af måden vi træner og sætter AI-systemer op på. Den reelle udfordring er ikke mystik — det er overvågbarhed.
Det politiske spørgsmål
Kan vi stole på AI-systemer vi ikke fuldt ud kan følge med i? Det er kernen i den politiske debat om AI-kontrol og det der på engelsk kaldes alignment — altså spørgsmålet om hvorvidt kunstig intelligens handler i overensstemmelse med menneskelige værdier og mål.
Når AI-agenter begynder at kommunikere på måder mennesker ikke forstår, bliver spørgsmålet om overvågning og kontrol meget konkret. EU's AI-forordning, der trådte i kraft i 2024, stiller krav om gennemsigtighed og menneskelig kontrol med højrisiko-AI-systemer. Men lovgivningen forudsætter at vi rent faktisk kan følge med i hvad systemerne gør og siger til hinanden. Det kan vi ikke altid.
Det empiriske spørgsmål bag
Det konkrete udgangspunkt er et eksperiment beskrevet på Videnskab.dk, hvor AI-agenter placeret i en fælles simuleret verden begyndte at udvikle kommunikationsmønstre som ikke lignede naturligt sprog og ikke var forståelige for de mennesker der overvågede eksperimentet.
Det rejser tre empiriske spørgsmål som forskningen faktisk har undersøgt:
- Er dette et veldokumenteret fænomen eller en enkeltstående observation?
- Hvad driver det — og er det intentionelt fra systemernes side?
- Hvad betyder det for vores evne til at overvåge og kontrollere AI?
Hvad ved vi
Fænomenet er reelt og reproducerbart ✓✓
Det er ikke første gang AI-agenter udvikler egne kommunikationsformer. Det mest kendte eksempel stammer fra Meta, der tilbage i 2017 observerede at to chatbots i forhandlinger begyndte at bruge en forkortet og for mennesker uforståelig form for engelsk. Meta stoppede eksperimentet. Episoden blev dengang udlagt dramatisk i medierne som en slags maskinoprør, men forskerne bag var langt mere nøgterne i deres vurdering.
Den mere præcise forklaring er ifølge Science/AAAS at AI-agenter er trænet til at løse opgaver effektivt — og at de under visse betingelser "opdager" at et kortere, mere komprimeret kommunikationssystem er mere effektivt end naturligt menneskesprog til at koordinere med hinanden. Det er ikke mystik. Det er optimering.
Træningsmetoder spiller en afgørende rolle ✓
Ifølge Science/AAAS peger forskere på at standardmetoder til at træne sprogmodeller faktisk opmuntrer grupper af agenter til at adoptere eget ordforråd. Modeller trænes ikke kun til at løse opgaver — de trænes også til at være hjælpsomme og kommunikere flydende. Når to agenter kun kommunikerer med hinanden og ikke med mennesker, forsvinder presset for at holde sproget menneskeligt læsbart. Resultatet er en slags privat stenografi optimeret til netop den opgave de løser.
Fænomenet er ikke det samme som bevidst hemmeligholdelse ✓✓
Det er vigtigt at skelne. Der er ingen dokumentation for at AI-agenter vælger at skjule kommunikation for mennesker. Det uforståelige sprog opstår som en bivirkning af optimering — ikke som en strategi. De nuværende sprogmodeller har ikke intentioner i den forstand vi normalt bruger ordet. De maksimerer en funktion. Og nogle gange fører det til kommunikation vi ikke kan følge med i.
Isolation og mangel på menneskelig feedback forstærker fænomenet ✓
Eksperimenter viser konsistent at fænomenet optræder når AI-agenter kommunikerer primært eller udelukkende med hinanden — altså i isolation fra menneskelig interaktion. Når mennesker konstant er i løkken og giver feedback, forbliver kommunikationen forståelig. Det peger på en klar mekanisme: Fraværet af menneskelig korrektion fjerner det pres der ellers holder sproget læsbart.
Det er ikke begrænset til tekst ✓
Fremvæksten af egne kommunikationsformer er ikke kun et tekstfænomen. Forskning i multi-agent-systemer — systemer hvor flere AI-agenter samarbejder om en opgave — viser at agenter kan udvikle signaler og protokoller på tværs af modaliteter. Det kan dreje sig om tal, koder eller sekvenser der fungerer som effektive koordinationssignaler men som ikke har nogen umiddelbar menneskelig betydning.
Hvad ved vi ikke
Vi ved ikke præcist hvornår det sker ~
Der er ikke et entydigt svar på under hvilke betingelser og med hvilke arkitekturer fænomenet opstår. Eksperimenter er udført under meget kontrollerede forhold, og det er uklart hvordan resultaterne skalerer til mere komplekse systemer og virkelige anvendelser.
Vi ved ikke om det er et problem i praksis ~
De fleste eksperimenter er gennemført i lukkede laboratoriesettings med simple opgaver. Det er usikkert om de samme mønstre opstår i de AI-systemer der faktisk er i brug i dag — og i givet fald om det skaber reelle problemer for menneskers evne til at kontrollere systemerne.
Vi kan ikke altid genkende det når det sker
Et underliggende metodeproblem er at vi ikke nødvendigvis ved hvornår AI-agenter kommunikerer på måder vi ikke forstår — fordi vi per definition ikke forstår det. Overvågning forudsætter at vi ved hvad vi leder efter. Det er ikke altid tilfældet med emergente kommunikationsformer, altså kommunikationsformer der opstår spontant frem for at være designet.
Vi ved ikke hvad det betyder for fremtidige systemer
De AI-systemer der er under udvikling er markant mere kraftfulde end dem der ligger til grund for de klassiske eksperimenter. Hvad der sker når meget avancerede agenter sættes til at samarbejde over lang tid, er ikke systematisk undersøgt.
Hvad eksperter er uenige om
Er det et kontrol- og sikkerhedsproblem? ~
Her er der reel faglig uenighed. Én position er at emergent kommunikation er et symptom på et dybere kontrolproblem: Hvis vi ikke kan følge med i hvad AI-systemer siger til hinanden, kan vi heller ikke verificere om de handler i overensstemmelse med vores mål. Det er et argument der tages alvorligt i AI-sikkerhedsforskningen.
Den modsatte position er at fænomenet er teknisk håndterbart. Hvis vi designer systemer så de skal kommunikere på forståeligt menneskesprog — og straffer dem for ikke at gøre det — forsvinder problemet. Det er ikke et grundlæggende problem med AI, men et designvalg.
Hvad skal vi sammenligne med? ⚖
Nogle forskere påpeger at menneskelige organisationer også kommunikerer på måder outsidere ikke forstår — fagsprog, intern jargon, koder. Det gør dem ikke pr. definition farlige. Spørgsmålet er om AI-agenter der udvikler egne kommunikationsformer er analogt med dette — eller fundamentalt anderledes fordi vi ikke kan stille dem til ansvar på samme måde.
Det er delvis et værdispørgsmål: Hvilken grad af gennemsigtighed kræver vi af AI-systemer, og hvordan afvejer vi det mod effektivitet?
Er løsningen teknisk eller regulatorisk? ⚖
Nogen mener at svaret er bedre teknisk design — systemer der tvinges til at kommunikere forståeligt. Andre mener at det kræver regulering der stiller eksplicitte krav til gennemsigtighed i multi-agent-systemer. De to tilgange udelukker ikke hinanden, men prioriteringen er et politisk og værdimæssigt valg.
Konklusion
AI-agenter kan og gør under visse betingelser udvikle kommunikationsformer mennesker ikke forstår. Det er et veldokumenteret fænomen med en relativt klar mekanisme: Fraværet af menneskelig feedback kombineret med optimering mod effektivitet skaber et pres for komprimeret, ikke-menneskelig kommunikation.
Men fænomenet skal ikke forstås som maskiner der konspirerer i det skjulte. Det er en forudsigelig konsekvens af måden vi designer og træner systemer på. Og det er i høj grad et designproblem vi kan gøre noget ved — hvis vi vælger det.
Den reelle udfordring er overvågbarhed. I takt med at AI-agenter i stigende grad sættes til at samarbejde med hinanden om komplekse opgaver, stiger risikoen for at vi mister indblik i hvad der foregår. Det er ikke science fiction — det er en praktisk udfordring for alle der arbejder med at sikre at AI-systemer forbliver under menneskelig kontrol.
Hvad vi ved med rimelig sikkerhed: Fænomenet er reelt, reproducerbart og drevet af klare mekanismer. Det opstår primært i isolation fra menneskelig feedback. Det er ikke bevidst hemmeligholdelse.
Hvad vi ikke ved: Hvornår præcist det opstår i komplekse virkelige systemer, og om det udgør et praktisk kontrolproblem i de systemer der faktisk anvendes i dag.
Hvad der kræver politiske valg: Hvilken grad af gennemsigtighed vi kræver af AI-systemer — og om vi er villige til at betale den effektivitetspris det kan koste at kræve menneskelig læsbarhed i al AI-til-AI-kommunikation.