En ny platform, der kortlægger interne repræsentationer i store sprogmodeller, aktualiserer spørgsmålet om, hvad vi faktisk ved om, hvordan AI træffer beslutninger – og hvad vi stadig ikke ved.
Det korte svar
Vi ved, at store sprogmodeller ikke er fuldstændigt uigennemtrængelige sorte bokse. Ny teknologi giver os mulighed for at kigge ind i dem og kortlægge, hvad der sker internt. Men vi er langt fra at forstå, hvorfor de beslutter, hvad de beslutter. Fortolkelighed er en ung videnskabelig disciplin med store lovende resultater – og endnu større blinde pletter.
Det politiske spørgsmål
Kan vi stole på AI-systemer, vi ikke forstår? Og skal vi kræve, at de er forståelige, før de må bruges?
Det er ikke et abstrakt filosofisk spørgsmål. EU's AI-forordning stiller allerede krav om gennemsigtighed for visse AI-systemer, og debatten handler nu om, hvorvidt disse krav er teknisk mulige at indfri – og for hvem.
Lovgivere, virksomheder og forskere er ikke enige om svaret. Nogle mener, at sorte-boks-modeller skal forbydes i kritiske anvendelser. Andre mener, at eksplainerbarhed kan opnås med de rigtige værktøjer, uden at man behøver at åbne modellen op fuldstændigt.
En ny fortolkelighedsplatform kaldet Silico, omtalt af IEEE Spectrum, tilbyder nu et konkret bud: et system der på tværs af store sprogmodeller kortlægger, hvad der foregår i de interne lag – ikke bare hvad modellen siger, men hvad den "tænker" undervejs.
Det empiriske spørgsmål bag
Hvordan repræsenterer en stor sprogmodel egentlig verden? Og kan vi måle det?
Store sprogmodeller – som GPT, Claude og Llama – behandler tekst som matematiske strukturer kaldet vektorer (tal-repræsentationer af ord og begreber i mange dimensioner). Når en model genererer et svar, sker det gennem hundredvis af interne lag, hvor disse repræsentationer transformeres. Det er disse transformationer, Silico-platformen forsøger at kortlægge og sammenligne på tværs af modeller.
Det empiriske spørgsmål er: Svarer disse interne repræsentationer til noget meningsfuldt – begreber, logik, kausalitet – eller er de blot statistiske mønstre uden intern struktur, vi kan forstå?
Hvad ved vi
✓✓ Store sprogmodeller har intern struktur, vi kan undersøge
Forskning har vist, at sprogmodeller ikke er fuldstændigt kaotiske indvendigt. Visse neuroner og lag reagerer konsistent på bestemte begreber – for eksempel aktiveres bestemte dele af modellen, når den møder ord relateret til geografi, følelser eller syntaks. Silico-platformen bygger videre på denne indsigt og gør det muligt at sammenligne, om to forskellige modeller repræsenterer det samme begreb på tilsvarende måder.
✓✓ Gennemsigtighed er et lovkrav for visse AI-systemer
EU's AI-forordning fastslår, at visse AI-systemer – særligt dem med høj risiko og dem der kan bedrage eller imitere mennesker – skal overholde gennemsigtighedskrav. Det gælder ifølge Digitaliseringsstyrelsen specifikt systemer der kan indebære risici for vildledning. Forordningen er ikke en vision; den er gældende ret.
✓ Fortolkelighed kan afdække fejl og bias
Et af de stærkeste argumenter for fortolkelighed er praktisk: Når vi kan se, hvad der aktiveres inde i en model, kan vi opdage, om den bruger uønskede heuristikker – for eksempel om den vægter et bestemt navn, køn eller sprog højere end andre i sine beslutninger. Silico-platformen er designet til netop dette: at gøre det muligt at sammenligne interne repræsentationer og identificere systematiske skævheder.
✓ EU arbejder på at styrke tredjeparts-evaluering
Ifølge EU-Kommissionens rammer for AI-regulering er det planen at lancere et initiativ, der skal øge EU's kapacitet til at evaluere AI-modeller, inden de placeres på det europæiske marked. Dette forventes at være operationelt i 2027 og vil styrke uafhængig tredjepartsvurdering af modellers adfærd og egenskaber.
Hvad ved vi ikke
Vi ved ikke, om interne repræsentationer svarer til menneskelig forståelse
Det er fristende at tolke aktiveringsmønstre i en model som om de svarer til menneskelige begreber. Men der er ingen garanti for, at det, der ser ud som "begrebet retfærdighed" i en models interne lag, faktisk fungerer som det i alle sammenhænge. Modellerne er trænet til at forudsige tekst – ikke til at repræsentere verden som mennesker gør det.
Vi ved ikke, om fortolkelighed skalerer
De mest imponerende fortolkeligheds-resultater er opnået på relativt små eller mellemstore modeller. De største modeller – med hundredvis af milliarder parametre – er langt sværere at kortlægge meningsfuldt. Det er uklart, om platforme som Silico kan skalere til disse modeller uden at miste præcision.
Vi ved ikke, om forklaringer er kausale
Selv når vi kan se, hvilke dele af en model der er aktive under en beslutning, ved vi ikke med sikkerhed, om de forårsager beslutningen – eller blot korrelerer med den. Det er forskellen på at vide, at et bestemt hjerneområde lyser op under en handling, og at vide, at det er grunden til handlingen. Det samme metodologiske problem gælder for AI.
Vi ved ikke, hvad "forståelse" kræver
Er det nok at kortlægge interne repræsentationer? Eller kræver reel fortolkelighed, at vi kan forklare enhver beslutning i termer, mennesker kan vurdere og anfægte? Der er ingen konsensus om, hvad det vil sige, at en AI-model er "forståelig nok" til at blive brugt i kritiske sammenhænge.
Hvad eksperter er uenige om
~ Skal sorte-boks-modeller erstattes eller suppleres?
Det er et af de mest kontroversielle spørgsmål i feltet. Ifølge en analyse publiceret i ACM's digitale bibliotek er eksperterne delt: Nogle argumenterer for, at sorte-boks-modeller i høj-risiko-sammenhænge bør erstattes af transparente modeller, hvor beslutningslogikken er direkte aflæselig. Andre mener, at XAI-teknikker (eksplainerbar AI) kan tilvejebringe tilstrækkelig forklaring uden at opgive de store modellers præstationsevne.
Debatten er ikke kun teknisk – den er også politisk og etisk. Transparente modeller er typisk svagere. Hvis vi kræver transparens i for eksempel lægelig diagnostik eller kreditvurdering, kan det betyde, at vi ender med dårligere resultater for at opnå forklarbarhed.
~ Er Silico-platformens tilgang den rigtige vej?
At kortlægge interne repræsentationer på tværs af modeller er en lovende metode, men ikke den eneste. Andre forskere arbejder med at forstå modeller udefra – ved at teste dem systematisk med konstruerede eksempler og se, hvornår de fejler. Disse to tilgange er ikke nødvendigvis konkurrenter, men der er uenighed om, hvilken der giver den mest nyttige viden i praksis.
~ Hvornår er forklaringer "gode nok" til regulering?
AI-forordningen kræver gennemsigtighed, men specificerer ikke præcist, hvad det teknisk indebærer. Det efterlader et åbent spørgsmål: Kan en forklaring genereret af et XAI-system opfylde lovens krav, selv hvis den ikke afspejler modellens faktiske beslutningsproces? Forskere, jurister og tilsynsmyndigheder er ikke enige om svaret – og det får direkte konsekvenser for, hvordan forordningen håndhæves.
⚖ Hvem har ansvaret for fortolkelighed?
Er det modeludviklernes ansvar at sikre, at deres systemer kan forklares? Eller er det et offentligt ansvar at bygge uafhængig evalueringskapacitet? EU's tilgang peger i retning af begge dele – men vægtningen er et politisk valg, ikke et teknisk spørgsmål.
Konklusion
Vi er i 2026 et godt stykke fra det nulpunkt, hvor AI-modeller var fuldstændigt ugennemsigtige. Platforme som Silico repræsenterer et reelt fremskridt: de giver forskere og ingeniører konkrete værktøjer til at sammenligne og kortlægge, hvad der sker inde i store sprogmodeller.
Men vi er også langt fra den anden ende – det punkt, hvor vi fuldt ud forstår, hvorfor en model beslutter, hvad den beslutter, i enhver given situation. Fortolkelighed er en videnskabelig disciplin i fuld udvikling, ikke et løst problem.
Det politiske og regulatoriske system – herunder EU's AI-forordning – stiller allerede krav, som teknologien ikke fuldt ud kan indfri endnu. Det er ikke nødvendigvis et argument mod regulering; det kan også ses som et argument for, at regulering driver forskning i den rigtige retning.
Det vigtigste at holde fast i: Fortolkelighed handler ikke kun om teknisk nysgerrighed. Det handler om, hvem der kan stilles til ansvar, når et AI-system fejler – og om borgere, virksomheder og myndigheder kan vurdere, om de kan stole på de systemer, de anvender eller er underlagt.