= Hvad ved vi om...

Hvad ved vi om AI der kan analysere andre neurale netværk indefra?

Kan et AI-system systematisk forklare, hvad der foregår inde i et andet neuralt netværk — og hvad betyder det for tillid, sikkerhed og regulering af kunstig intelligens?

Det politiske spørgsmål

Kunstig intelligens træffer i stigende grad beslutninger, der påvirker menneskers liv: hvem der får et lån, hvem der screenes for sygdom, hvem der udpeges som mistænkt i en politisag. Alligevel ved vi sjældent præcist, hvorfor et neuralt netværk når frem til et bestemt resultat. Det er det problem, som EU's AI-forordning — der trådte i kraft i 2024 — forsøger at adressere ved at kræve, at visse højrisiko-AI-systemer skal kunne forklare deres beslutninger.

Men kravet om forklarbarhed er lettere at skrive ind i lovgivningen end at indfri i praksis. Neurale netværk er notorisk uigennemsigtige. Nu peger ny forskning på, at svaret måske skal komme fra AI selv: systemer, der kan "læse" og forklare, hvad der sker indeni andre neurale netværk. Det rejser spørgsmål, som rækker langt ud over laboratoriet — om vi nærmer os en måde at gøre AI reelt ansvarlig på, eller om vi blot tilføjer endnu et lag af kompleksitet, vi heller ikke forstår.

Det empiriske spørgsmål bag

Spørgsmålet er enkelt at formulere, svært at besvare: Kan man systematisk afdække, hvad der foregår inde i et neuralt netværk — ikke blot hvad det producerer, men hvordan og hvorfor?

Det faglige felt, der søger at besvare dette, kaldes mekanistisk fortolkelighed (på engelsk: mechanistic interpretability). Målet er ikke blot at give overfladeforklaringer på, hvilke inputdata der påvirkede et output mest. Målet er at forstå de konkrete beregningsprocesser — de mønstre, forbindelser og interne repræsentationer — som et neuralt netværk faktisk bruger, når det løser en opgave.

Hvad ved vi

Neurale netværk er ikke tilfældige sort-hvid-bokse ✓✓

Forskning har vist, at neurale netværk ikke blot er kaotiske talmaskiner. De udvikler interne strukturer — såkaldte circuits (kredsløb) og features (træk) — der konsekvent svarer til genkendelige begreber eller operationer. Et neuralt netværk kan for eksempel have en gruppe neuroner, der aktiveres specifikt ved synet af øjne i billeder, eller en intern mekanisme, der svarer til en simpel logisk regel. Dette er veletableret gennem en række kontrollerede eksperimenter.

En ny type AI-mekaniker ✓

Det centrale gennembrud, som Nature beskriver, er, at forskere nu har brugt ét AI-system til at analysere og interagere med et andet. Ifølge Nature-artiklen kan dette system "læse og justere i de indre mekanismer i et andet AI-netværk" — en tilgang, der beskrives som at have en mekaniker, der kan kigge ind under motorhjelmen på en bil, snarere end blot at observere, om bilen kører eller ej. Det er et konceptuelt spring: i stedet for at mennesker manuelt kortlægger netværkets indre, bruger man AI til at automatisere denne kortlægning.

Sparse autoencodere som nøgleværktøj ✓

Et af de mest lovende tekniske redskaber er såkaldte sparse autoencoders (SAE'er) — en type AI-arkitektur, der er designet til at udtrække forståelige, adskilte repræsentationer fra et netværks aktiveringsmønstre. Som det beskrives i en stor oversigtsartikel i ACM Computing Surveys, kan SAE'er og relaterede dictionary learning-metoder (ordbogslæring) isolere meningsfulde "byggeklodser" fra netværkets indre — og i kontrollerede forsøg er det lykkedes at genskabe kendte algoritmer, som netværket har lært på egen hånd.

Fra legetøjsmodeller til større systemer ✓

Meget af den tidlige forskning i mekanistisk fortolkelighed er udført på relativt små, kontrollerede netværk — såkaldte toy models — hvor man med sikkerhed ved, hvad netværket burde gøre, og kan tjekke om analysen stemmer. Nyere arbejde bevæger sig mod større og mere realistiske systemer, og en gennemgang i arXiv-publikationen om circuits, sparse features og symbolsk ræsonnement dokumenterer fremskridt i at kortlægge, hvordan større sprogmodeller repræsenterer og manipulerer information internt.

Traditionelle forklaringsmetoder rækker ikke ✓✓

Det er veletableret, at de mest udbredte "forklarlige AI"-metoder (ofte kaldet XAI) primært måler korrelationer mellem input og output — de fortæller dig, hvilke pixels i et billede der vejede tungest, men ikke hvad netværket faktisk har lært at se efter. Som det understreges i den mekanistiske fortolkeligheds-litteratur, adskiller den mekanistiske tilgang sig ved at gå direkte efter de underliggende beregningsprocesser frem for overfladesymptomerne.

Hvad ved vi ikke

Skalering er uafklaret ~

Det er ukendt, om de metoder, der virker på mindre netværk, kan skaleres til de største og mest anvendte AI-systemer i dag — systemer med hundredvis af milliarder af parametre. At kortlægge et lille netværks indre er analytisk krævende nok. At gøre det samme for et system i GPT-klassen er en opgave af en helt anden størrelsesorden, og vi ved ikke, om det overhovedet er praktisk muligt.

Komplethed og pålidelighed ~

Selv når et AI-system producerer en forklaring af et andet netværks indre, ved vi ikke, om forklaringen er komplet eller blot en delvis og potentielt misvisende rekonstruktion. Der findes endnu ikke robuste standarder for, hvornår en mekanistisk forklaring er "god nok" til at stole på i praksis.

Generaliserbarhed ~

Meget forskning er gennemført på specifikke arkitekturtyper og opgaver. Det er uklart, i hvilken grad resultaterne generaliserer til andre typer netværk, andre opgavedomæner og fremtidige AI-arkitekturer, som vi endnu ikke kender til.

Automatiseret analyse og dens grænser ~

Når man bruger ét AI-system til at forklare et andet, opstår et nyt problem: hvem forklarer forklareren? Der er endnu ikke forskning, der fuldt ud besvarer, hvordan man validerer, at det fortolkende AI-system selv fungerer korrekt og ikke indfører sine egne blinde vinkler i analysen.

Hvad eksperter er uenige om

Kan vi nogensinde forstå store netværk fuldt ud? ~

Der er en grundlæggende uenighed om, hvorvidt mekanistisk fortolkelighed i princippet kan give os en fyldestgørende forståelse af store neurale netværk. Nogle forskere mener, at kompleksiteten er for stor — at selv en fuldstændig kortlægning ville være uoverskuelig for mennesker at bruge. Andre mener, at de rigtige abstraktionsniveauer og de rigtige værktøjer kan gøre opgaven håndterbar.

Er forklarbarhed nok til sikkerhed? ⚖

Selv hvis vi kan forklare, hvad et netværk gør, er det et værdispørgsmål, om forklarbarhed i sig selv er tilstrækkeligt til at gøre AI-systemer sikre og retfærdige. Kritikere påpeger, at en forklaring ikke automatisk fjerner bias, fejlslutninger eller skadelige mønstre — det kræver aktiv indgriben og regulering ud over blot indsigt.

Hvad skal tælle som en forklaring? ⚖

Der er heller ikke konsensus om, hvad en forklaring på et neuralt netværks opførsel egentlig skal indeholde. Skal den være forståelig for en ingeniør? For en dommer? For den borger, der er berørt af en beslutning? De forskellige krav peger i forskellige retninger, og valget er i høj grad et politisk og etisk spørgsmål, ikke blot et teknisk.

Mekanistisk fortolkelighed versus andre tilgange ~

Ikke alle AI-sikkerhedsforskere er enige om, at mekanistisk fortolkelighed er den mest lovende vej frem. Nogle foretrækker at fokusere på at teste AI-systemers opførsel under ekstreme forhold (red-teaming), andre på at bygge systemer, der er sikre by design. Debatten om, hvilken strategi der giver mest sikkerhed per investeret ressource, er langt fra afgjort.

Konklusion

Vi ved, at neurale netværk ikke er fuldstændigt uigennemsigtige sort-hvid-bokse. De rummer interne strukturer, som det er muligt at kortlægge — og ny forskning viser, at AI-systemer selv kan bruges som redskab til denne kortlægning. Det er et reelt fremskridt og en lovende retning for AI-forklarbarhed.

Vi ved også, at vi stadig befinder os tidligt i denne rejse. De demonstrationer, vi har set, er primært udført på kontrollerede og relativt simple systemer. Om metoderne virker i den skala og kompleksitet, der præger de AI-systemer, som faktisk er ude i verden og træffer beslutninger med konsekvenser for borgere — det ved vi endnu ikke.

For regulering og politik betyder det, at krav om forklarbarhed i EU's AI-forordning er et rigtigt mål, men at de tekniske metoder til at indfri dem stadig er under udvikling. Der er god grund til at følge dette felt tæt. Og god grund til ikke at lade reguleringsambitionerne løbe for langt foran, hvad vi faktisk kan levere.

Kilder