Kan teknologi, der skal gøre AI-genereret tekst sporbar og transparent, samtidig gøre sprogmodeller mere sårbare over for skadelige kommandoer?
Det politiske spørgsmål
EU's AI-forordning stiller krav om, at AI-genereret indhold skal kunne identificeres — blandt andet gennem vandmærkning (watermarking). Tanken er enkel: hvis vi kan se, at en tekst er lavet af en maskine, er vi bedre rustet til at vurdere den kritisk og bekæmpe misinformation.
Men hvad nu, hvis selve det sikkerhedsværktøj, vi indfører for at beskytte os, åbner en bagdør?
Et nyt studie viser, at AI-vandmærker kan gøre sprogmodeller mere modtagelige over for det, man kalder "adversarial prompts" — det vil sige omhyggeligt formulerede kommandoer, der forsøger at få en AI til at producere indhold, den ellers er trænet til at afvise. Det sætter regulatorer og sikkerhedsforskere i et reelt dilemma: transparens og sikkerhed, som hidtil er behandlet som to sider af samme mønt, kan vise sig at trække i modsat retning.
Det empiriske spørgsmål bag
Det centrale spørgsmål er: Ændrer brugen af vandmærker i sprogmodeller sandsynligheden for, at modellen efterkommer skadelige forespørgsler?
For at forstå spørgsmålet er det nyttigt at kende de to begreber:
Vandmærkning af AI-tekst er en teknik, hvor en sprogmodel under tekstgenerering bevidst påvirker sit ordvalg på en måde, der er statistisk sporbar, men usynlig for det blotte øje. En algoritme kan efterfølgende analysere teksten og afgøre, om den sandsynligvis er AI-genereret. Selve teksten ændrer sig ikke meningsfuldt — men det statistiske fingeraftryk er der.
Adversarial prompts (på dansk: modstandsdygtige eller fjendtlige forespørgsler) er kommandoer, der er konstrueret til at omgå en models sikkerhedsfiltre. Det kan være direkte forsøg på at få modellen til at beskrive farlige processer, eller mere subtile teknikker, der narrer modellen til at agere uden for sine retningslinjer.
Spørgsmålet er altså, om disse to fænomener interagerer på en måde, der skaber en utilsigtet sårbarhed.
Hvad ved vi
✓ Vandmærker ændrer sprogmodellers outputfordeling
For at en vandmærke-algoritme kan sætte et statistisk fingeraftryk i teksten, skal modellen aktivt ændre, hvilke ord den vælger. Konkret opdeles sprogets ordforråd løbende i to grupper — en "grøn" liste og en "rød" liste — og modellen favoriserer systematisk ord fra den grønne liste. Det er denne ændring i sandsynlighedsfordelingen, der gør teksten sporbar. Men det er også denne ændring, der tilsyneladende kan påvirke, hvilke svar modellen giver på vanskelige forespørgsler.
✓ Studiet finder, at vandmærker ændrer modellernes reaktion på skadelige prompts
Ifølge det studie, som Ars Technica omtaler, viser forskerne, at sprogmodeller med aktiv vandmærkning reagerer anderledes på skadelige forespørgsler end de samme modeller uden vandmærkning. I nogle tilfælde øges sandsynligheden for, at modellen efterkommer en forespørgsel, den ellers ville have afvist. Mekanismen er, at vandmærke-algoritmen kan flytte modellens sandsynlighedsfordeling på en måde, der utilsigtet baner vej for svar, som sikkerhedstræningen ellers ville have blokeret.
✓ EU's AI-forordning kræver vandmærkning af AI-genereret indhold
AI-forordningen er den første juridisk bindende regulering af kunstig intelligens i verden. Den stiller blandt andet krav om, at AI-genereret indhold — særligt lyd, video og tekst — skal mærkes på en måde, der gør det maskinlæseligt identificerbart. Formålet er at beskytte borgere mod at blive vildledt af syntetisk indhold.
Som Digitaliseringsstyrelsen beskriver, skelner forordningen mellem "AI-modeller til almen brug" og "AI-systemer", og risikoreglerne vurderes forskelligt afhængigt af denne kategorisering. De store sprogmodeller, som ChatGPT og tilsvarende, falder typisk under kategorien "AI-modeller til almen brug" og er dermed underlagt krav om transparens — herunder mærkning af output.
✓ Vandmærkning er ikke kun et EU-krav — det er et aktivt teknologisk forskningsfelt
Vandmærkning er blevet fremhævet af både regulatorer og AI-virksomheder som et lovende redskab mod misinformation og misbrug af AI. Teknikken er under aktiv udvikling, og der findes flere konkurrerende metoder med varierende grad af robusthed og sporbarhed.
Hvad ved vi ikke
Omfanget er uklart
Studiet viser, at effekten eksisterer — men vi ved ikke præcist, hvor stor den er på tværs af forskellige modeller, vandmærkemetoder og typer af skadelige forespørgsler. Resultaterne er fremkommet under kontrollerede betingelser, og det er endnu uvist, i hvilken grad de gælder i de produktionsmiljøer, hvor sprogmodeller faktisk bruges.
Vi ved ikke, om angribere aktivt kan udnytte det
Der er forskel på, at en sårbarhed eksisterer under eksperimentelle betingelser, og at den kan udnyttes systematisk af en aktør med ondsindede hensigter. For at udnytte vandmærke-sårbarheden kræves det muligvis kendskab til den specifikke vandmærkemetode, der anvendes — noget der ikke nødvendigvis er offentligt tilgængeligt.
Vi ved ikke, om andre vandmærkemetoder har samme problem
Der findes mange forskellige tilgange til vandmærkning, og det er ikke fastslået, om den fundne sårbarhed er generel for alle metoder eller knyttet til specifikke teknikker. Fremtidige studier vil skulle undersøge dette systematisk.
Det er uklart, hvordan sikkerhedsrisikoen afvejes regulatorisk
EU's AI-forordning er relativt ny, og de konkrete tekniske krav til vandmærkning er stadig under præcisering. Vi ved ikke, hvordan regulatorer vil forholde sig til en potentiel konflikt mellem transparenskravet og sikkerhedshensyn, hvis denne konflikt viser sig at være reel og robust.
Hvad eksperter er uenige om
~ Er vandmærkning overhovedet robust nok til at tjene sit formål?
Selv inden dette studie var der diskussion i forskningsmiljøet om, hvorvidt vandmærker er tilstrækkeligt robuste til at overleve bearbejdning af tekst — for eksempel oversættelse, omskrivning eller blot let redigering. Kritikere har argumenteret for, at vandmærker er lettere at fjerne, end man typisk antager. Andre fastholder, at teknikken kan gøres tilstrækkeligt robust til at have praktisk værdi.
~ Afspejler laboratorieresultater den virkelige risiko?
Nogle sikkerhedsforskere vil sandsynligvis argumentere for, at eksperimentelle fund under kontrollerede betingelser ikke direkte oversættes til praktisk risiko. De eksisterende sikkerhedsmekanismer i kommercielle modeller er lagdelte og ikke afhænger af vandmærkning alene. Andre vil fremhæve, at selv en marginal stigning i modellers villighed til at efterkomme skadelige forespørgsler udgør et alvorligt problem i betragtning af den massive brug af disse systemer.
⚖ Bør transparenskravet have forrang over sikkerhedshensyn?
Dette er i høj grad et værdispørgsmål. Tilhængere af stærke transparenskrav vil fremhæve, at offentlighedens ret til at vide, om de interagerer med AI, er fundamental — og at sikkerhedsproblemer bør løses teknisk frem for at begrænse transparens. Andre vil argumentere for, at hvis vandmærkning konkret forøger risikoen for skadeligt output, bør kravet gentænkes eller udsættes, indtil teknologien er moden nok.
~ Hvad er den rigtige tekniske løsning?
Forskere er uenige om, hvilken type vandmærkning der er bedst — og om problemet kan løses ved at designe vandmærke-algoritmer, der ikke påvirker sandsynlighedsfordelingen på måder, der interagerer med sikkerhedstræning. Nogle tror, dette er teknisk muligt; andre mener, at der er en fundamental spænding, der ikke lader sig fjerne rent teknisk.
Konklusion
AI-vandmærkning er tænkt som et redskab, der gør AI mere ansvarlig og transparent — og kravet er allerede lovfæstet i EU's AI-forordning. Det nye studie tilføjer imidlertid en vigtig nuance til billedet: den mekanisme, der gør tekst sporbar, kan under visse betingelser også gøre sprogmodellen mere sårbar over for forsøg på at fremkalde skadeligt indhold.
Det betyder ikke, at vandmærkning er en dårlig idé, eller at kravet bør opgives. Men det betyder, at vi ikke kan betragte transparensforanstaltninger og sikkerhedsforanstaltninger som simple supplerende lag, der uafhængigt af hinanden gør AI sikrere. De interagerer — og den interaktion er ikke fuldt kortlagt.
Nøglepunkterne er disse:
- ✓ Vandmærker ændrer sprogmodellers sandsynlighedsfordeling, og dette kan påvirke, hvilke svar modellen giver
- ✓ Et nyt studie viser, at vandmærkning under visse betingelser øger modellers tilbøjelighed til at efterkomme skadelige forespørgsler
- ✓ EU's AI-forordning kræver allerede vandmærkning af AI-genereret indhold fra store sprogmodeller
- ~ Det er omtvistet, om laboratorieresultaterne afspejler reel, praktisk risiko
- ~ Det er uafklaret, om problemet er teknisk løseligt uden at opgive vandmærkning
- ⚖ Afvejningen mellem transparens og sikkerhed er et åbent politisk og regulatorisk spørgsmål
For regulatorer — herunder dem, der implementerer AI-forordningen i Danmark og EU — er budskabet klart: dette er et område, der kræver løbende teknisk evaluering, og hvor det ville være en fejl at antage, at lovgivning om transparens automatisk giver sikkerhed. De to mål kan leve side om side, men det kræver bevidst og teknisk informeret design.