= Hvad ved vi om...

Hvad ved vi om AI's evne til at eliminere hallucerede referencer i videnskabelig litteratur?

Nye målinger viser, at de seneste AI-modeller producerer markant færre opdigtede kildehenvisninger end tidligere — men problemet er langt fra løst.

Det politiske spørgsmål

Kunstig intelligens er ved at blive et fast arbejdsredskab i forskning, undervisning og vidensformidling. Universitetsstuderende bruger det til litteratursøgning. Forskere bruger det til at skrive indledninger og resuméer. Journalister bruger det til baggrundstjek.

Men AI-systemer har et veldokumenteret problem: de finder på kilder. De præsenterer henvisninger til artikler, bøger og studier, der slet ikke eksisterer — eller som eksisterer, men ikke siger det, AI'en påstår. Det kaldes hallucination, og i en videnskabelig sammenhæng er det ikke bare irriterende. Det er potentielt ødelæggende for tilliden til forskning.

Spørgsmålet, som mange institutioner og politikere nu stiller sig, er: Kan man stole på AI som hjælpemiddel i forskning? Og hvor langt er vi fra, at svaret kan blive et ubetinget ja?

Det empiriske spørgsmål bag

Det tekniske spørgsmål er todelt. For det første: Hvor udbredt er problemet med hallucerede referencer faktisk? For det andet: Er de nyeste AI-modeller bedre end de ældre — og i givet fald hvor meget bedre?

Hallucination i denne kontekst handler ikke om grove fejl, som er nemme at opdage. Det handler om plausible, velformatterede referencer til artikler med troværdigt klingende titler, forfatternavne og tidsskrifter — der alligevel ikke holder, når man tjekker dem.

Hvad ved vi

Problemet er reelt og dokumenteret i stor skala ✓✓

I januar 2026 analyserede det AI-detektionsselskab GPTZero 4.841 artikler, der var blevet accepteret til NeurIPS 2025 — en af verdens mest prestigefyldte AI-konferencer. Analysen afslørede mindst 100 bekræftede hallucerede citationer fordelt på 53 artikler. Det svarer til, at mere end én ud af 50 accepterede konferencepapirer indeholdt opdigtede kilder. Det er ikke en marginal fejlrate i et forum, der sætter standarden for hele AI-feltet.

En videnskabelig artikel publiceret i 2026 i det fagfællebedømte tidsskrift Journal of Informetrics beskriver fænomenet som en direkte trussel mod den videnskabelige integritet og understreger behovet for systematisk verifikation — helst med udgiverstyret tilsyn.

De nyeste modeller klarer sig markant bedre ✓

Nature News rapporterer i 2026 om målbare fremskridt. De seneste generationer af store sprogmodeller (large language models, eller LLM'er — AI-systemer trænet på enorme mængder tekst til at forudsige og generere sprog) producerer færre hallucerede referencer end deres forgængere. Forbedringen er ikke marginal: visse modeller er gået fra en fejlrate på over 40 procent i referencegenerering til under 10 procent i kontrollerede tests.

Forbedringen tilskrives primært to mekanismer. Den ene er retrieval-augmented generation (RAG) — en metode, hvor AI-modellen ikke genererer referencer fra hukommelsen, men aktivt slår op i verificerede databaser i realtid, inden den svarer. Den anden er forøget brug af eftertræningsteknikker, der belønner modellen for at indrømme usikkerhed frem for at gætte.

Problemet er ulige fordelt på opgavetyper ✓

Hallucination er ikke et ensartet problem. AI-modeller klarer sig bedst, når de skal referere til meget citerede, digitalt tilgængelige artikler fra de seneste år. De klarer sig markant dårligere ved ældre litteratur, nichepublikationer, grå litteratur (rapporter, arbejdspapirer, myndighedsdokumenter) og litteratur på andre sprog end engelsk. Det betyder, at forskning inden for humaniora, samfundsvidenskab og ikke-engelsksprogede fagmiljøer er særligt udsatte.

Verificeringsværktøjer er under udvikling ✓

Parallelt med forbedringerne i selve modellerne udvikles der eksterne verifikationsværktøjer — systemer der automatisk tjekker, om en angivet reference faktisk eksisterer i kendte akademiske databaser som PubMed, Crossref eller Google Scholar, og om den faktisk siger det, AI'en påstår. Disse værktøjer er endnu ikke standard, men er i brug på enkelte større forskningsplatforme.

Hvad ved vi ikke

Selv om fremgangen er reel, er der grundlæggende ting, vi stadig ikke ved.

Vi kender ikke den sande fejlrate i daglig brug. De fleste målinger er foretaget i kontrollerede testmiljøer eller på konferencepapirer, der er indsendt til gennemsyn. Vi ved ikke, hvor mange hallucerede referencer der florerer i arbejdsdokumenter, studenteropgaver, interne rapporter og journalistiske baggrundsnotater, der aldrig gennemgår systematisk tjek.

Vi ved ikke, om bedre benchmarks afspejler reel adfærd. Der er en velkendt risiko for, at AI-modeller er optimeret til at klare sig godt på de specifikke tests, der bruges til at måle hallucination — uden at den underliggende tendens er ændret fundamentalt. Det kaldes overfitting til benchmark, og det er et generelt problem i AI-evaluering.

Vi forstår ikke årsagen fuldt ud. Forskningen har ikke afklaret, hvornår præcist en model vælger at hallucere frem for at indrømme usikkerhed. Er det et spørgsmål om træningsdataenes sammensætning? Modelarkitektur? Instruktioner fra brugeren? Sandsynligvis alle tre — men vægtningen er ukendt.

Vi ved ikke, om fremgangen fortsætter. De seneste modeller er bedre end de foregående, men det er ikke givet, at kurven fortsætter i samme retning. Der kan være en strukturel grænse for, hvor præcis en model kan blive på referencer, uden at den reelt har adgang til alle relevante databaser i realtid.

Hvad eksperter er uenige om

Hvor alvorligt er problemet nu? ~

Nogle forskere og teknologikommentatorer mener, at de seneste forbedringer er tilstrækkelige til, at AI allerede nu kan bruges som et pålideligt hjælpemiddel i litteratursøgning, forudsat at brugeren verificerer de vigtigste referencer manuelt. Andre er mere forsigtige og peger på, at selv en fejlrate på under 10 procent er uacceptabel i videnskabeligt arbejde, hvor præcis kreditering af idéer er en kernedyd.

Er RAG løsningen — eller blot et plaster? ~

Retrieval-augmented generation roses bredt som en teknisk løsning på hallucinationsproblemet, fordi modellen ikke længere skal huske referencer, men kan slå dem op. Men kritikere påpeger, at RAG ikke eliminerer hallucination — det forskyder den. Modellen kan stadig misfortolke, hvad en kilde siger, udvælge den forkerte passage eller anvende den i en forkert kontekst. Problemet med fabrikerede titler reduceres; problemet med misrepræsenteret indhold er stadig langt fra løst.

Hvem har ansvaret for verifikation? ⚖

Her er uenigheden ikke primært empirisk, men normativ. Bør ansvaret ligge hos de individuelle brugere — forskere og studerende der selv tjekker deres kilder? Hos universiteterne, der bør indføre systematiske procedurer? Hos AI-virksomhederne, der bør bygge verifikation ind i produktet? Eller hos tidsskrifterne og forlagene, som den videnskabelige artikel i Journal of Informetrics argumenterer for? Der er ikke konsensus, og de forskellige parter har åbenlyse interessekonflikter i spørgsmålet.

Kan man regulere sig ud af problemet? ⚖

Visse forskere og politikere argumenterer for, at krav om verifikation bør lovfæstes — eksempelvis at AI-assisterede videnskabelige artikler skal gennemgå automatiseret kildekontrol, inden de kan publiceres. Andre mener, at regulering på dette område vil halte bagud efter teknologien og skabe en falsk tryghed, fordi verificeringsværktøjerne i sig selv er ufuldkomne.

Konklusion

Fremgangen er reel — men tilliden bør ikke løbe fra evidensen.

De seneste AI-modeller er målbart bedre til at undgå opdigtede referencer end deres forgængere. Teknikker som retrieval-augmented generation reducerer fejlraten mærkbart, og visse modeller præsterer nu under 10 procent fejl i kontrollerede referencetests mod tidligere over 40 procent.

Alligevel er problemet ikke løst. NeurIPS 2025-analysen viser, at hallucerede referencer forekommer selv i topforskning inden for AI-feltet selv — det felt, der bygger disse systemer. Den reelle fejlrate i daglig brug er ukendt. Modellerne er fortsat mest upålidelige ved ældre, nichepræget og ikke-engelsksproget litteratur.

Det praktiske råd til alle, der bruger AI til at finde eller citere videnskabelig litteratur, er uændret: Verificér altid referencer manuelt, inden du citerer dem. Det gælder uanset hvilken model du bruger.

Den vigtigste strukturelle konklusion er, at ansvaret for verifikation ikke kan placeres ét sted alene. Det kræver en kombination af bedre modeller, bedre verificeringsværktøjer, bedre procedurer hos universiteter og forlag — og brugere, der forstår, hvad de har med at gøre.


Kilder