Et EU-prosjekt som svar på generative AI-hallusinasjoner

De siste to årene har generativ AI sett fremveksten. Mange modeller har nyttige funksjoner, men har en tendens til å finne på fakta og reagere altfor selvsikkert. Hvordan redusere denne risikoen?

I november 2023 startet et konsortium med partnere fra Norge, Tyskland, Sverige, Island, Danmark og Nederland det Horizon Europe-finansierte prosjektet TrustLLM for å utvikle åpne, pålitelige og bærekraftige store språkmodeller.  

Professor Fredrik Heintz ved Universitetet i Linkøpig er koordinator og deltok på NorwAI Innovate-konferansen i Trondheim i fjor høst:

– Hva er målene dine, Fredrik Heintz?

– Hvordan ser suksessen ut? Hvis vi kan bygge et språkprosjekt som fungerer som en referansemodell som tiltrekker seg global oppmerksomhet, vil vi være glade, sa professor Fredrik Heintz da han ble intervjuet om prosjektet under konferansen. 

Ifølge førsteamanuensis Benjamin Kille som representerer NorwAI i prosjektet, vil de første modellene mest sannsynlig være klare i sommer. Prosjektet vil bruke en superdatamaskin i Barcelona for en rask realisering av den første fasen.

Germansk språkfamilie

I første omgang vil disse modellene fokusere på germanske språk. NTNU gjennom SFI NorwAI, representerer Norge i konsortiet, og bidrar med kompetanse på utvikling av LLM og ressurser for norsk. Sammen med partnerne håper prosjektet å skape et levende økosystem som fremmer mange innovasjoner og mer innsikt i ansvarlig bruk av generativ AI.

Prosjektet står overfor flere utfordringer. Å bygge store LLM-er krever store mengder tekster og tusenvis av GPU-timer. Konsortiet har erfaring med å administrere store datasett og bruke beregningsressurser på Europas største dataklynger.

Vurderer

Å evaluere generativ AI representerer en vitenskapelig utfordring. Brukere oppfatter tekster subjektivt og kommentatorer er uenige. NorwAI leder oppgaven med å definere egnede evalueringsmålinger for å fange opp subtile konsepter som pålitelighet, nøyaktighet, flyt, faktakonsistens eller semantisk sammenheng.

For norsk skal modellene trenes og evalueres for både skriftlige former: bokmål og nynorsk.
Til slutt vil konsortiet bruke de utviklede modellene på flere bruksområder for å vise deres nytte og samsvar med europeiske verdier.
NorwAIs partnere DNB og Schibsted har meldt seg frivillig til å undersøke modellene i sine organisasjoner.

Mer informasjon om TrustLLM finner du på: https://trustllm.eu/