NorLLM
En guide til NorwAI’s arbeid med store språkmodeller på norsk
NorLLM
SFI NorwAI – Norsk forskningssenter for AI-innovasjon – arbeider intenst med å utvikle generative språkmodeller som kan komme det norske samfunnet til nytte. Generative språkmodeller kom på alles lepper i 2023 etter det internasjonale gjennombruddet av denne type bruk av kunstig intelligens.
I denne seksjonen oppsummerer vi status for NorwAIs arbeid så langt med NorLLM (Norwegian Large Language Models).
Vårt nøkkelbudskap:
- Norge trenger kontroll på egne generative språkmodeller bygd på norske data og verdier
- Vi har et velfungerende system for innsamling og forvaltning av publisert innhold for bruk i store språkmodeller
- Norge mangler beregningsressurser til både trening og drift av store språkmodeller
- Det trengs strukturer og mekanismer for å sikre at treningsdata, finjusteringsdata og tilpasningsrutiner understøtter norske verdier og åpne modeller
- NorwAI har den nødvendige kompetansen og erfaringene og ønsker å utvikle norske språkmodeller for det norske samfunnet.
Få tilgang til modellene
Tekniske henvendelser
Om språkmodeller generelt
Nyheter
Nasjonal lansering av neste generasjon NorLLM-modeller
Den 15. mai vil NorwAI presentere og lansere neste generasjon av sine NorLLM-modeller. Næringsminister Cecilie Myrseth deltar og ønsker publikum velkommen når NorwAI lanserer sine nye språkmodeller. Statsråden vil snakke om hennes forventninger til bruken av språkmodeller. I tillegg vil en gruppe partnere, samarbeidende selskaper og organisasjoner presentere prosjekter og planer for bruken av modellene.
Språkmodeller tar av
Aktivitetene rundt norske språkmodeller fikk nasjonal oppmerksomhet i 2023. Interessen fortsetter inn i 2024. Vår offentlige introduksjon til å presentere store norske språkmodeller fant sted under ‘Arendalsuka’ 17. august 2023.
Fire modeller bygget – fire nye på beddingen
NorwAI har bygd fire ulike norske generative språkmodeller. I vinter og i vår 2024 bygges ytterligere fire modeller som gjøres tilgjengelige etter påske i år. Samlet sett utgjør alle de åtte modellene trinn på veien mot NorwAIs ambisjon om å bygge en fullverdig generativ grunnmodell for allmenn bruk i størrelsesorden 40 milliarder parametre i løpet av 2024.
Lærdommer om språkmodeller: Noen observasjoner fra arbeidet med språkmodeller
Arbeidet med språkmodeller har avdekket en del interessante aspekter knyttet til transparensm, bærekraft, verider og normer, og målformer.
Kva kreves for å trene og drifte språkmodeller?
Dersom en skal bygge opp et miljø for trening og drift av norske, kommersielt tilgjengelige språkmodeller, må en ha tilgang ressurser.
Etterspurte anvendelser
Det siste året har NorwAI blitt kontaktet av flere offentlige virksomheter og private foretak som ønsker et alternativ til de internasjonale modellene.
De har i hovedsak hatt to ankepunkter mot de eksisterende, kommersielle modellene:
i) håndtering av sensitive og opphavsrettslig beskyttede data,
ii) manglende kvalitet på norsk.
Språkrådet om fagkompetent generativ språkteknologi
Nå som generative språkmodeller har vist seg å kunne skrive relativt flytende hverdagsnorsk, må vi tørre å sette forventningene til maskinene enda høyere. For at modellene trygt kan brukes til profesjonelle formål på alle samfunnsområder, må de også kunne håndtere og produsere fagspesifikt språk og spesialisert terminologi for disse samfunnsområdene på en korrekt, forutsigbar og pålitelig måte. I maskinlæringens tidsalder betyr det at det trengs relevant treningsdata fra alle fagfelt.
Av Åse Wetås, Direktør, Språkrådet
Hvordan kan Norw(AI) beskytte personlige data?
Å beskytte personlig informasjon er utfordrende med komplekse AI-modeller som er sultne på data. NorwAIs løfte om å gi en individualisert AI-opplevelse som beviselig respekterer personvernhensyn er derfor viktigere enn noen gang. Anders Løland, Forskningssjef Norsk Regnesentral (NR)
Skadelig oppførsel i språkmodeller
Svarene fra en språkmodell reflekterer hvilke data som går inn i treningssettet. Hvis treningsdataene er mangelfulle, vil modellen kombinere ord etter statistiske sannsynligheter og konstruere setninger som kan være både plausible og grammatisk gode, men som har lite med virkeligheten å gjøre.
Prosjekt «MIMIR» evaluerer verdien av opphavsrett
På tampen av 2023 kom initiativet som fikk de tre mest aktive miljøene i Norge med kompetanse på språkmodeller til å samarbeide tettere. Prosjektet “Mimir” forente Nasjonalbiblioteket, Universitetet i Oslo og NorwAI i en felles anstrengelse.
TrustLLM - Et EU-prosjekt som svar på generative AI-hallusinasjoner
De siste to årene har generativ AI sett fremveksten. Mange modeller har nyttige funksjoner, men har en tendens til å finne på fakta og reagere altfor selvsikkert. Hvordan redusere denne risikoen?
I november 2023 startet et konsortium med partnere fra Norge, Tyskland, Sverige, Island, Danmark og Nederland det Horizon Europe-finansierte prosjektet TrustLLM for å utvikle åpne, pålitelige og bærekraftige store språkmodeller.