Mens tre av første modellene ble bygd med GPT-arkitektur og ytterligere en etter Metas Llama-3-modell, vil tre av neste generasjon NorLLM-modeller fokusere på den franske Mistral-arkitekturen og dessuten inkludere ytterligere en Llama-modell. 

To spor i 2024

Inn i 2024 splittes språkmodellarbeidet i NorwAI i to ulike spor. Det er et behov for å trene en norsk generativ modell som er tilstrekkelig stor til å understøtte norsk språk på samme nivå som engelsk og andre større språk understøttes av de internasjonale modellene. Samtidig etterspørres det mindre modeller som lett kan optimaliseres til bestemte bruksområder og kontrolleres lokalt med egne data og egne tilpasninger. 

De nye modellene i NorwAIs portofølje vil derfor være litt mindre i størrelse (ca 7 milliarder parametre), men ikke desto mindre inneha andre egenskaper som kan komme aktørene i privat og offentlig sektor til nytte. 

Bokmål og nynorsk

Ved riktig trening uttrykker antall parametre hvor fine nyanser som fanges opp i språkets ortografi, syntaks, semantikk og pragmatikk. Parametrene læres under trening, og mer treningsdata gir normalt både mer presise parameterverdier og mer faktisk informasjon å trekke svarene fra (og derved færre hallusinasjoner). De fire første hadde økende datatilfang og utvidet funksjonalitet, jfr tabell under. Modellene behersker begge målformer, selv om de har en tendens til å hoppe over til bokmål når de mangler relevante svar på nynorsk. 

De fire neste modellene vil trenes på norske data uten opphavsrettslig beskyttet innhold og egner seg dermed også til kommersiell anvendelse.  De ulike arkitekturer bidrar til  å avdekke teknologiske egenskaper og tillater evaluering av hvilken modelltilnærming som egner seg best til ulike anvendelser.  

Organisering

Treningen av språkmodeller ligger organisatorisk i NorwAI i Trondheim og utføres av NTNUs vitenskapelig ansatte i samarbeid med utvalgte partnere som Schibsted. I tillegg stiller NTNU med tilgang til superdatamaskinklyngen Idun (https://www.hpc.ntnu.no/idun/) og tung teknisk ekspertise. 
Idun, som er et samarbeid mellom NTNUs fakulteter og IT-divisjonen, og utgjør en profesjonell infrastruktur for tungregning som egner seg godt til beregningskrevende KI-modeller (https://www.sigma2.no/) er i dag kraftige nok til langsiktig trening av språkmodeller. Eksempelvis tok det NorwAI 76 dager å trene NorGPT-23 på Idun i 2023. 

Noen – som for eksempel Universitetet i Oslo – bruker den finske LUMI-maskinen (https://www.lumi-supercomputer.eu/), men Norge har begrenset tilgang til denne infrastrukturen, som også er mindre fleksibel for vårt språkmodellarbeid. 

Uansett er dette klynger som bare er rigget for forskning og kan ikke være en løsning for drift og vedlikehold av modeller i ettertid.