Hvordan få tilgang til nok GPU-kraft (f.eks. DGX Spark/Asus GX10) for trening og drift av store språkmodeller?

Slik løser du det

Studenter ved NTNU bør undersøke tilgjengelige stipendmuligheter og interne ressurser via Spark/NTNU for tilgang til tungregningskapasitet. Å trene og kjøre store språkmodeller (LLM – Large Language Models, KI-modellene bak verktøy som ChatGPT) krever enorm regnekraft. Denne kraften kommer fra GPU-er – Graphics Processing Units, altså grafikkprosessorer som er svært gode på de mange parallelle utregningene KI-trening består av. Maskiner som NVIDIA DGX Spark og Asus GX10 er spesialiserte KI-maskiner bygget nettopp for dette, men de er dyre og ikke noe en student kjøper privat. Det gode rådet er derfor å utnytte ressursene som allerede finnes i NTNU- og Spark-økosystemet i stedet for å betale dyrt selv. Slik går du fram: NTNU har tungregneklynger (HPC – High Performance Computing, altså superdatamaskiner for forskning) som studenter ofte kan få tilgang til gjennom prosjekter, emner eller veiledere. Ta kontakt med Spark* og hør om interne ressurser, og spør instituttet ditt eller en faglig veileder om tilgang til regneklyngene. Undersøk også stipendmuligheter – både interne midler og eksterne aktører kan dekke regnekraft for studentprosjekter. Et praktisk tips: før du jakter på maskinvare, vurder om du faktisk trenger å TRENE en modell fra bunnen (svært tungt) eller om du kan «finjustere» en eksisterende åpen modell, eller bruke skytjenester (som leier ut GPU per time) for kortere kjøringer. Det sparer ofte både tid og penger. Vanlige fallgruver: å undervurdere hvor mye regnekraft trening krever, å glemme at sky-GPU kan koste raskt, og å ikke spørre tidlig nok om interne ressurser. Spark* kan peke deg mot riktige kontaktpunkter på NTNU og hjelpe deg å vurdere det rimeligste oppsettet for ditt behov.