Jeg byttet til Linux for lokale LLM-er, og oppsettet som tok timer på Windows tok minutter
Jeg trodde aldri det ville være så utfordrende å kjøre en lokal LLM på Windows. Selv når det virket greit, innså jeg senere at instansen kjørte helt på CPU-en min. Å konfigurere drivere, miljøvariabler, og til slutt sette opp WSL2 etter å ha lastet ned en Ollama-modell føltes som et eget prosjekt. Og etter det fant jeg det veldig utmattende å vedlikeholde stacken.
Jeg ble positivt overrasket da jeg prøvde det på Linux. Prosessen var mer direkte, enklere, og ærlig talt forventet jeg ikke lenger at ting skulle gå i stykker. Det føltes likt som da jeg gjorde Linux-terminalen min om til en lokal AI-assistent.
Oppsettet som skulle ha tatt ti minutter
Hvorfor Ollama på Windows stadig drar deg tilbake
Oppsettsprosessen for Ollama på Windows kan virke enkel, men i realiteten går den langt utover å bare laste ned og kjøre installasjonsprogrammet. Ved første kjøring kan du bli overbevist om at alt er perfekt fordi du får tekst og svar. Imidlertid viser sjekk med kommandoen: ollama ps en ledig GPU. Dette skyldes at den kjører på CPU-en, og bare 3 til 5 tokens per sekund er betydelig tregere enn det burde være.
Ollamas standard stille fallback er vanlig og vanskelig å oppdage fordi den ikke genererer noen feil. Denne oppførselen er mulig på andre operativsystemer hvis tilgjengelig VRAM er for liten for modellen. På Windows kan imidlertid flere andre faktorer, som driver-/installerings-race-tilstander, videreføring av miljøvariabler og konkurrerende ressursbruk, utløse den.
Selv når ingenting ser galt ut, kan det fortsatt feile; i slike tilfeller kan du vende deg til WSL2. Jeg prøvde Open WebUI via Docker, som får Ollama til å føles som en lokal ChatGPT til tross for at det er en nettleserbasert tjeneste. Docker kjører imidlertid mest pålitelig på Windows fra WSL2. Dette er et Linux-miljø som kjører innenfor Windows, og du må konfigurere det nøye for å unngå komplikasjoner.
Selvfølgelig vil du til slutt få det gjort riktig. Det lille problemet er imidlertid at denne prosessen aldri føles som den virkelig er ferdig. Det er en syklus av å fikse én ting, så en annen, og deretter enda en. Du kan aldri forutsi hvor lang tid det vil ta å få en fungerende oppsett; det kan være fem minutter eller fem timer.
Hvordan Linux-installasjonen egentlig så ut
En kommando, GPU aktiv, og ingenting mer å konfigurere
Å installere en lokal LLM på Linux, derimot, var udramatisk. Jeg gikk fra en enkelt installasjonskommando til nedlasting av modellen, GPU oppdaget, og det var det. Da jeg genererte mitt første svar, ble jeg værende en stund i tilfelle det var noe å fikse; det var det ikke.
Dette er ikke et spørsmål om hvilket operativsystem som er bedre. Det var rett og slett det faktum at installasjonsskriptet for Ollama først ble skrevet for Linux og fungerte nesten feilfritt, fra å installere binærfilene og registrere Ollama som en bakgrunnstjeneste som starter med systemet, til automatisk å oppdage GPU-maskinvaren. Ingen av dette krever et mellomlag eller miljøoversettelse. Så lenge alle drivere er på plass før installasjonen, tar hele prosessen seg av seg selv.
Hvis GPU-deteksjon mislykkes fordi du installerte før driverne ble bekreftet, kan du enkelt reinstallere Ollama for å fikse det.
Fra min erfaring, her er hvordan prosessen sammenlignes i begge operativsystemene:
Trinn | Windows | Linux |
|---|---|---|
Installer Ollama | .exe-installer (bruk av GPU krever separat verifisering) | En kommando (GPU oppdages automatisk) |
GPU faktisk brukt ved første kjøring | Faller ofte tilbake til CPU stille |
Brukes umiddelbart hvis sjåfører er på plass |
Åpne WebUI-oppsett | Trenger WSL2 installert og Docker konfigurert inni det | Enkelt Docker-kommando |
AMD GPU-akselerasjon | Eksperimentell (ROCm v6.1+, hyppig CPU-tilbakefall rapportert) | Full støtte via ROCm v7 |
Ollama starter ved oppstart | Krever manuell konfigurering | Automatisk via systemd |
Verktøyene du bruker deler en antakelse
Windows støttes — Linux er der de ble skrevet
Når du oppholder deg i økosystemet lenge nok, oppdager du at Ollama, Open WebUI og Docker ikke ble laget for Windows, og det samme gjelder Python-integrasjonen som ble bygget rundt dem. Windows-støtte er lagt oppå dem, og det gjør en betydelig forskjell.
Det beste eksemplet er Open WebUI, som er en enkelt Docker-kommando på Linux. Denne kommandoen vil umiddelbart starte containeren som kobler til den lokale instansen av Ollama mens du åpner en nettleser. På Windows konfigurerer du alle disse elementene. Det fungerer, men oftere gjør det ikke på første forsøk, noe som vanligvis fører til en lang feilsøkingsprosess.
Disse problemene er enda mer kompliserte for brukere av AMD GPUer. Det finnes full Linux-støtte for ROCm versjon 7, AMDs beregningsplattform for GPU-inferens. På Windows stopper den offisielle støtten ved versjon 6.1+ og forblir eksperimentell. Følgelig kjører mange Windows-brukere av AMD GPUer fortsatt Ollama på CPU-en, uavhengig av maskinvarens kapasitet. Den underliggende GPU-stakken er rett og slett ikke tilgjengelig.
Vurder å bruke LM Studio som et eget verktøy fra Ollama. Det er GUI-først, kjører problemfritt på Windows og Linux, og lar deg kjøre modeller uten en terminal. Det fungerer imidlertid bare hvis du vil chatte med en lokal LLM uten å gjøre så mye mer.
Tiden du sparer er ikke på forhånd
Mens jeg syntes den første installasjonen var veldig smidig, begynte jeg å sette mer pris på hvordan lokale LLM-er fungerer på Linux med hver påfølgende bruk av oppsettet mitt. Grunnen er at det ikke er en engangsinstallasjon som du bruker for alltid. Du fortsetter å prøve nyere modeller etter hvert som de blir tilgjengelige. Du prøver stadig mindre, kvantiserte versjoner når en modell blir for treg.
Dette krever alle systemnivåendringer. De første komplikasjonene på Windows kan gjenta seg når du gjør endringer, og vil bare gjøre opplevelsen din med lokale LLM-er svært ubehagelig.
Hvis du ser etter å prøve Linux bare for en lokal LLM, vil jeg anbefale deg å bruke Linux Mint. Det er sannsynligvis den beste distribusjonen for alle som kommer fra Windows-økosystemet.