Min lokale LLM føltes uferdig før jeg satte et ordentlig grensesnitt foran det

Jeg har virkelig kommet inn i å kjøre lokale LLM-er i det siste, og Ollama har vært en livredder. Det er et flott verktøy, men jeg har alltid følt at grensesnittet kunne vært bedre.

Så jeg begynte å lete etter en skikkelig brukergrensesnitt som kobler seg til det, og det viser seg at det faktisk finnes noen få anstendige alternativer, og jeg tror jeg har funnet den perfekte for meg.

Ollama er flott... for utviklere

Jeg vil ha noe penere

Ollama er et av de beste stedene å starte med lokale LLM-er. Du henter bare en modell, kjører den, ferdig. Den har nå også en skrivebordsapp, noe som er hyggelig. Men etter å ha brukt den en stund, fant jeg stadig ut at jeg ønsket mer av opplevelsen, og den ene tingen som virkelig irriterte meg var at jeg ikke kunne bruke den skikkelig fra telefonen min. Det var det som til slutt fikk meg til å gå over til Open WebUI, og jeg har ikke sett meg tilbake.

For å være tydelig, jeg bruker fortsatt Ollama. Det kjører i bakgrunnen på min Mac mini, og alt annet kommuniserer med det. Den delen er utmerket. Skrivbordsappen derimot, er grei. Du får et chatte-vindu, samtalehistorikken din er der, du kan dra inn en fil. Det fungerer.

Det det ikke har, er noe utover det. For eksempel har det ingenting å gjøre med å få tilgang til det fra en annen enhet. Og telefongreia fortsatte å irritere meg. Jeg ønsket å åpne hele grensesnittet fra telefonen når jeg ikke er ved skrivebordet, og Ollama-appen gjør bare ikke det (nei, jeg vil ikke SSH inn på maskinen min for å få tilgang til mine hostede LLMs.)

Jo mer jeg brukte det, jo mer føltes det som en funksjon som ble lagt til fordi folk stadig spurte etter en, ikke noe som var designet for daglig bruk. Det gir mening, for det var aldri egentlig poenget med Ollama. Det skal være infrastruktur. Det kjører på en server; det leverer modellene. For den faktiske brukergrensesnittet ønsket jeg en app som kunne koble seg til Ollama og bare fungere sømløst med det.

Å sette opp Open WebUI er superenkelt

Docker gjør det stort sett klart til bruk

Open WebUI er gratis, åpen kildekode, og kjører helt på maskinen din. Den enkleste måten å få det i gang på er gjennom Docker. Hvis du allerede har Docker installert, trenger du bare å kjøre denne kommandoen i terminalen din:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Så åpner du http://localhost:3000, oppretter en lokal konto, og du er inne. Den finner Ollama-modellene dine automatisk, så du kan begynne å chatte med LLM-ene dine nesten umiddelbart.

Grensesnittet er ganske likt ChatGPT. Det har alt du trenger, som vedvarende samtalehistorikk, en modellvelger og mer. En ting du bør gjøre med en gang: gå inn i modellinnstillingene og øk kontekstvinduet fra standard 2048 tokens til 8192 eller mer.

Ollamas standard er satt lavt av ytelsesmessige årsaker, men det er for lavt for noe som går utover en rask frem og tilbake. Med et større kontekstvindu slutter lengre samtaler å miste oversikten over hva du sa tidligere, og dokumentchat blir faktisk nyttig.

Det finnes også et kontrollpanel på siden av hver samtale som går ganske dypt hvis du ønsker det. Temperatur, top-k, top-p, tilstedeværelsesstraff, frekvensstraff, frø, stoppsekvenser, resoneringsinnsats.

De fleste vil aldri røre noe av det, og det er greit. Men det er der, hvis du vil eksperimentere med hvordan en modell reagerer uten å lete gjennom konfigurasjonsfiler, kan du gjøre det direkte fra brukergrensesnittet.

Du kan få tilgang til det fra hvilken som helst enhet

Ja, selv når du ikke er hjemme

Problemet med å kjøre noe lokalt er delen med "lokalt". Det krever litt mer oppsett for å få tilgang til det utenfor nettverket ditt. Du kan gjøre Open WebUI tilgjengelig direkte på internett, men det ville jeg ikke gjort.

Portviderekobling på en hjemmeruter, en offentlig server, alt dette er mer bry enn det er verdt og introduserer problemer jeg ikke ønsket å håndtere.

Tailscale er det jeg bruker til dette. Gå rett og slett til Tailscale-nettstedet, opprett en gratis konto, og last ned appen på maskinen hjemme. Installer den deretter også på telefonen din og logg inn på samme konto. Det er det, begge enheter vises nå på Tailscale-nettverket ditt, og dere kan se hverandre fra hvor som helst.

For å finne IP-en til hjemmemaskinen din, åpne Tailscale-appen, og den er rett der på hovedskjermen, noe som ligner på 100.x.x.x. Ta den IP-en, åpne nettleseren på telefonen, skriv 100.x.x.x:3000, og Open WebUI lastes akkurat som den gjør hjemme. Jeg bare lagret den som bokmerke på telefonen og tenkte aldri mer på det.

Når det er satt opp, er det enkelt å bruke. Åpne en nettleser på telefonen din, og skriv inn Tailscale-IPen til hjemme-maskinen din etterfulgt av :3000. For å finne maskinens Tailscale-IP, åpne bare Tailscale-appen på hjemme-maskinen, og den ligger rett der på hovedskjermen.

Så til slutt vil din endelige URL se ut omtrent som 100.x.x.x:3000. Bare skriv inn det på en hvilken som helst enhet koblet til via Tailscale, og det er alt! Nå vil du ha det nøyaktig samme brukergrensesnittet på en hvilken som helst annen enhet, som telefonen din.

En ting til som er verdt å vite

Open WebUI er heller ikke begrenset til Ollama. Du kan koble det til omtrent hvilken som helst OpenAI-kompatibel API, så hvis du ikke har maskinvaren til å kjøre større modeller lokalt, er du ikke begrenset til små 4B-modeller.

Du kan også bruke det med Nvidia BUILD, som lar deg kjøre virkelig store åpne-vekt-modeller gratis gjennom deres sky. Det er en oppsett som skalerer med hvilken som helst maskinvare-situasjon du er i.