Jeg byttet alt til lokal AI og sluttet å sende dokumentene mine til skyen

I lang tid tenkte jeg ikke to ganger på å lime inn en kontrakt i ChatGPT, laste opp en konfidensiell rapport for å be om et sammendrag, eller mate et klientforslag inn i et AI-verktøy i skyen. Så en dag stoppet jeg faktisk opp og leste et tjenestebetingelsesdokument (noe jeg hadde småslurvet med å skumme gjennom i årevis), og innsikten slo meg: disse filene forlot maskinen min og levde, i det minste midlertidig, på noen andres servere. Og interessant nok, innså jeg at en tidligere kollega en gang hadde forklart hvorfor man ikke bør stole på ChatGPT med konfidensiell informasjon. Den ubehagelige følelsen fikk meg til å lete etter en bedre måte.

Det jeg fant var AnythingLLM, en gratis, åpen kildekode-skrivebordsapp som lar deg bygge en helt privat AI-assistent fra dine egne dokumenter — og gjør det helt på enheten din. Den har blitt en av de åpne kildekode-AI-appene jeg bruker hver dag. Slik så det ut å bytte over i praksis.

Å få AnythingLLM installert og konfigurert tar bare noen få minutter

Og det forteller deg nøyaktig hvor dataene dine går før du i det hele tatt begynner

Etter at du har hentet installasjonsfilen, dobbeltklikker du på den, og veiviseren tar over. Under installasjonen laster den automatisk ned støttende komponenter: Ollamas CUDA-biblioteker hvis du har et kompatibelt NVIDIA GPU — en prosess du vil sette pris på hvis du forstår hva CUDA-kjerner er og hvordan de forbedrer generell beregningskraft — FFProbe for mediehåndtering, og Meeting Assistant-ressurser for stemmefunksjoner. Ingen av delene krever noen inndata fra deg. Hele prosessen, fra å dobbeltklikke på installasjonsprogrammet til å se hoveddashbordet, tok meg under fem minutter.

Når AnythingLLM åpnes, er en av de første tingene den viser deg en skjerm for Databehandling og personvern — og det er verdt å lese. Den sier tydelig at modellen og samtalene dine kun er tilgjengelige på din enhet, at dokumenttekst blir innebygd privat på denne instansen ved hjelp av den innebygde AnythingLLM Embedder, og at vektorene dine lagres lokalt via LanceDB. Hvis du noen gang har sett på hva en vektordatabase er og hvordan de forbedrer AI, vil du kjenne igjen at det å holde denne komponenten helt frakoblet er en stor personverngevinst. Det finnes ingen brytere eller mulighet for å melde seg ut gjemt i innstillingene. Alt forblir lokalt som standard.

Rett etter oversikten over personvern, guider AnythingLLM deg gjennom skjermen for LLM-preferanser. Listen over støttede leverandører er lang: på sky-siden finnes OpenAI, Anthropic, Azure OpenAI, Gemini, Groq og andre. På den helt lokale siden finnes Ollama, LM Studio, LocalAI, KoboldCPP, Dell Pro AI Studio, Microsoft Foundry Local og Docker Model Runner, blant andre. Standardalternativet "AnythingLLM" inkluderer en lokal modellkjører drevet av Ollama, noe som betyr at du kan laste ned modeller som Microsofts Phi-4 (9,1 GB) eller Alibabas Qwen3 0,6B (en lett 600 MB) direkte fra appen, uten noen ekstra oppsett.

Hvis maskinen din ikke har et dedikert GPU, er det ikke noe stort problem. Å koble til Groqs API gir deg tilgang til modeller med rask inferens som Llama 3 70B nesten uten kostnad, og du trenger bare en API-nøkkel for å få det til å fungere. Du kan bytte leverandør når som helst fra innstillingene, så du sitter aldri fast med det alternativet du valgte under oppsettet. Jeg startet med den lokale leverandøren for testing — Phi-3 3.8B overrasket meg med hvor kapabel den føltes for dokument Q&A på en mellomklasse-laptop — og gikk deretter over til Groq for tyngre oppgaver der hastighet var viktigere.

Når du er satt opp, gjør AnythingLLM dine egne dokumenter om til en fokusert AI-assistent

Filene dine får snakke tilbake på en mye klarere måte

Dashbordet ønsker deg velkommen med en sjekkliste for å komme i gang og en sidemeny som allerede inneholder et standard arbeidsområde kalt «Mitt arbeidsområde.» Arbeidsområder er det sentrale organiseringskonseptet i AnythingLLM: hvert arbeidsområde er et selvstendig miljø hvor dokumentene og samtalene dine lever sammen. Tenk på hvert arbeidsområde som et eget rom: ett for kundekontrakter, et annet for intern forskning, et tredje for personlige notater. Dokumenter kan deles mellom arbeidsområder om nødvendig, men de blandes ikke med hverandre, noe som holder AIens kontekst fokusert og svarene nøyaktige.

Å få dokumenter inn i en arbeidsflate er enkelt med dra-og-slipp. AnythingLLM håndterer Word-dokumenter, ren tekstfiler, CSV-er, regneark, lydfiler og til og med PDF-er, på samme måte som NotebookLM gjør enhver PDF til en interaktiv samtale. Det er også et "Hent nettside"-felt i opplastingspanelet, så hvis du vil hente inn en nettside eller en nettressurs, limer du inn URL-en, og den skraper innholdet automatisk. Når det er lastet opp, behandler AnythingLLM hver fil gjennom sitt innebygde system, deler teksten opp i biter og lagrer vektorene lokalt. En typisk ti-siders PDF tar bare noen sekunder.

Derfra fungerer det å chatte med dokumentene dine på den måten du håper. Jeg lastet opp fem av notatene mine fra universitetsforelesninger og ba den oppsummere noen nøkkeltemaer, flagge eventuelle nevnte risikoer, og sammenligne to seksjoner jeg hadde slitt med å forene manuelt. Den håndterte alle tre uten problemer. Svarene inkluderer sitater som peker tilbake til de spesifikke dokumentseksjonene svaret ble hentet fra, så du trenger aldri å lure på om AI-en fant på noe eller faktisk fant det i filene dine. Den sporbarheten alene gjør den langt mer pålitelig enn en generell chatbot for virkelig arbeid.

Agenter og skråstrek-kommandoer driver AnythingLLM utover en smart søkeboks

Dette er delen hvor det blir virkelig interessant

AnythingLLM leveres med agentiske funksjoner som går langt utover enkel dokument-spørsmål og svar. Å skrive @agent i chatten aktiverer en AI-agent som kan utføre verktøy-relaterte oppgaver: nettsøk, grundigere forskning og handlinger på tvers av apper. Tilpassede agentferdigheter er tilgjengelige gjennom AnythingLLM Community Hub, hvor biblioteket vokser jevnt. Slash-kommando-funksjonen lar deg bygge og lagre prompt-maler for repeterende oppgaver — for eksempel å oppsummere møtenotater i et konsekvent format, utforme e-postsvar i en bestemt tone, eller hente ut spesifikke felt fra opplastede dokumenter hver gang.

Hvis du vil gå videre, finnes det en nettleserutvidelse som lar deg samhandle med AnythingLLM-instansen din fra hvilken som helst nettside, og en GPTLocalhost-integrasjon som bringer assistenten direkte inn i Microsoft Word. Team som trenger delt tilgang kan velge Docker-versjonen, som legger til støtte for flere brukere, rollebasert kontroll og white-label-løsninger. Skrivebordsappen er mer enn nok for personlig bruk, men det er godt å vite at det finnes en vei til en teamoppsett.

Velkommen til den private AI-revolusjonen (befolkning: deg)

Ved å bytte til AnythingLLM har jeg sluttet å se på AI som en tjeneste jeg leier, og begynte å se på det som et verktøy jeg eier. Dokumentene mine blir værende på min egen disk, forespørslene mine forblir private, og jeg har nå en digital assistent som faktisk kjenner min kontekst, ikke bare internett generelt.