Jeg bygde en privat LLM på min hjemme-PC ved å bruke en USB-stasjon — den vet bare det jeg har lagt inn på den

Når du legger inn sensitiv kode eller forskning i en skybasert AI, mister du kontroll over hvor den informasjonen reiser. Det kan virke som en liten pris å betale for bekvemmeligheten av en smart assistent, men du overgir i praksis dataene dine til servere du ikke eier. Det er en risiko de fleste aksepterer uten å tenke seg om. Du trenger imidlertid ikke å velge mellom avanserte språkmodeller og sikkerheten til dine egne private filer; bare bytt til en lokal LLM.

Personvernsrisikoer ved skybehandling

Dine data er aldri så trygge som du tror når du bruker skyen

Når du sender personlige spørsmål og kodesnutter til en ekstern server, sender du din private tekst, intellektuelle eiendom og sensitive opplysninger over internett til datamaskiner eid av noen andre. Det er lett å glemme det fordi det føles som om det er din egen hjemme-PC.

Å kjøre oppgavene dine gjennom disse sentraliserte sky-systemene skaper store risikoer for personvernet og kontrollen over dataene dine. Eksterne selskaper behandler din private informasjon på maskiner du ikke administrerer, noe som utgjør en massiv sikkerhetssårbarhet.

Siden dataene dine kan bli delt med eksterne partnere innenfor disse nettverkene, er informasjonen din bare så sikker som det svakeste leddet i kjeden. Noen store skyleverandører beholder forespørslene og resultatene dine selv når du slår av historikksporing. Disse dataene kan bli lagret i omtrent 72 timer for å håndtere systemgjenoppretting, og de kan bli værende på eksterne servere i opptil tre år hvis de blir merket for menneskelig gjennomgang eller trening.

Mens du kanskje prøver å beskytte personvernet ditt ved å velge bort datatraining, tvinger leverandørene vanligvis frem en avveining ved å deaktivere viktige funksjoner eller ødelegge appfunksjoner. Dette betyr at ekte personvern i skyen vanligvis krever at du gir opp disse funksjonene, og etterlater dataene dine utsatt med mindre du aksepterer en ødelagt opplevelse.

Deretter er det treningen som AI må gjennomgå. Dine spørsmål og bruk er perfekte for å trene AI-en. Siden generativ AI er en integrert del av hvordan teknologien fungerer, er det umulig å garantere at dataene dine noen gang vil bli fullstendig slettet når de først kommer inn i systemet.

Kjøre lokale modeller med ekstern lagring

Du kan bære hele ditt kunstige intelligensoppsett i lommen

Å bygge din egen private, offline AI starter med å laste ned programvare som kjører åpen kildekode språkmodeller direkte på datamaskinens prosessor. Jeg liker GPT4All fordi det har få krav og gir deg et skrivebords chat-vindu som fungerer uten internettforbindelse. Ved å bruke komprimerte modellfiler GGUF for å spare plass og minne, kan du kjøre disse modellene på vanlige datamaskinprosessorer og grafikkort.

Siden alt kjører lokalt på din egen maskin, reiser aldri spørsmålene og dataene dine til en skytjeneste, noe som holder dataene dine private. Du kan til og med blokkere programvaren fra å bruke nettverket ditt helt, og sikre at den aldri prøver å koble til internett eller lekke data.

GPT4All lar deg også sette opp modellen din med regler og treningsdata. Du må ha et lagringsområde klart. Jeg liker å bruke en 1TB USB-stasjon.

Gå bare til Chatter, og så vil du se en LocalDocs-knapp på høyre side. Derfra kan du legge til hva du vil, bare sørg for at du allerede har en mappe med dokumenter i. Jeg bruker noen ganger mine egne dokumenter, men jeg har også en på USB-en jeg nevnte tidligere, så jeg kan bare gå mellom PC-er uten å måtte gjøre det på nytt.

Jeg liker å teste det mot de dårligste spørsmålene jeg kan tenke meg. Selv om det virker dumt i begynnelsen, trener du det til å gjenskape fiasko. Hvis du bare trener det på ting det vil gjøre bra, fikser du det egentlig ikke. AIs fungerer bedre når de får begrensninger, og du kan bruke korrigeringene du må gi som dokumenter som bygger opp disse begrensningene.

Sørg for å oppdatere dette over tid; du trener det egentlig ikke. Denne delen tar litt tid, men du vil begynne å merke hvor mye bedre det fungerer etter hvert som du legger til flere dokumenter.

Dette er begrenset av hvor kraftig PC-en din er, fordi det krever mye mer prosessorkraft å lese gjennom alle dokumentene dine. Antallet dokumenter spiller ikke så stor rolle som størrelsen og innholdet. Jeg liker å sortere dem fordi det gjør det enkelt å finne de du vil endre eller slette, men du kan beholde dem samlet hvis det er lettest.

Du kan fortsatt bruke USB-en din til andre ting. Jeg bruker min til mange andre ting, men den ene mappen er bare for AI-en. Jeg anbefaler å ha en ekstra gigabyte, i tilfelle du vil lage en karakter eller en virkelig komplisert AI.

Sikker og kapabel lokal ytelse

Du trenger ikke å ofre hastighet for å forbli privat

En av de mest vedvarende mytene om AI er at du mister all ytelse hvis du nekter å koble til en ekstern skyløsning. Vi har gått langt forbi de tidlige dagene da AI krevde dyre oppsett. En USB er ganske rimelig, og du har sannsynligvis en liggende.

Min allround-PC er eldre, og den skriver fortsatt ut ting omtrent like raskt som jeg kan lese dem. Så det er ikke langvarig eller tidkrevende når den først begynner å skrive. Jeg vil si at den lengste tiden er å samle all informasjon før den begynner. Selv da er det ikke en lang ventetid.

Bare sørg for at modellen du velger er en GGUF eller en AWQ. Filstørrelsene på disse er redusert med opptil 75 %, samtidig som de beholder 95 % til 99 % av den opprinnelige modellens nøyaktighet og logikk. Selv med alt den gjør, trenger du ikke internett i det hele tatt.

Tren din egen AI

Å flytte AI-oppsettet ditt til en lokal stasjon på hjemme-PCen er en stor endring. Det krever litt teknisk oppsett for å holde filbaner statiske, og du er ansvarlig for å vedlikeholde din egen maskinvare og sikkerhetskopier. Hvis du liker å bruke den enorme skalaen til toppnivå skytilbydere for komplekse oppgaver, kan en lokal modell føles som et helt annet verktøy. Likevel, for alle som ønsker å analysere proprietær kode eller private dokumenter uten å la et selskap høste dataene deres, er dette en bedre måte å gå frem på.