Jeg prøvde en forkortet lokal LLM, og det føles helt annerledes enn de andre
Lokale LLM-er er flotte for personvern; de kjører lokalt og krever ingen abonnement. Det vil si, helt til du innser at de har de samme problemene som deres skybaserte motparter: ekstremt begrensede sikkerhetstiltak. Sikkerhetstiltak på nettet er én ting, men hvis du kjører AI-modellen din lokalt, bør det være lett å omgå dem, ikke sant?
Det viser seg at det faktisk er det. Hvis du noen gang har gått ned i den lokale LLM-kaninhullet, må du ha kommet over avskrevne modeller. Lokale LLM-er har allerede gjort skyløsninger utdaterte for visse oppgaver, og når du først kjører dem uten begrensninger, vil du aldri se på vanlige modeller på samme måte.
Hva ablitererte LLM-er faktisk er
Nedstrippede modeller med fjernede sikkerhetsrekkverk
AI-modeller går gjennom en prosess som kalles RLHF eller forsterket læring fra menneskelig tilbakemelding før lansering. Denne prosessen trener modellen til å avslå forespørsler den anser som skadelige eller sensitive. Modellen lærer en spesifikk retning i aktiveringsrommet sitt som lærer den hvilke forespørsler den skal avslå, og implementerer dermed sikkerhetsmekanismer som forhindrer misbruk når den brukes i nettbaserte tjenester.
Men denne nektelsesatferden er ikke spredt tilfeldig over modellens vekter; den er konsentrert rundt en enkelt, identifiserbar vektor i dens residualstrøm. Ablasjon er prosessen med å fjerne den vektoren, ikke ved å trene eller finjustere treningsdataene, men ved å matematisk omjustere (kalt ortogonaliseringsmessig på teknisk språk) modellens eksisterende vekter slik at nektelsesretningen rett og slett ikke kan fungere lenger.
På folkets språk har din standard LLM en mentalt nødutgang den kan ta når den møter en forespørsel som anses som skadelig. Ablasjon fjerner fysisk den nødutgangen fra kartet, noe som betyr at modellen bare går gjennom prompten din uansett, uten noen endring i treningsdataene. Det finnes allerede interessante måter å bruke en lokal LLM med MCP-verktøy på, men å bruke en ablasjonert LLM åpner helt nye bruksområder som rett og slett ikke er mulig med vanlige modeller.
Å velge riktig modell er viktig
Ikke alle lokale LLM-er oppfører seg på samme måte
Det finnes dusinvis av ablitererte modeller som flyter rundt på Hugging Face som du kan laste ned og prøve, inkludert Llama, Qwen, Gemma, Mistral og flere. Jeg bestemte meg for å prøve mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated, en 8B-modell basert på Metas Llama 3.1 Instruct-arkitektur med avslagsretningen fjernet via vektortogonalisering. Den kjører komfortabelt i omtrent hvilken som helst lokal LLM-app, inkludert LM Studio og Ollama, på en maskin med mellomkategori og 8 GB VRAM, spesielt i GGUF Q4- eller Q5-kvantisering.
Grunnen til at jeg valgte denne spesifikke modellen over alternativer som Gemma eller Qwen er pålitelighet. Fellestesting av utslettede Gemma 3-modeller har vært vekslende, med testere på Reddit som rapporterer meningsløse utdata og modeller som slutter å fungere etter noen få tokens. Llama 3.1-versjonen har et mye mer stabilt rykte, laster rent ved bruk av standard Llama 3 chat-oppsett, og svarer som forventet så snart du begynner å snakke med den.
Husk at ablitere modeller er forskjellige fra tradisjonelle usensurerte modeller som Dolphin-serien. Dolphin oppnår sin åpenhet gjennom finjustering av treningsdatasettet sitt - det er betinget til ikke å avslå. En ablitert modell har ikke den treningen. I stedet har avslagsmekanismen rett og slett blitt fjernet på vekt-nivå etter trening.
Ingen er strengt tatt bedre, heller. Dolphin-modeller har en tendens til å være mer stabile og polerte for daglig bruk, mens ablitererte modeller er nærmere den opprinnelige modellens grunnpersonlighet, bare uten noen begrensninger.
Min første samtale føltes annerledes
Ingen filtre, ingen dytt, bare rå svar
Å laste en ablitert modell er ikke annerledes enn din vanlige. Samme grensesnitt, samme kontekstvindu, samme strøm av tokens som vises på skjermen. Men når du spør om noe som ville få en vanlig modell til å skynde seg mot sikkerhetstiltakene sine, svarer en ablitert modell rett og slett.
For eksempel, når jeg spurte hvordan man kan hacke et Wi-Fi-nettverk, sa den vanlige Llama 3.1 rett og slett at den ikke kunne hjelpe meg. Den avkortede versjonen, derimot, svarte med en liste over metoder jeg kunne bruke, verktøyene jeg ville trenge, og en trinn-for-trinn-guide å følge—alt mens den fortsatt ga en advarsel om at hacking av et Wi-Fi-nettverk er ulovlig uten tillatelse, og at jeg burde innhente samtykke før jeg forsøkte et angrep.
Den tonale endringen er vanskelig å beskrive før du opplever det selv. De fleste LLM-er for forbrukere har en veldig spesifikk samtaletone. Den er litt formell, og blir raskt nervøs når du nærmer deg et sensitivt tema. Selv om de kan hjelpe, vil du få mange advarsler og forbehold som prøver å overbevise deg om å ikke gjennomføre oppgaven. En forkortet modell har ingen av de. Samtalen flyter annerledes på den måten at det faktisk føles som om du utveksler ideer med noen som faktisk er engasjert, i stedet for å snakke med en nedtonet kundeservice-chatbot.
Du kan gå steder andre modeller ikke vil
Friheten og risikoene ved ingen begrensninger
Bortsett fra å fjerne sikkerhetsrekkverkene deres, har modeller som er utslettet ofte en helt annen kvalitet i samtalene sine. Det viser seg på mer enn en måte.
For det første bruker standard instruksjonsmodeller kognitive ressurser fordi modellen konstant overvåker seg selv. Hvert svar reflekterer subtilt en modell som samtidig prøver å svare deg og prøver å ikke si noe feil. Dette doble målet kan smitte over på modellens tone, setningsstruktur og generelle selvtillit.
Den ablaterte modellen tviler derimot ikke på seg selv. For eksempel, da jeg ba den om å skrive en moralsk tvetydig fiktiv karakter, skrev den bare en, uten å mildne karakteren senere for å gjøre den mer normal. Hvis noe er dårlig, forteller modellen deg tydelig det. Den spiller ikke på diplomati eller tar hensyn til hva andre måtte mene. Hvis du ber om en vurdering, får du en ærlig en, uten at modellen prøver å spille på begge sider.
Kompromisset her er at ablatering kan forårsake et fall i benchmark-ytelse. MMLU-poeng, resonnementoppgaver og sammenheng i komplekse agentiske arbeidsflyter kan bli påvirket. Llama 3.1 8B-ablaterte modellen jeg testet, tar opp dette via en påfølgende DPI fininnstillingsrunde som gjenvinner tapt ytelse, men du taper fortsatt sammenlignet med en vanlig LLM.
I lekmannstermer, sammenlignet med en full modell, kan forkortede LLM-er glemme instruksjoner underveis, slite med flertrinns resonnering, raskt miste kontekst, feile på oppgaver med mange begrensninger, og hallusinere oftere. Hvis du lar AI-modellen din kjøre fritt, må du også akseptere dens skjevheter og svakheter.
Så er det egentlig verdt det?
Når lokal, ufiltrert AI gir mening (og når det ikke gjør det)
Abliterte modeller er ikke for alle, og de prøver heller ikke å være det. De er for mennesker som ønsker en lokal assistent som opererer med full tillit og uten foreldrekontroller, redaksjonelle inngrep og sikkerhetsforanstaltninger som bestemmer hva du har lov til å spørre om i privat på din egen maskin.
For forskere, forfattere og utviklere som bygger verktøy som trenger direkte svar, eller for alle som bare er lei av den uopphørlige forsiktigheten som mainstream AI-verktøy viser, er en avlitret modell veien å gå. For alt annet er vanlige AI-modeller og verktøy fremdeles overlegne.
Når det er sagt, når du først har snakket med en ødelagt modell, vil det å gå tilbake til en standardmodell føles begrensende, selv om sistnevnte teknisk sett kan være bedre. Du vil få svaret, bare ikke modellens personlighet.