Claude slo Gemini på en 150-siders dokumenttest, men ikke av grunnen du ville tro

Kontekstvinduet er ikke noe man tenker på når man først begynner å bruke LLM-er som Gemini eller Claude. Det påvirker egentlig ikke de fleste korte interaksjonene man har på disse plattformene heller. Dette endrer seg imidlertid når man ønsker konsekvent kildetrohet i svarene man får fra en AI-chatbot.

For eksempel, når du ønsker å analysere et komplekst essay eller et flerparts hvitt papir, blir kontekstvinduet i et AI-verktøy som Claude og Gemini spesielt nyttig. For det det er verdt, fremhever både Claude og Gemini sine store kontekstvinduer, men vi må se om disse påstandene støttes av reell ytelse.

Spørsmålet var ganske enkelt: hvordan fungerer kontekstvinduene til Claude og Gemini når de håndterer et stort dokument?

Den egentlige grunnen til at jeg bestemte meg for å kjøre denne testen

En tilbakevendende flaskehals med tette dokumenter og to konkurrerende svar

Nysgjerrighet til side, det var en personlig grunn til å finne ut hvilken av de betydelig større kontekstvinduene for Claude og Gemini som var det beste alternativet. Jeg bruker jevnlig AI-verktøy for en rekke forskningsorienterte oppgaver. For eksempel kan jeg måtte oppsummere et kapittel eller finne intratekstuelle referanser.

Selv om jeg elsker NotebookLM for dets kildepresisjon, kan jeg ikke alltid bruke det for mine vanlige forespørsler. Så naturlig nok ble Claude og Gemini mine foretrukne alternativer. Problemet er forvirringen jeg opplever når svarene fra Claude og Gemini er betydelig forskjellige, spesielt når jeg sender inn en prompt med en stor vedlegg.

Gitt at jeg håndterer tilfeller hvor jeg ikke har råd til AI-hallusinasjoner, tenkte jeg det var best å få slutt på forvirringen. I hovedsak ønsket jeg å avgjøre hvilken av de større kontekstvinduene som fungerte når det å ha hele bildet er viktig.

Hvordan jeg strukturerte sammenligningen uten å vippe oddsene

Det 150-siders dokumentet, de eksakt samme spørsmålene, og hva jeg faktisk målte

Som jeg sa, ønsket jeg å forstå hvordan både Claude og Gemini håndterer et tilstrekkelig stort dokument som kontekst. Jeg ønsket imidlertid heller ikke at de skulle vurdere en enkel fortelling. Tvert imot ønsket jeg at begge AI-verktøyene skulle håndtere et dokument med intra-tekstuelle forbindelser og flere innholdstyper, inkludert avsnitt og tabeller. Jeg bestemte meg for å bruke den detaljerte studieplanen for et masterprogram som jeg allerede var kjent med.

Det var også noen flere trinn for å unngå enhver skjevhet. Ett: Jeg bestemte meg for å stille hver AI tre spørsmål:

Et sammendragsnivå-spørsmål
En gjenfinning som krever intra-tekstuell referanse
En syntese som krever forståelse

Disse spørsmålene ble valgt på grunn av deres varierende nivåer av ferdighetskrav. Jeg sørget også for å bruke de samme promptene som Gemini og Claude. For det andre, jeg sammenlignet svarene fra Claude og Gemini med min forståelse av dokumentet det gjaldt, heller enn å gjøre en direkte sammenligning mellom AI-verktøyene. På denne måten kunne jeg påpeke hvor hvert AI-verktøy fungerte godt og hvor det var rom for forbedring.

Claude beholdt hele konteksten; Gemini begynte å miste tråder underveis

Forskjellen i atferd dukket opp på spesifikke måter

Som du kan gjette, gjorde Claude og Gemini en anstendig jobb med å svare på alle tre oppgavene, og de var også selvsikre i sine svar. Imidlertid, bortsett fra ett avsnitt, var ytelsen ikke spesielt sammenlignbar. Her er noen innsikter jeg fikk mens jeg forsøkte å forstå oppførselen til Claude og Gemini i et 150-siders dokument.

Svarene på den første forespørselen, som ba begge AI-ene sine verktøy om å oppsummere dokumentets kjerneargument, var sammenlignbare og like gode. Både Claude og Gemini ga detaljerte sammendrag av pensumet, men jeg syntes Claudes svar var litt mer detaljert. Når det er sagt, fra et troverdighetsstandpunkt, var både Claude og Gemini på et veldig godt nivå. Ting endret seg imidlertid snart.

Den andre forespørselen ba begge AI-verktøyene om å utføre intra-tekst-referanser, noe som krevde at de skulle koble to ideer fra forskjellige deler av dokumentet. Her la jeg imidlertid merke til hvordan Claude beholdt hele konteksten, mens Gemini gikk glipp av noen viktige punkter. For eksempel listet begge svarene opp flere kurs under en enkelt kategori, men Gemini gikk glipp av flere passende alternativer fra forskjellige semestre.

Den inferensbaserte prompten viste også lignende effekter. Selvfølgelig, både Claude og Gemini gjorde inferens fra teksten, men omfanget av den nevnte inferensen var et annet spørsmål. Claude inkluderte passende bevis og knyttet disse punktene sammen før han presenterte et ganske syntetisert svar. På den annen side syntes Gemini å gjenta bare den overfladiske betydningen.

Derfor, hvis du er bekymret for noe annet enn oppsummeringer, har du et valg å ta.

Hva et større kontekstvindu faktisk gir deg i praksis

Tokengrenser betyr mindre enn konsistens, og konsistens har reelle grenser

I lys av det jeg har lært fra Claude og Gemini, ønsker jeg å gjenoppta diskusjonen om token-vinduet. Til referanse har den sterkeste modellen til Googles Gemini et token-vindu på 2 millioner. Claudes modeller er derimot satt til 200 000 tokens. Dokumentet på 150 sider som jeg brukte for denne oppgaven, lå godt innenfor token-vinduet for hvert verktøy. Så jeg var egentlig ikke bekymret for at forespørselen skulle støte på en begrensning heller. Men jeg har nå fått et nytt perspektiv på hvordan konsistens betyr mer enn kontekstvinduet.

Jeg mener ikke å si at kontekstvinduet ikke betyr noe, men det er ingen vits i å reklamere for et 1-million- eller 2-million-token-vindu hvis modellen mister oppmerksomhet og responsen svekkes over tid. Dessverre skjedde dette med Gemini, som har det større kontekstvinduet av de to. Det større kontekstvinduet hjelper ikke Gemini når den gradvis går glipp av pekere fra referansedokumentet.

Til sammenligning har Claude gjort det mye bedre med henvisninger og syntese innen dokumentet. Dette har blitt gjort mer på grunn av modellens oppmerksomhetsspenn enn utelukkende på grunn av kontekstvinduet.

Geminis 1M/2M tokens vindu betyr fortsatt noe

La oss si det, la oss ikke tro at det større kontekstvinduet til Gemini ikke betyr noe i det hele tatt. Det er tider når du må øke konteksten med to eller ti ganger, og det er her de 1 million tokens hjelper deg.

Du kan ha et antall dokumenter på 200 sider eller en veldig omfattende rapport som trenger å bli analysert. Dette er hvor Gemini kommer til å hjelpe. Selvfølgelig vil du få et bedre svar fra Gemini når du bruker det til visse oppgaver, som oppsummering, raske oppslag eller å finne sammenhengen mellom forskjellige dokumenter, i stedet for å dykke dypt inn i ett.