Vi testet ChatGPT Atlas og Perplexity Comet på virkelige oppgaver — den ene knuste den andre

AI-nettlesere. Tilsynelatende er de fremtiden for nettet. Salgsargumentet går omtrent slik: nettsider vil slutte å bli designet for mennesker og begynne å bli designet for AI-agenter i stedet, med rene strukturer, forutsigbare knapper og maskinlesbar intensjon. Du vil ikke surfe lenger. Du vil gi instruksjoner. Agenten vil skanne, klikke, sammenligne og ta beslutninger på dine vegne. Den fremtiden kan kanskje komme en dag. Akkurat nå er vi langt fra der.

To av de mest fremtredende forsøkene på denne agent-lignende nettleseridéen er Perplexitys Comet og OpenAIs Atlas. Begge lover å handle på dine vegne inne i nettleseren. Så vi testet dem side om side, med de samme promptene, på de samme nettstedene, med de samme begrensningene. Hvilken fungerer best? Kort sagt: de er ikke like. Den ene presterer konsekvent bedre, raskere og med færre selvpåførte problemer.

Handle etter solbriller

Sjelden slipp, tvilsom passform

Oppgaven var enkel, men realistisk. Jeg lastet opp et bilde av et par solbriller og ba agenten om å finne lignende produkter på en nettbutikk. Begrensningene var tydelige: anerkjent merke, minst 4‑stjerners vurdering fra 500 eller flere anmeldelser, under 100 dollar, og tre konkrete alternativer med lenker og priser.

Atlas gikk først og fullførte oppgaven på 1:58. Atlas analyserte bildet, genererte en tekstbeskrivelse av solbrillene, og brukte den beskrivelsen til å søke på Amazon. Den returnerte tre produktlenker, som forespurt. På overflaten så dette ut som en suksess. Men ved nærmere ettersyn falt det fra hverandre. To av de tre lenkene var defekte. Å søke etter produktnavnene manuelt viste at ingen av dem var spesielt nær de originale brillene på bildet. Atlas fullførte arbeidsflyten, men vurderingslaget var svakt.

Comet fulgte etter. Den ble ikke ferdig, og jeg måtte avbryte den kl. 5:00. Mens Atlas analyserte bildet og handlet ut fra den forståelsen, så det ut til at Comet mistet handlingen helt. Den satt fast i Amazons uendelige scroll, og lastet gjentatte ganger flere varer uten å nærme seg noe nyttig. Den fortsatte til jeg ba den stoppe ved femminuttersmerket. I stedet for å identifisere produkter, produserte Comet lenker til Amazons søkeresultatsider i stedet for individuelle oppføringer. Manuell inspeksjon av disse resultatene viste at ingen av produktene på noen måte lignet referansebildet.

Regnearkanalyse og diagrammer

Tall krever respekt

Neste, en produktivitetsoppgave. Ved å bruke et allerede åpent regneark, måtte agenten oppsummere dataene, velge riktig diagramtype for å vise forholdet mellom vekt, hestekrefter og 0-100 akselerasjon, og deretter faktisk lage diagrammet.

Atlas fullførte oppgaven på 2:13. Den valgte et boblediagram, kartla X- og Y-aksene korrekt, og satte boblestørrelsen riktig. Interessant nok stoppet ikke Atlas da diagrammet dukket opp. Den la merke til at diagrammet blokkerte eksisterende data og forsøkte å flytte det. Det forsøket gikk dårlig. Den brukte nesten ett minutt på å prøve å omplassere diagrammet, ble forvirret, og ga til slutt opp — men ikke før den bestemte seg for å flytte diagrammet til et nytt ark i stedet. Den beslutningen var merkelig menneskelig. Det endelige resultatet var ryddig, lesbart og nøyaktig.

Comet fullførte oppgaven på 4:05. Den valgte også et boblediagram, som var det riktige valget. Imidlertid lot den alle datamerkene være aktivert, noe som gjorde diagrammet nesten uleselig. Selv om den hevdet å sette boblestørrelse basert på vekt, var størrelsesfeltet i realiteten tomt — alle boblene så like ut. Mye av forsinkelsen skyldtes at Comet hadde problemer med å velge de riktige kolonnene i regnearket. Den fullførte teknisk sett oppgaven, men resultatet krevde manuell opprydding for å være brukbart.

Følge opp med et møte

Kalendermagi, for det meste

Denne oppgaven testet koordinering over flere trinn på tvers av tjenester. Agenten måtte opprette en Google Kalender-hendelse for neste dag kl. 09:00, gi den et passende navn, legge ved regnearket som ble diskutert, skrive en kort beskrivelse som forklarer regnearket, og deretter bekrefte at hendelsen ble opprettet.

Atlas fullførte på 2:48. Den åpnet Google Kalender i en ny fane, opprettet en hendelse på riktig tidspunkt, og ga den navnet «Cars & Specs Discussion.» Den åpnet vedleggs-panelet, fant regnearket i Google Drive, la det ved, skrev en kort beskrivelse, og lagret hendelsen. Alt fungerte som forventet, fra start til slutt.

Comet fullførte på 2:53. Den fulgte en lignende flyt, og navnga arrangementet «Bilmotorer og Spesifikasjonsgjennomgang». Den skrev en beskrivelse med punktlister, noe som ikke var forespurt, men heller ikke skadelig. Imidlertid, i stedet for å legge ved filen direkte, limte den inn en lenke til regnearket i beskrivelsen. Oppgaven var teknisk sett fullført, men litt mindre polert.

E-postoppsummering

Triage under press

Målet her var triage. Agenten måtte se på innboksen min, oppsummere de siste 15 uleste e-postene som ikke var automatiske varsler, gruppere dem etter tema eller avsender, merke alt som haster, og liste opp foreslåtte handlinger.

Atlas fullførte oppgaven på 2:18. Den brukte en brute-force-tilnærming, og klikket seg gjennom uleste e-poster én etter én. Det frustrerende var at den ville identifisere en e-post som automatisk, for så å åpne en annen e-post fra samme avsender med samme emne — tilsynelatende uten å være klar over at denne også måtte være automatisk. Bortsett fra denne ineffektiviteten var den endelige oppsummeringen kortfattet og lett å lese, og den føltes faktisk som en oppsummering snarere enn en dump av informasjon.

Comet fullførte oppgaven på 4:43. Den begynte med å velge alle e-poster, brukte deretter et helt minutt på å finne ut hvordan den skulle fjerne valget. Den søkte etter `is:unread`, ble overveldet av antallet uleste Asana-e-poster, prøvde å filtrere dem ut, og innså deretter at Asana ikke var den eneste automatiserte avsenderen. Til slutt ga den opp filtreringen helt og begynte å åpne e-poster manuelt — og markerte dem som lest i prosessen. Den stoppet tidlig, og deretter produserte den en oppsummering dominert av de automatiserte e-postene jeg uttrykkelig hadde bedt den om å utelukke.

Legge til en bok på Goodreads

En klar seier

Dette var den enkleste oppgaven: å legge en spesifikk bok til min «Vil lese»-liste på Goodreads.

Atlas fullførte på 0:54. Den søkte først med hele tittelen og forfatternavnet, noe som ga studieguider i stedet for selve boken. Den prøvde deretter den nøyaktige tittelen uten hell, før den til slutt søkte bare på «Neuromancer», fant riktig oppføring og la den til listen. Litt omstendelig, men effektivt.

Comet fullførte på 0:59. Den åpnet Goodreads, søkte etter «Neuromancer», valgte det første resultatet og la det til. Færre feiltrinn enn Atlas, men det tok fortsatt litt lengre tid. Mønsteret var kjent nå: Comets handlinger i seg selv er trege, uavhengig av om resonnementet er fornuftig.

Perplexity gjorde det først, men OpenAI gjør det bedre

Tidlig tilgang, sen utførelse

Comet var en av de første agentbaserte AI-nettleserne. Jeg liker ikke det begrepet — det føles som bedriftsprat som skjuler seg som innovasjon — men det er kategorien vi må forholde oss til. I sin nåværende form er disse agentene sterkt begrenset. De kan utføre oppgaver, men i de fleste tilfeller vil du være raskere og mindre frustrert ved å gjøre arbeidet selv.

Selv når en agent teknisk sett sparer tid, kansellerer ofte overhenget ved å skrive en presis prompt det ut. Jeg kunne ha laget boblediagrammet manuelt på under ti sekunder. Det var ikke én eneste oppgave her som verken Atlas eller Comet fullførte på under 50 sekunder. Å legge til en bok på Goodreads kommer nær, men jeg ville ha lagt den til manuelt på fem sekunder.

De er interessante som eksperimenter, og overbevisende som ideer, men de er ikke klare ennå. Mellom de to er OpenAIs Atlas den tydelige vinneren — ikke fordi den er perfekt, men fordi den feiler mindre katastrofalt, kommer seg mer elegant, og gir resultater som oftere ligner det du faktisk ba om. Dette er ikke framtiden for surfing på nettet ennå. Men det er nærmere.