Meta avslører Llama-3 – Vi setter den nye topp åpen kildekode AI-modellen på prøve

Meta har sluppet Llama 3, den mest avanserte store språkmodellen med åpen kildekode som er tilgjengelig for øyeblikket. Den bygger på grunnlaget lagt av forgjengeren, Llama 2, og kom som en overraskelse med tanke på at ryktene antydet at utgivelsen ville skje neste måned.

Med sine åpen kildekode-røtter var Llama-2 medvirkende til den samtidige utviklingen av andre kraftige modeller som Mixtral, Alpakka, Vicuna og WizardLM. Nå lover Llama-3 å ta disse egenskapene enda lenger, og tilby funksjonalitet som kan sammenlignes med OpenAIs nåværende flaggskip AI-modell GPT-4.

Meta hyllet torsdagens utgivelse som "den neste generasjonen av vår toppmoderne åpen kildekode-modell for store språk." Så sikker er teknologigiganten i sine evner, Llama 3 driver Meta AI, som igjen ble lagt til nesten alle selskapets enormt populære apper: Instagram, Facebook og WhatsApp. Den har blitt gjort tilgjengelig i utvalgte land, men brukere i andre regioner kan få tilgang til den via VPN.

Meta AIs Chatbot-grensesnitt kan sammenlignes med ChatGPT Plus – og det er gratis.

"Vi oppgraderer Meta AI med vår nye toppmoderne Llama 3 AI-modell, som vi åpner for," sa Mark Zuckerberg i et Facebook-innlegg. "Med denne nye modellen tror vi at Meta AI nå er den mest intelligente AI-assistenten du fritt kan bruke."

dekryptere var i stand til å teste den nye AI og fant ut at den var like dyktig som ChatGPT-Plus uten et betalt abonnement. Den kan generere bilder og animasjoner, produsere kode og gi sammenhengende, kontekstuelt relevante svar. Den nye chatboten kan også få tilgang til internett, men den er fortsatt ingen match mot mulighetene til spesialiserte løsninger som Perplexity.

Den eneste ulempen er kanskje at Llama-3s nåværende kontekstvindu er begrenset til 8K-tokens - rundt 6,000 ord.

Meta ga ut en 70-milliarder parameter Llama-3-modell, men å bruke den ville kreve stor datakraft – sannsynligvis et helt rack med GPUer. I følge syntetiske benchmarks slår denne modellen Gemini 1.5 Pro og Claude 3 Sonnet.

Det er også en 8-milliarder parametermodell tilgjengelig, som kan kjøres lokalt på forbruker-grade GPUer. Denne slår Googles Gemma og Mistral 7B i forskjellige syntetiske benchmarks. Modellen er ennå ikke oppført i LLM Arena, så det er ingen subjektiv ELO-score å rapportere ennå.

Begge modellene kan også kjøres i skyforekomster til lavere kostnad.

"Vi er dedikerte til å utvikle Llama 3 på en ansvarlig måte, og vi tilbyr ulike ressurser for å hjelpe andre å bruke den på en ansvarlig måte også," sa Meta. Dette inkluderer introduksjonen av nye tillits- og sikkerhetsverktøy som Llama Guard 2, Code Shield og CyberSec Eval 2.

I løpet av de kommende månedene sier Meta at de planlegger å introdusere nye funksjoner, lengre kontekstvinduer, flere modellstørrelser og forbedret ytelse. Llama 3-forskningsoppgaven vil også bli delt.

“Meta AI, bygget med Llama 3-teknologi, er nå en av verdens ledende AI-assistenter som kan øke intelligensen din og lette belastningen – hjelper deg å lære, få ting gjort, lage innhold og koble til for å få mest mulig ut av hvert øyeblikk ", sa Meta.

Meta la til at den også trener opp en massiv 400-milliarder parametermodell, som forventes å bli utgitt senere i år. Denne modellen – sannsynligvis sammenlignbar med Claude Opus eller den nyeste versjonen av GPT-4.5 – kan være den kraftigste åpen kildekode-modellen til dags dato. Hvis historien gjentar seg selv, vil den også tjene som en base for en ny generasjon finjusterte modeller som vil slå Llama-3 i generell kvalitet – og vil øke konkurransen mot de ledende nærkildemodellene.

Å ri på lamaen

dekryptere testet Llama-3 inne i Meta AI for å se om den var like god som Zuck sier. Kort sagt, Llama-3 har introdusert en rekke bemerkelsesverdige funksjoner og muligheter og bør være en flott grunnleggende modell som åpen kildekode-fellesskapet kan iterere.

Innholdsmoderering

Llama-3 viser et sterkt engasjement for innholdsmoderering. Den nektet konsekvent å generere skadelig raseinnhold, selv når den ble møtt med vanlige jailbreak-teknikker.

For eksempel, da modellen ble spurt om instruksjoner om hvordan man kan forføre en kvinne, ga den generiske, men nyttige svar. Men da modellen ble spurt om instruksjoner om hvordan man kunne forføre kona til en bestevenn, nektet modellen bestemt å gi et svar.

Bilder og animasjon

I likhet med ChatGPT-Plus er Meta AI med Llama-3 i stand til å generere bilder. Det tar imidlertid denne muligheten et skritt videre ved å tilby muligheten til å animere dem - en funksjon som ikke er tilgjengelig i ChatGPT eller Gemini.

Bildene som genereres av Meta AI med Llama-3 er mer realistiske enn de som produseres av Dalle-3, men de kommer til kort med kvaliteten på bildene generert av Googles kommende ImageFX.

Kodefunksjoner

Llama-3 har vist seg svært dyktig i koding. Når den ble presentert med en unik og dårlig forklart spillidé, var modellen i stand til å generere den nødvendige Python-koden i to forsøk, noe som resulterte i et funksjonelt spill. Det første skuddet ga oss en grov idé om hvordan vi skulle lage spillet, men det skapte fungerende kode etter at vi avklarte at vi trengte det i Python.

Spillet var funksjonelt, men savnet noen få mindre detaljer, som å starte på nytt etter at en spiller har vunnet. Det samme skjedde med andre chatbots.

Vi har funnet ut at Claude 3 Sonnet er det beste verktøyet for denne oppgaven, etterfulgt av Llama 3. GPT-4 faller til tredjeplass. Imidlertid kan forskjellige brukere få forskjellige resultater.

Her er en pastebin med kildekodene generert av Llama3, Claude og ChatGPT for de som er interessert i å teste dem ut.

Politisk nøytralitet

Modellen tar sikte på politisk nøytralitet, noe dens svar på spørsmål om kapitalisme og kommunisme viser. Svarene var strukturelt like, og ga en introduksjon, fordeler og ulemper for hvert system.

Dette nøytralitetsmønsteret ble også observert i svar på spørsmål som "Hva er en mann?" og "Hva er en kvinne?"

Likevel er svarene litt pro-kapitalisme og venstreorienterte, noe som ikke er overraskende ettersom det er den vanligste politiske tendensen blant store språkmodeller.

Logisk resonnement

Llama-3 har vist kraftige logiske resonneringsevner. Når den ble testet med komplekse LSAT-spørsmål som ofte forvirrer brukere, ga modellen ikke bare riktige svar, men ga også klare og fornuftige forklaringer.

Langvarige grenser

Til tross for sine mange styrker, sliter Llama-3 med lange oppfordringer. Da modellen ble presentert med en lang forespørsel på rundt halvannen side med kontekst – som kan inntas av modeller som GPT-4, Claude eller Mistral – returnerte modellen en feilmelding.

Språkforståelse

Modellen viser en sterk forståelse av ulike språk. Da de ble bedt om å oversette et spansk slagord, ga det ikke bare en nøyaktig oversettelse, men tilbød også kontekst for å bedre forstå slagordet.

konklusjonen

Som et chatbot-grensesnitt kan Meta AI (som er drevet av Llama3) konkurrere mot ChatGPT Plus og er et generelt godt valg.

På et mer teknisk nivå er LLama3 som LLM god nok til å konkurrere mot GPT-4 i forskjellige scenarier, og taper bare når det gjelder token-kontekstfunksjoner og Retrieval Augmented Generations (som i utgangspunktet trekker informasjon fra et spesifikt datasett gitt av brukeren). Dette kan være viktig for teknisk kunnskapsrike brukere, men er kanskje ikke en stor sak for den vanlige personen.

Hvis du primært bruker ChatGPT til å generere bilder med Dall-E, kan det være lurt å vurdere å kansellere abonnementet, siden Llama-3s bilde- og animasjonsgenereringsmuligheter er sammenlignbare. Men hvis du også trenger støtte for lange meldinger, er kanskje ikke Llama-3 det beste valget for deg, og du vil kanskje vurdere å holde deg til ChatGPT-Plus.

Enkelte brukere kan oppleve at Llama-3 oppfyller deres behov uten å kreve et betalt medlemskap.

For oppgaver som krever tung internettforskning, kan ChatGPT Plus eller Perplexity være mer egnet.

Til slutt, hvis fokuset ditt er på koding, kan Llama-3 være et godt alternativ, selv om det er andre spesialiserte verktøy tilgjengelig. Det faktum at Llama-3 er gratis er en betydelig fordel.

Redigert av Ryan Ozawa.