Meta je predstavila sljedeću generaciju svojih AI modela Llama 3 8B i 70B
Meta je najavila Llama 3, sljedeću veliku verziju svog osnovnog AI modela otvorenog koda. Meta tvrdi da Llama 3 nadmašuje konkurentske modele u svojoj klasi u ključnim metrikama i da je bolji u svim zadacima kao što je kodiranje. Dva manja modela Llame 3 (8B i 70B) su puštena u prodaju, kako u Meta AI asistentu, tako i za spoljne programere, dok mnogo veća, multimodalna verzija dolazi u narednim mjesecima.
Llama 3 dolazi sa poboljšanim mogućnostima u odnosu na svog prethodnika, a kompanija je usvojila nove metode obuke kako bi optimizovala efikasnost modela.
„Bilo da razvijate agente ili druge aplikacije koje pokreće vještačka inteligencija, Llama 3 u 8B i 70B će ponuditi mogućnosti i fleksibilnost koje su vam potrebne za razvoj vaših ideja“, saopštila je Meta.
Llame 3 se ističe u jezičkim nijansama, kontekstualnom razumijevanju i složenim zadacima kao što su prevođenje i generisanje dijaloga. Uz poboljšanu skalabilnost i performanse, Llama 3 može bez napora da se nosi sa zadacima u više koraka, dok procesi nakon obuke značajno smanjuju stopu lažnih odbijanja, poboljšavaju usklađenost odgovora i povećavaju raznolikost u odgovorima modela. Pored toga, drastično podiže mogućnosti kao što su rezonovanje, generisanje koda i praćenje instrukcija.
Performanse i arhitektura
Novi modeli 8B i 70B parametara Llama 3 predstavljaju veliki skok u odnosu na Llama 2 i uspostavljaju novo stanje tehnike za LLM modele u tim razmjerama. Zahvaljujući poboljšanjima u pre-treningu i post-treningu, Metini unaprijed obučeni i fino podešeni modeli su najbolji modeli koji danas postoje na skali parametara 8B i 70B.
Za referencu, unaprijeed je obučen opšti konverzacijski AI, dok su modeli instrukcija usmjereni na izvršavanje specifičnih zadataka. Unaprijed obučeni model Llama 3 70B nadmašio je Google Gemini 1.0 Pro u MMLU (79.5 vs 71.8), BIG-Bench Hard (81.3 vs 75.0) i DROP (79.7 vs 74.1), gdje je model 70B nadmašio Gemi Instruct 1.5 Pro model u MMLU, HumanEval i GSM-8K referentnim vrijednostima, na osnovu podataka koje dijeli kompanija.
Meta se odlučila za transformatorsku arhitekturu samo dekodera za nove AI modele, ali je napravila nekoliko poboljšanja u odnosu na prethodnika. Llama 3 sada koristi tokenizer sa vokabularom od 128.000 tokena, a kompanija je usvojila grupnu pažnju na upite (GQA) kako bi poboljšala efikasnost zaključivanja. GQA pomaže u poboljšanju pažnje AI tako da se ne kreće izvan svog određenog konteksta kada odgovara na upite. meta je unaprijed obučila modele sa više od 15T tokena, za koje tvrdi da su dobili iz javno dostupnih podataka.
Dostupnost
Oni koji su zainteresovani da isprobaju nove modele vještačke inteligencije imaju sreće jer Meta sa Llama 3 koristi pristup koji je prvi u zajednici. Novi osnovni modeli će biti otvorenog koda kao i prethodni modeli.
Meta je u svom blog postu navela: „Llama 3 modeli će uskoro biti dostupni na AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM i Snowflake, i uz podršku hardverskih platformi koje nudi AMD, AWS, Dell, Intel, NVIDIA i Qualcomm.”
Lista uključuje sve glavne platforme u oblaku, hostingu i hardveru, što bi entuzijastima trebalo olakšati da se dočepaju AI modela. Meta je takođe integrisala Llama 3 sa vlastitim Meta AI kojem se može pristupiti putem Facebook Messenger-a, Instagrama i WhatsApp-a u podržanim zemljama.
Iako je do sada bio dostupan samo u SAD-u, Meta AI je sada na engleskom jeziku u Australiji, Kanadi, Gani, Jamajci, Malaviju, Novom Zelandu, Nigeriji, Pakistanu, Singapuru, Južnoj Africi, Ugandi, Zambiji i Zimbabve, sa više zemalja i jezika koji dolaze. Daleko je od Zakerbergovog mišljenja o istinski globalnom AI asistentu, ali ovo šire izdanje približava Meta AI tome da konačno dosetigne više od 3 milijarde korisnika kompanije dnevno.
(IT mixer)
