„Facebook“ patronuojanti bendrovė „Meta“ antradienį paskelbė apie „Llama 3.1“ atvirojo kodo didelės kalbos modelio išleidimą. Naujasis LLM bus prieinamas trijų dydžių – 8B, 70B ir 405B parametrų – pastarasis yra didžiausias iki šiol sukurtas atvirojo kodo DI, kurį Meta generalinis direktorius Markas Zuckerbergas apibūdina kaip „pirmą pasienio lygio atvirojo kodo AI modelį“.
„Praėjusiais metais „Llama 2“ buvo lyginamas tik su senesnės kartos modeliais, esančiais už sienos“, – antradienį dienoraščio įraše rašė Zuckerbergas. „Šiemet Llama 3 yra konkurencinga su pažangiausiais modeliais ir pirmauja kai kuriose srityse. Nuo kitų metų tikimės, kad būsimi Llama modeliai taps pažangiausiais pramonėje.
Meta, apmokyta 15 trilijonų žetonų ir 16 000 H100 GPU, teigia, kad 405B modelis yra žymiai didesnis nei jo pirmtakas Llama 3. Pranešama, kad jis konkuruoja su geriausiais šiandienos uždarojo kodo modeliais, tokiais kaip OpenAI GPT-4o, Google Gemini 1.5 arba Anthropic Claude 3.5 „bendrųjų žinių, matematikos, įrankių naudojimo ir daugiakalbio vertimo srityse“. Zuckerbergas antradienį „Instagram“ prognozavo, kad „Meta AI“ iki metų pabaigos pralenks „ChatGPT“ kaip plačiausiai naudojamą AI asistentą.
Bendrovė pažymi, kad visose trijose „Llama 3.1“ versijose bus išplėstas 128 000 žetonų greitis, todėl vartotojai galės pateikti papildomo konteksto ir iki knygos vertės patvirtinamuosius dokumentus. Paleidimo metu jie taip pat palaikys aštuonias kalbas. Be to, „Meta“ pakeitė savo licencijos sutartį, kad kūrėjai galėtų naudoti „Llama 3.1“ išėjimus kitiems modeliams mokyti.
„Meta“ taip pat paskelbė, kad bendradarbiauja su daugiau nei tuzinu kitų pramonės įmonių, siekdama toliau plėtoti Lamos ekosistemą. „Amazon“, „Databricks“ ir „Nvidia“ pristatys visų paslaugų programinės įrangos rinkinius, padėsiančius kūrėjams tobulinti savo „Llama“ pagrindu sukurtus modelius, o startuolis „Groq“ „sukūrė mažos delsos ir pigių išvadų paslaugą“ naujajai 3.1 modelių šeimai. , rašė Zuckerbergas.
Kadangi „Llama 3.1“ yra atvirojo kodo, ji bus pasiekiama visose pagrindinėse debesies paslaugose, įskaitant AWS, „Google Cloud“ ir „Azure“.