Společnost Meta nedávno uvedla na trh novou generaci velkých jazykových modelů Llama 4, které slibují výrazné zlepšení výkonu a schopností oproti předchozím verzím. Nové modely přinášejí nativní multimodalitu, architekturu Mixture-of-Experts (MoE) a podporu pro více jazyků. Nicméně, kolem jejich schopností a benchmarkových výsledků se objevily pochybnosti.
Klíčové inovace Llama 4
1. Mixture-of-Experts (MoE) architektura
Llama 4 je první model od Mety, který využívá MoE architekturu. Namísto jedné velké neuronové sítě model aktivuje pouze podmnožinu „expertů“ specializovaných na různé úkoly. Tato architektura umožňuje efektivnější škálování výkonu a snižuje výpočetní náročnost.
2. Nativní multimodalita
Modely Llama 4 jsou schopny zpracovávat nejen text, ale i obrazové vstupy. Díky „early fusion“ přístupu integrují textové a vizuální informace již během tréninku, což zlepšuje jejich schopnost porozumět komplexním multimodálním datům.
3. Rozšířená jazyková podpora
Llama 4 byla trénována na datech ve více než 200 jazycích, přičemž u poloviny z nich bylo použito přes miliardu tokenů. Modely podporují 12 jazyků, včetně angličtiny, španělštiny, němčiny a francouzštiny.
Představení modelů Llama 4
Llama 4 Scout
- Aktivní parametry: 17 miliard (celkem 109 miliard)
- Počet expertů: 16
- Kontextové okno: až 10 milionů tokenů
- Využití: efektivní provoz na jednom GPU, vhodný pro úlohy vyžadující dlouhý kontext
Llama 4 Maverick
- Aktivní parametry: 17 miliard (celkem 400 miliard)
- Počet expertů: 128
- Kontextové okno: až 1 milion tokenů
- Využití: univerzální model pro chat, kódování a multimodální úlohy
Llama 4 Behemoth (v přípravě)
- Aktivní parametry: 288 miliard (celkem 2 biliony)
- Počet expertů: 16
- Stav: model je stále ve fázi tréninku, očekává se jeho uvedení v následujících měsících
Kontroverze a pochybnosti
Spor o benchmarky
Meta čelí kritice za údajné manipulace s benchmarkovými testy. Model Llama 4 Maverick dosáhl vysokého skóre na platformě LMArena, avšak bylo zjištěno, že Meta použila speciálně upravenou verzi modelu optimalizovanou pro tento test. Tato verze nebyla veřejně dostupná, což vyvolalo otázky o transparentnosti a férovosti srovnání.
Pochybnosti o kontextovém okně
Meta tvrdí, že model Scout zvládne kontextové okno až 10 milionů tokenů. Nicméně, odborníci upozorňují na technické limity současného hardwaru a architektury, které mohou bránit efektivnímu využití takto rozsáhlého kontextu.
Etické otázky tréninkových dat
Interní dokumenty Mety odhalily, že při tréninku modelů Llama byly použity i neautorizované zdroje, včetně pirátských kopií knih. Tato praxe vyvolává otázky ohledně autorských práv a etiky při získávání tréninkových dat.
Shrnutí
Llama 4 představuje významný krok vpřed v oblasti velkých jazykových modelů, zejména díky zavedení MoE architektury a nativní multimodality. Nicméně, kontroverze kolem benchmarkových testů, technických omezení a etických otázek naznačují, že je třeba přistupovat k těmto novinkám s opatrností. Uživatelé by měli pečlivě zvážit, zda Llama 4 skutečně splňuje jejich specifické potřeby a očekávání.
🔗 Zdroje
- Meta AI – The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation (5. dubna 2025)
- TechCrunch – Meta releases Llama 4, a new crop of flagship AI models (5. dubna 2025)
- The Verge – Meta got caught gaming AI benchmarks (8. dubna 2025)
- Business Insider – Figuring out which AI model is right for you is harder than you think (18. dubna 2025)
- Reuters – Meta says copying books was ‚fair use‘ in authors‘ AI lawsuit (25. března 2025)
- Wikipedia – Llama (language model) (18. dubna 2025)
