Choose language:

Tag: DeepSeek v3

LLAMA 4

Meta představuje Llama 4: Ambiciózní multimodální modely s kontroverzemi

Category: Llama Tags: Benchmark AI, DeepSeek v3, Etika AI, Gemini 2.5 Pro, GPT-4o, Llama 4, Meta AI, MoE architektura, Multimodalita, Umělá inteligence, Velké jazykové modely

Společnost Meta nedávno uvedla na trh novou generaci velkých jazykových modelů Llama 4, které slibují výrazné zlepšení výkonu a schopností oproti předchozím verzím. Nové modely přinášejí nativní multimodalitu, architekturu Mixture-of-Experts (MoE) a podporu pro více jazyků. Nicméně, kolem jejich schopností a benchmarkových výsledků se objevily pochybnosti.

Klíčové inovace Llama 4

1. Mixture-of-Experts (MoE) architektura

Llama 4 je první model od Mety, který využívá MoE architekturu. Namísto jedné velké neuronové sítě model aktivuje pouze podmnožinu „expertů“ specializovaných na různé úkoly. Tato architektura umožňuje efektivnější škálování výkonu a snižuje výpočetní náročnost.

2. Nativní multimodalita

Modely Llama 4 jsou schopny zpracovávat nejen text, ale i obrazové vstupy. Díky „early fusion“ přístupu integrují textové a vizuální informace již během tréninku, což zlepšuje jejich schopnost porozumět komplexním multimodálním datům.

3. Rozšířená jazyková podpora

Llama 4 byla trénována na datech ve více než 200 jazycích, přičemž u poloviny z nich bylo použito přes miliardu tokenů. Modely podporují 12 jazyků, včetně angličtiny, španělštiny, němčiny a francouzštiny.

Představení modelů Llama 4

Llama 4 Scout

  • Aktivní parametry: 17 miliard (celkem 109 miliard)
  • Počet expertů: 16
  • Kontextové okno: až 10 milionů tokenů
  • Využití: efektivní provoz na jednom GPU, vhodný pro úlohy vyžadující dlouhý kontext

Llama 4 Maverick

  • Aktivní parametry: 17 miliard (celkem 400 miliard)
  • Počet expertů: 128
  • Kontextové okno: až 1 milion tokenů
  • Využití: univerzální model pro chat, kódování a multimodální úlohy​

Llama 4 Behemoth (v přípravě)

  • Aktivní parametry: 288 miliard (celkem 2 biliony)
  • Počet expertů: 16
  • Stav: model je stále ve fázi tréninku, očekává se jeho uvedení v následujících měsících​

Kontroverze a pochybnosti

Spor o benchmarky

Meta čelí kritice za údajné manipulace s benchmarkovými testy. Model Llama 4 Maverick dosáhl vysokého skóre na platformě LMArena, avšak bylo zjištěno, že Meta použila speciálně upravenou verzi modelu optimalizovanou pro tento test. Tato verze nebyla veřejně dostupná, což vyvolalo otázky o transparentnosti a férovosti srovnání.

Pochybnosti o kontextovém okně

Meta tvrdí, že model Scout zvládne kontextové okno až 10 milionů tokenů. Nicméně, odborníci upozorňují na technické limity současného hardwaru a architektury, které mohou bránit efektivnímu využití takto rozsáhlého kontextu.

Etické otázky tréninkových dat

Interní dokumenty Mety odhalily, že při tréninku modelů Llama byly použity i neautorizované zdroje, včetně pirátských kopií knih. Tato praxe vyvolává otázky ohledně autorských práv a etiky při získávání tréninkových dat. ​

Shrnutí

Llama 4 představuje významný krok vpřed v oblasti velkých jazykových modelů, zejména díky zavedení MoE architektury a nativní multimodality. Nicméně, kontroverze kolem benchmarkových testů, technických omezení a etických otázek naznačují, že je třeba přistupovat k těmto novinkám s opatrností. Uživatelé by měli pečlivě zvážit, zda Llama 4 skutečně splňuje jejich specifické potřeby a očekávání.​

🔗 Zdroje