Llama ist die Open-Weight-Modellfamilie von Meta und dient als Basis für zahlreiche spezialisierte Sprach- und Agentensysteme.
Llama-Modelle kombinieren Decoder-only-Transformer mit modernen Trainingsrezepten wie RMSNorm, SwiGLU und Rotary Position Embeddings. Seit Llama 2 und 3 stellt Meta Gewichte für Forschung und Unternehmen bereit, wodurch sich Finetunes für Branchenwissen, Chatbots oder Code-Assistenten entwickeln lassen.
Besonderheiten
- Open Ecosystem: Umfangreiche Community, Tools wie llama.cpp oder Ollama.
- Skalierung: Verfügbar von 1B bis 405B Parametern, inklusive Instruct- und Guard-Varianten.
- Lizenz: Kommerzielle Nutzung erlaubt, jedoch mit Restriktionen für Hyper-Scaler.