#Transformer

大模型技术实践（二）｜关于Llama 2你需要知道的那些事儿

Llama 2是Meta升级的开源大模型，训练数据增40%、上下文翻倍至4096 token，并引入分组查询注意力提升推理速度。性能优于多数开源模型，但综合能力不及GPT-4等闭源模型，适合需要强大开源基础模型的中低复杂度任务。