#大模型

共 9 篇文章

大模型虽有语言能力却无法执行任务。MCP作为标准化协议让AI连接工具，Skill则是打包流程的能力套件，两者结合使AI从“能说”变为“能做”。适用于需要AI实际操控外部系统完成任务的场景。

优刻得针对大模型时代私有云演进需求，推出“AI+私有云”全栈解决方案，涵盖智能算力、大模型平台及行业场景应用，帮助企业实现安全可控的智能化转型，适用于金融、政务等敏感行业。

优刻得“孔明”智算平台入选AI Infra标杆案例，该平台通过创新架构实现万卡集群统一管理、断点续训和智能调度，显著提升算力利用率。适用于大模型训练、城市治理、自动驾驶等场景，推动行业数字化转型。

本文针对大模型训练中单个GPU负载和通信瓶颈问题，介绍了数据并行（DP、DDP、ZeRO）和模型并行（流水线并行、张量并行）技术，以及Megatron等分布式框架。适用于千亿参数级模型的高效并行训练。

本文介绍参数高效微调技术（PEFT），通过固定预训练模型大部分参数、仅调整小部分或额外参数，实现与全量微调相近的效果。重点解析了Adapter Tuning和软提示方法（如Prefix Tuning），适用于大模型微调场景下降低计算资源消耗。

本文介绍利用LangChain与Llama 2构建心灵疗愈机器人，通过外挂知识库实现领域问答，无需微调模型即可精确回答心理相关问题。适用于需要快速部署特定领域知识问答系统的场景。

Llama 2是Meta升级的开源大模型，训练数据增40%、上下文翻倍至4096 token，并引入分组查询注意力提升推理速度。性能优于多数开源模型，但综合能力不及GPT-4等闭源模型，适合需要强大开源基础模型的中低复杂度任务。

本文介绍UCloud镜像市场提供的大模型部署方案，重点分析BERT、GPT等主流模型的结构特点，并分享ChatGLM2-6B基于UK8S的实践应用，适用于快速构建大语言模型微调或推理环境。

大模型参数指数增长，对存储系统提出高吞吐读、大量列表操作等挑战。UCloud升级US3FS 2.0，通过优化元数据性能和缓存机制，提升读和列表性能，适用于大模型训练场景。