# Llama3来袭！如何通过4090GPU云主机快速部署？

> 作者/来源: UCloud 运营管理员
> 发布时间: 2024-04-28T09:46:00.000Z
> 分类: GPU
> 标签: 云主机, AI, GPU
> 原文链接: http://117.50.162.249:3000/yun/articles/104

---

# Llama3来袭！如何通过4090GPU云主机快速部署？

> 来源: https://www.ucloud.cn/yun/131084.html
> 作者: UCloud小助手
> 发布日期: 发布于2024-04-28 17:46

2024年4月18日，Meta AI正式宣布推出开源大模型Llama3，这标志着开源大型语言模型（LLM）领域的又一重大突破。Llama3以其卓越的性能和广泛的应用前景，或将推动人工智能技术快速迈进新纪元。

为方便AI应用企业及个人AI开发者快速体验Llama3的超高性能，近期优刻得GPU云主机上线Llama3-8B-Instruct-Chinese镜像，一键配置，快速部署模型开发环境。为客户提供开箱即用的Llama3模型微调及推理环境，节省配置时间，提高开发效率。

快速搭建Llama3的微调或推理环境，仅需以下5步：

1、登录UCloud控制台：https://www.ucloud.cn/site/active/gpu.html?ytag=seo

广告

2、选择GPU云主机，各模型的推荐机型及配置参考文档https://docs.ucloud.cn/gpu/practice/Llama3-8B-Instruct-Chinese

3、在镜像市场选择镜像，选择Llama3

![](https://ucloud-blog.cn-bj.ufileos.com/articles/131084/images/131084_000.webp)

4、立即创建，开机执行进程启动命令

```
cd /home/ubuntu/llama3-Chinese-chat
conda activate llama3-chinese
nohup streamlit run deploy/web_streamlit_for_instruct.py model/llama-3-8b-Instruct-chinese --theme.base="light" 2>&1 &
```

![](https://ucloud-blog.cn-bj.ufileos.com/articles/131084/images/131084_001.webp)

5、防火墙开发8501端口后，通过http://服务器IP地址:8501 访问

![](https://ucloud-blog.cn-bj.ufileos.com/articles/131084/images/131084_002.webp)

Llama3由Meta在15万亿tokens数据集上训练而成，是Llama2体量的7倍，包括4倍的代码数据。其中预训练数据集中还有5%的非英语数据集，总计支持高达30种语言，在做非英语语言能力对齐方面也会更有优势。Llama3 Instruct 更是针对对话应用进行了优化，结合了超过1000万的人工标注数据，通过监督式微调（SFT）、拒绝采样、邻近策略优化（PPO）和直接策略优化（DPO）进行训练。本次优刻得GPU镜像市场上线的是基于中文语料指令微调之后的模型（Llama3-8B-Instruct-Chinese），在中文表现上有相对不错的效果。

在上下文方面，Llama3支持8K的上下文长度，是Llama2容量的两倍，极大地提高了多步骤任务的处理能力。同时，该模型特别强调在理解、代码生成和指令跟随等复杂任务上的性能改进。Llama3 8B和70B参数的模型在多个行业基准测试中展示了最先进的性能，特别是在推理和编码任务上。其中700亿参数规模的模型评测结果极其优秀。最大的亮点是在数学评测GSM8K的得分达到93分！根据DataLearnerAI目前收集的数据，这个分数仅次于Claude3-Opus的95分，超过GPT-4，位居全球第二，是目前开源大模型中得分最高的一个。

![](https://ucloud-blog.cn-bj.ufileos.com/articles/131084/images/131084_003.webp)

![](https://ucloud-blog.cn-bj.ufileos.com/articles/131084/images/131084_004.webp)

优刻得GPU云主机镜像市场上线Llama3镜像，可为AI应用客户提供最新模型一键部署的极速体验。不仅如此，优刻得还同步对外提供智算调度、模型微调及推理服务部署服务。优刻得以云主机、裸金属、高性能存储、低延迟网络等基础设施领域积累的运营经验为基础，搭配“孔明”的资源调度、多用户管理与分布式训练的能力，以及UModelVerse模型推理服务平台，形成一站式的AI计算开发解决方案，服务大模型开发者、应用厂商、高校及科研机构等合作伙伴，共同推进大模型产业发展。

随着人工智能技术的演进，像Llama3这样性能卓越的大模型，将为通用人工智能（AGI）的未来发展和落地应用提供强有力的支持。优刻得也将始终以推动人工智能技术发展与应用为己任，持续与业界合作伙伴紧密合作，为行业用户提供快速搭建大型模型推理或微调环境的解决方案，以及高性能的AI算力集群，助力AIGC产业降本增效。

附高性能NVIDIA RTX 40 系列云服务器购买：

https://www.ucloud.cn/site/active/gpu.html?ytag=seo

https://www.compshare.cn/?ytag=seo