# 一张顶20张H100，速度10倍于B200：史上最快AI芯片，华人制造

> 作者/来源: UCloud 运营管理员
> 发布时间: 2024-06-27T09:50:00.000Z
> 分类: GPU
> 标签: AI, GPU
> 原文链接: http://117.50.162.249:3000/yun/articles/70

---

# 一张顶20张H100，速度10倍于B200：史上最快AI芯片，华人制造

> 来源: https://www.ucloud.cn/yun/131121.html
> 作者: UCloud小助手
> 发布日期: 发布于2024-06-27 17:50

在谈到 AI、大模型、算力等关键词时，如果要提及硬件产品，很多人应该会不假思索的说出英伟达。的确，在全球都缺算力的环境下，英伟达的地位是独特又难以撼动的。

然而就在近日，有一家公司带着自己的 AI 芯片来叫板了。

昨天凌晨，科技圈迎来了一个重要新闻。成立时间不到两年的美国芯片初创公司 Etched 推出了自己的第一块 AI 芯片 Sohu，它运行大模型的速度比英伟达 H100 要快 20 倍，比今年 3 月才推出的顶配芯片 B200 也要快上超过 10 倍。

![](https://ucloud-blog.cn-bj.ufileos.com/articles/131121/images/131121_000.png)

**“Sohu”什么来头？**

Sohu 是世界第一款专用于 Transformer 计算的芯片，历时两年打造。

作为一块 ASIC（专用集成电路），Sohu 芯片最大的亮点在于直接把 Transformer 架构蚀刻到芯片中，乌伯蒂称 Sohu 采用台积电的 4 纳米工艺制造，推理性能大大优于 GPU 和其他通用人工智能芯片，同时能耗更低，而如今的每款主流 AI 产品如 ChatGPT、Claude、Gemini 和 Sora 都是由 transformer 驱动的。

在 Llama 70B 吞吐量中，Sohu 每秒可处理超过 50万个 tokens，让用户可以构建 GPU 无法实现的产品。

Sohu 能够实现实时语音代理、毫秒级处理数千字文本、更强大的代码树搜索、并行比较数百个响应、多播推测解码以及实时生成新内容等功能，为未来万亿级参数模型的运行提供了可能。

****速度**超****H100 20 倍，FLOPS 利用率超 90%**

作为世界上首款 transformer ASIC（应用型）芯片，一台集成了 8 块 Sohu 的服务器可以匹敌 160 块 H100 GPU。也即，Sohu 的运行速度是 H100 的 20 多倍。

具体来讲，通过专门化，Sohu 具备了前所未有的性能。一台集成 8 块 Sohu 芯片的服务器每秒可以处理 50 万的 Llama 7B tokens。

针对 Llama 3 70B 的 FP8 精度基准测试显示：无稀疏性、8 倍模型并行、2048 输入或 128 输出长度。

此外，对于 Llama、Stable Diffusion 3，Sohu 仅支持 transformer 推理。Sohu 支持了当前谷歌、Meta、微软、OpenAI、Anthropic 等各家的模型，未来还会适配模型调整。

由于 Sohu 仅能运行一种算法，因此可以删除绝大多数控制流逻辑，从而允许拥有更多数学块。也因此，Sohu 实现了 90% 以上的 FLOPS 利用率，而使用 TRT-LLM 的 GPU 约为 30%。

## **软件如何工作**

在 GPU 和 TPU 上，软件是一场噩梦。处理任意 CUDA 和 PyTorch 代码需要极其复杂的编译器。第三方 AI 芯片（如 AMD、Intel、AWS 等）在软件上总共花费了数十亿美元，但收效甚微。

而 Sohu 只运行 transformer，因此只需要为 transformer 编写软件。

大多数运行开源或内部模型的公司都使用特定于 transformer 的推理库，比如 TensorRT-LLM，vLLM 或 HuggingFace 的 TGI。

这些框架非常僵化，虽然你可以进行模型超参数调优，但实际上不支持更改底层模型代码。但这没关系，因为所有 transformer 模型都非常相似（甚至是文本 / 图像 / 视频模型），所以超参数调优就是你真正需要的。

虽然 95% 的 AI 公司是这样，但一些最大的 AI 实验室采用定制方式。他们有工程师团队来手动调整 GPU 核心以实现更高的利用率，并进行逆向工程以将寄存器对每个张量核心的延迟将至最低。

Etched 让我们不需要再进行逆向工程，他们的软件（从驱动程序、内核到服务堆栈）都将是开源的。如果你想实现自定义 transformer 层，则内核向导可以自由地这样做。

## **创业团队：哈佛辍学生领衔**

打造 Sohu 芯片的 Etched 位于加州库比蒂诺，公司成立仅两年，目前团队只有 35 人，创始人是一对哈佛辍学生 Gavin Uberti（前 OctoML 和前 Xnor.ai 员工）和 Chris Zhu，他们与 Robert Wachen 和前赛普拉斯半导体公司首席技术官 Mark Ross 一起，一直致力于打造专用于 AI 大模型的芯片。两人在2022年就声称Transformer将改变世界。领英资料也显示公司创立时间在2022年10月，比ChatGPT问世还早一个月。

![](https://ucloud-blog.cn-bj.ufileos.com/articles/131121/images/131121_001.png)

在 Sohu 芯片发布的同时，Etched 也宣布已完成了 1.2 亿美元的 A 轮融资，由 Primary Venture Partners 和 Positive Sum Ventures 共同领投。Etched 的总融资额已达到 1.2536 亿美元，本轮融资的重要投资者包括 Peter Thiel、GitHub 首席执行官 Thomas Dohmke、Cruise 联合创始人 Kyle Vogt 和 Quora 联合创始人 Charlie Cheever。

Uberti 声称到目前为止，已有匿名客户预订了「数千万美元」的硬件，预计在今年三季度，Sohu 将推向市场。

未来真的如 Uberti 所说，只有在 Sohu 这样的芯片上，视频生成、音频生成、具身智能等技术才能真正落地吗？