这可能是 AMD 等了很久的期间松原异型材设备价格。
近，Wafer AI 在 AMD MI355X 上部署了 Kimi K3。服从是，正本需要 16 张 NVIDIA B200、横跨两台作事器运行的模子，在台配备 8 张 MI355X 的 AMD 作事器中就能完成部署。
要津的是，它不仅仅把模子装进去了。
在输入 1024 Token、输出 400 Token 的测试中，MI355X 跑出了 952 Token/s 的总隐隐量，单用户生成速率达到 118 Token/s。
按照单节点计较，它的隐隐量约为 16 卡 B200 案的 3.8 倍，价比也过了 B200 和 B300。
而让东谈主偶然的是，ROCm 此次果然莫得高出折腾。 Kimi K3 领有 2.8 万亿参数，仅模子权重就需要过 1.5 TB 显存，还没算百万 Token 陡立文所需的 KV Cache。 台 8 卡 B200 作事器，每张卡有 192 GB 显存，总容量约为 1.5 TB。也等于说，模子权重王人很难完好放下，别说给 KV Cache 留空间。因此，B200 须使用两台作事器、16 张 GPU。 B300 每张卡领有 288 GB 显存，不错在单节点内装下模子。巧的是，AMD MI355X 相似领有 288 GB 显存，8 张 MI355X 计约 2.3 TB，台作事器就够了。 这不仅仅少用台机器。模子跨节点运行后，每生成个 Token，王人可能需要通过网罗同步数据。即使使用约 195 Gb/s 的 RoCE v2 网罗，跨节点通讯仍然会拖慢解码。 MI355X 靠大的显存，把总共这个词模子留在了个节点里。 从终服从看，8 张 MI355X 的峰值总隐隐量达到 952 Token/s，单路生成速率为 118 Token/s。 动作对比，16 张 B200 的双节点部署总隐隐量为 498 Token/s，换算到单节点约为 249 Token/s。 也等于说，MI355X 的单节点隐隐量约为 B200 双节点部署平均单节点隐隐量的 3.8 倍。单用户生成速率面，MI355X 的 118 Token/s 也于 B200 的 90 Token/s。 B300 依然是对能的案。8 张 B300 的节点总隐隐量达到 1568 Token/s，单路生成速率为 172 Token/s，合座隐隐量梗概是 MI355X 的 1.65 倍。 但价钱蜕变了论断。Wafer 按照 MI355X 每卡每小时 2.5 好意思元、B200 为 4.25 好意思元、B300 为 6 好意思元进行计较。 在这价钱假定下松原异型材设备价格，MI355X 每好意思元不错提供约 48 Token/s 的峰值隐隐量；B200 约为 7 Token/s；B300 约为 33 Token/s。 B300 快，但 MI355X 的单元老本率。关于需要大畛域运行怒放模子的数据中心来说，这可能比单纯争夺能加紧要。 长久以来，AMD 数据中心 GPU 大的问题频频不是硬件，而是软件。 同个模子在 CUDA 上不错径直运行，到了 ROCm 上，可能就要改框架、补算子，甚而重写底层内核。 但 Kimi K3 的情况有所不同。 AMD 为它提供了接近发同步的扶植。Wafer 示意，模子基本不错径直在 MI355X 上运行，后续使命东要聚拢在小数兼容问题和能化上。 其中个问题出咫尺测解码才调。Kimi K3 自身莫得提供 MTP 或 EAGLE 所需的草稿模子参数，因此 Wafer 使用了个外部的块扩散草稿模子。 这套案在 CUDA 上不错径直运行，但在 ROCm 环境中，个真实央求就致交流器报错。原因是 ROCm 分支里少界说了个名为的函数。 top_k_renorm_prob 这个函数所作念的事情并不复杂：从概率散布中选出的 k 个值，将其他概率归，异型材设备再把保留住来的概率从头归化。 Wafer 终使用个鄙俚的 PyTorch 函数补上了这段逻辑，不需要手写 GPU 内核，也不需要从头缱绻测解码系统。 缔造后，测解码让单路能提约 2.2 倍，中等并发下的单流能提约 1.7 倍，峰值总隐隐量则升迁了约 18。 紧要的是，系统大致在并发下达到峰值隐隐量。 虽然，隐隐量并不是理作事的一谈。关于真实用户来说，另个径直影响体验的主见是 TTFT，也等于从发送央求到看到个 Token 之间的恭候期间。 在这项上，MI355X 初的进展并不好。濒临段约 17.2 万 Token 的冷启动预填充当务，MI355X 需要约 51 秒，而 B300 只需要约 23 秒。 在扶植百万 Token 陡立文的模子中，预填充当务可能高出浩大。如若处理长陡立文时，用户每次王人要先等几十秒甚而久，再的解码速率也很难弥补体验上的问题。 Wafer 终发现，能差距险些一谈来自个细心力内核。Kimi K3 在 8 路张量并行建立下，每张 GPU 会分到 12 个细心力头。而 AMD AITER 中速率较快的 MLA 预填充内核，只扶植 4、8 或 16 的倍数等步地。 12 个头法匹配，于是系统退回了速率较慢的通用 Triton 竣事。 处置主意很朴素：把 12 个细心力头补到 16 个，调用现存的速内核，计较完成后再取回简直需要的 12 个头。莫得修改模子结构，也莫得编写新的汇编内核，仅仅补了四个。 化后，AITER MLA 内核的剖判预填充速率达到约 1.3 万 Token/s，而原来的 Triton 回退旅途梗概独一 4000～7000 Token/s，冷预填充期间因此镌汰了约两到三倍。 这项化不会蜕变终的解码隐隐量，但会显耀减少用户恭候个字出现的期间。 这也阐明，AMD 和 NVIDIA 之间看起来很大的软件差距，有时并不是底层才调不及，仅仅现存速内核暂时莫得粉饰某种新模子步地。 次测试虽然弗成阐明注解 AMD 照旧追上 NVIDIA。 B200 因为显存不及，被动跨节点运行；B300 的对能依然先；ROCm 的器用链、框架扶植和引诱者生态，也仍然不如 CUDA。 但怒放模子正在快速干预万亿参数时期。当模子大到台作事器装不下时，显存容量就不再仅仅参数表上的数字，而会径直影响通讯老本、部署复杂度和终隐隐量。 AMD 给单卡建立多 HBM 的政策，正在造成种实质的系统势。 如若 AMD 能接续升迁 ROCm 的剖判、扩大速内核的步地扶植，并为新模子提供实时的日适配，那么数据中心就须崇拜磋议这些 GPU。价钱低，显存大，大致用，软件也不再需要折腾几个月。 对此你奈何看？ https://x.com/wafer_ai/status/2083628389903315406 https://x.com/ChiragAsarpota/status/2083864019870634151 塑料挤出机设备厂家文安县建仓机械厂相关词条:罐体保温施工 异型材设备 锚索 玻璃棉 保温护角专用胶 1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定松原异型材设备价格，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。