NVIDIA H100
大模型训练与高并发推理的主力
Hopper 世代,HBM3 显存,支持 NVLink 与 HGX 8 卡整机形态。目前生态最成熟、可复现资料最多的一代,团队第一次上大规模训练通常从它起步。
下面是我们对接的型号范围。每一代卡的定位不同,选错了不是贵一点的问题,是任务跑不动或者钱白花。
大模型训练与高并发推理的主力
Hopper 世代,HBM3 显存,支持 NVLink 与 HGX 8 卡整机形态。目前生态最成熟、可复现资料最多的一代,团队第一次上大规模训练通常从它起步。
显存吃紧的长上下文与大模型推理
同为 Hopper 架构但换用容量更大的 HBM3e 显存。当瓶颈是「装不下」而不是「算不动」时——长上下文推理、更大 batch——它比 H100 更对症。
新一代训练集群
Blackwell 世代。面向更大规模的训练与推理集群,通常以 HGX 整机与多机互联形态交付,对机柜供电与散热的要求显著高于 Hopper 代。
Blackwell 世代的更高配位
Blackwell 家族中面向最高算力密度的一档。这类卡的供应与交期波动大,规划期请尽早对齐时间窗口,不要按现货假设排项目计划。
成本敏感的训练与推理
Ampere 世代,40GB / 80GB 两种显存规格。性价比高、二手与租用市场供应相对充裕,适合预算优先、模型规模中等的场景。
有信创或数据出境约束的场景
面向对芯片来源、机房属地或数据不出境有明确要求的项目。可供品牌与型号按项目合规要求确定,需要先对齐你的具体约束条款。
🔴 具体可供型号、形态(SXM / NVL / PCIe)、批量与交期以询价当时的实际供应为准,本页不作现货承诺。
这两个数同行普遍不写,我们写:它们决定你能不能按计划排项目。以下为常规情况下的窗口,具体以询价当时的实际供应为准。
算力可以放在境外节点,也可以放在境内节点,两者适用的规则不同,能供的型号也不同——这件事必须在选卡之前谈清楚,不能反过来先定卡再补合规。
国际主流加速卡(H100 / H200 / B200 / B300)的算力交付以境外节点为主。跨境使用需按出口管制与数据跨境的相关规定逐案确认,方案以你实际适用的法规为准。
境内交付以合规可得的型号为主,含国产加速卡。对芯片来源、机房属地或数据不出境有硬性要求的项目,从这条路走更稳。
🔴 我们不就任何具体型号在特定法域的可得性作概括承诺。请把你的合规约束(出口管制、数据跨境、行业监管)先说清楚,方案按约束倒推。
下面不是客户案例,是我们反复遇到的需求形状——按任务的时间与规模分类,方便你对号入座。真实项目的配置以询价时对齐为准。
团队刚拿到预算,模型规模还没定。先租单卡跑通流程与数据管线,确认瓶颈是算力还是显存,再决定往哪个方向扩。这类需求最怕一上来买整机——方向一改,硬件就砸手里。
一轮训练三到八周,跑完就不需要了。租比买合适:不占资本开支,规模跟着任务涨落。关键是提前锁交付窗口,尤其用 Blackwell 代时。
模型已经定稿,要以服务形态长期跑。这时更看重稳定与单位成本,可以谈长期租用或买断自持;训练完的模型若要以 API 形式对外提供,可以接在本平台同一套账户与钱包下。
长上下文、大 batch,报错是装不下而不是跑得慢。换代不如换显存规格——H200 的 HBM3e 容量更大,往往比堆更多 H100 更对症。
金融、政企或涉敏数据的项目,先确定合规边界再选硬件。这条路通常走境内节点与国产加速卡,方案按你适用的条款定。
适合任务有明确起止、或还在验证阶段的团队:不占用资本开支,规模可以跟着任务涨落。计费粒度、可用机房与最小起租规模按具体方案确定。
适合要长期自持、对数据落地与机房属地有要求的团队:整机配置、上架与调优可一并承接。交期取决于卡型与当期供应,询价时给准确窗口。
H100 整机常规 2–4 周;Blackwell 代(B200 / B300)6–12 周——后者供应紧、分配周期长,规划期请尽早锁窗口。这是常规情况下的区间,具体以询价当时的实际供应与交付地为准。
租用**单卡即可起租**,不必先买整机:先跑通流程、确认瓶颈,再谈规模。采购侧的起订量随卡型与配置变化,询价时给。
判据是任务的时间形状而不是总价:需求有明确起止、或规模还会变,租更稳妥;需要长期自持、对数据落地有硬要求,买断更合适。两条路我们都能走,也可以先租后买。
先说约束,再选方案。有属地或不出境要求的项目,可以走国产加速卡或指定机房,方案要按你适用的合规条款确定,不能反过来先定卡再补合规。
整机采购可承接配置选型、上架与调优;租用侧提供环境交付与用量可见。我们同时运营模型接入平台,训练完的模型如果要以 API 形式对外提供,可以接在同一套账户与钱包下。
把卡型、数量、任务类型与期望时间发过来,我们按当期实际供应给方案与报价。电话与邮件都直达,不走工单。