从训练和推理芯片、交换与光互连,到服务器整机、算力云出租,外加液冷和供配电,是大模型训练与推理的物理底座。云厂商和模型公司采购加速卡与整机,整机厂再向互连、散热、电源件下单,算力云把集群按卡时转租;集群能堆多大,取决于互连带宽和机房的散热供电。
能做大模型训练的 GPU 和通用 AI 加速器,国产替代的主战场;服务器 CPU 作为配套算力一并放在这里。
为推理优化的专用芯片(ASIC、存算一体、车端、边缘 SoC),押注推理需求超过训练。
算子开发、编译与模型适配,研究将芯片能力转化为可交付算力的工具与工程服务。
芯片间、机柜间的交换、内存互连和光互连(含共封装光学),决定集群能堆多大。
把芯片、内存、互连和散热装成可交付的服务器与整机柜,国内以浪潮、曙光、超聚变为主,海外以戴尔、超微电脑等为主。
采购芯片、建数据中心、按算力出租给模型公司的“新云”,以及国内的智算中心运营商和运营商云。
机房的散热和供电:冷板与浸没式液冷、机房精密空调、UPS 与数据中心电源,单机柜功耗越高,这一环节价值越重。