训练阶段更关注集群峰值算力、互联带宽和任务完成时间;推理阶段则不同,模型要持续在线,Token要稳定产出,电力、散热、网络和软件调度都会进入单位成本。微软Maia 200规模化生产,把云厂商自研推理芯片推到主…...
据路透社报道称,微软发布下一代定制人工智能芯片Maia 300,并表示计划明年部署超过100万颗该芯片,用于支持内部AI服务。微软方面表示,Maia 300每兆瓦计算能力将比“领先的基于GPU的系统”高…...