
IT时代网11月20日消息,微软11月19日发布博文宣布,以开发者预览方式,推出基于USB4的远程直接内存访问(RDMA)体验,可实现多台Windows 11电脑合力运行AI模型。
据介绍,RDMA能让一台电脑高效读写另一台电脑中获授权的内存区域,减少操作系统和CPU在数据搬运过程中的介入,具备低延迟、高吞吐和较低CPU占用等优势。两台或多台符合要求的电脑通过USB4线缆连接后,无需另购专用RDMA网卡或配置交换机,即可借助兼容的推理框架,调动各自的内存和GPU算力,共同运行一个AI模型。
延迟方面,微软测试显示,在单次传输数据量较小的情况下,电脑间通信的往返延迟约为28至50微秒,仅为同一USB4链路上传统以太网UDP方式的四分之一。初步测试中,微软使用三台各配128GB统一内存的AMD迷你电脑,通过40Gbps USB4连接,运行4位量化的2350亿参数Qwen3模型,生成速度约为每秒18.5个词元,AMD自测约为22个。
在三台搭载AMD Ryzen AI Max+ 395处理器的迷你电脑上,通过USB4实现RDMA的性能测试显示,该模型在1600至2048词元上下文长度下,解码速度约21.98词元/秒,提示词处理速度约117.98词元/秒。英特尔则以四台各配64GB内存的酷睿Ultra Series 3电脑运行GPT-OSS-120B,在约1000词元上下文下,达到每秒54.2个词元。
编辑:林一舟

注:本文配图由AI生成。本文综合自IT之家等,文中包含AI辅助创作的内容。
编辑:林一舟














