
(来源:IT之家)
IT之家 11 月 17 日消息,欧洲云服务企业 OVHcloud 当地时间今日宣布推出其首个 AI 模型家族 Olala,同时公布了该系列的首个成员 Olala mini 7A1B。

Olala mini 7A1B 采用结合了 Differential-TPA 和 Mamba-3 的混合注意力机制,总参数 70 亿、激活参数 10 亿,使用 BF16 数据格式。该模型将以 Apache 2.0 许可开源发布在 Hugging Face 上。
其可在 8GB 显存的 GPU 上运行,在 RTX A4500 上可实现 160 TPS 的词元吞吐量,仅 CPU 平台也能实现 50 TPS。
OVH 表示,Olala mini 7A1B 在三台欧洲公共超级计算机上利用 NVIDIA 的 GH200、A100、H100 训练而成,总开销达到 700 万欧元(IT之家注:现汇率约合 5,142.8 万元人民币)。
Olala mini 7A1B 模型初始版本上下文长度为 32K,预计今年底推出的 1.1 版本将扩展至 128K 上下文并具备更好的数学能力。OVH 后续将持续开发 AI 模型,Olala 2.0 的参数规模将>100B。

![版本差异] 删减五十五分钟改变了什么,从人物弧光看公映版与完整版的叙事落差(电影删减版差异说明)](/img/45.jpg)













