9月21日消息，中科曙光发布全新迭代升级的AI推理原生存储FN Neo。
该产品可将分散在不同计算节点的推理缓存统一管理、共享复用，应对长文本、多用户同时访问带来的压力，让已有计算成果得到更充分利用。
实测数据显示，FN Neo可实现模型首词出现时间（TTFT）缩减73%，较本地NVMe更快；延迟表现、吞吐量和多请求并发数相比传统本地NVMe均有大幅提升。
整体Token吞吐能力提升150%，有效压缩用户交互等待时长，强化系统并发服务能力。
针对生产级AI业务7 x 24小时不间断运行需求，FN Neo拥有99.999%高可靠性，多重故障防护机制保障推理业务连续不中断。
此外，产品兼容主流推理框架与多元组网环境，企业无需大规模改造现有系统即可完成部署，在复用现有推理生态前提下提质增效，有力支撑大模型、智能体规模化生产落地。
文章来源：
我爱百科网
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至23467321@qq.com举报，一经查实，本站将立刻删除;如已特别标注为本站原创文章的，转载时请以链接形式注明文章出处，谢谢！
