品玩

科技创新者的每日必读

打开APP
关闭

月之暗面 Kimi 联合清华大学等开源大模型推理架构 Mooncake

3小时前

品玩11月28日讯,据 Kimi 开发平台官方消息,开源项目 Mooncake 技术框架已正式开源上线。

据悉,Mooncake 由之暗面 Kimi 和清华大学 MADSys 实验室联合 9#AISoft、阿里云、华为存储、面壁智能、趋境科技等产学研力量共同发布。该项目以超大规模 KVCache 缓存池为中心,通过以存换算的创新理念大幅度减少算力开销,显著提升了推理吞吐量。

本次开源将采用分阶段的方式,逐步开源高性能 KVCache 多级缓存 Mooncake Store 的实现,同时针对各类推理引擎和底层存储/传输资源进行兼容。其中传输引擎 Transfer Engine 部分现在已经在 GitHub 全球开源。Mooncake 开源项目的最终目标是,为大模型时代打造一种新型高性能内存语义存储的标准接口,并提供参考实现方案。

取消 发布

下载品玩App,比99.9%的人更先知道关于「KIMI」的新故事

下载品玩App

比99.9%的人更先知道关于「KIMI」的新故事

iOS版本 Android版本
立即下载
AI阅读助手
以下有两点提示,请您注意:
1. 请避免输入违反公序良俗、不安全或敏感的内容,模型可能无法回答不合适的问题。
2. 我们致力于提供高质量的大模型问答服务,但无法保证回答的准确性、时效性、全面性或适用性。在使用本服务时,您需要自行判断并承担风险;
感谢您的理解与配合
该功能目前正处于内测阶段,尚未对所有用户开放。如果您想快人一步体验产品的新功能,欢迎点击下面的按钮申请参与内测 申请内测