今天是DeepSeek开源周的收官之日，DeepSeek前几天的开源项目属于底层硬件优化（显存、算力、通信），今天的这两个工具则侧重于为 AI 训练和推理提供高效的数据管理和处理基础设施，解决大规模数据处理的瓶颈。

最后一天，DeepSeek带来了Fire-Flyer File System（简称3FS）和配套的数据处理框架Smallpond。专注于解决AI训练与推理中的数据访问和处理难题，以卓越的性能和简洁的设计，为开发者提供了一套经过生产环境验证的解决方案。

Fire-Flyer文件系统（3FS）：一种利用现代SSD和RDMA网络全部带宽的并行文件系统。

亮点：

• 6.6 TiB/s在180节点集群中聚合读取吞吐量

• 3.66 TiB/min吞吐量（25节点集群中GraySort基准测试）

• 每个客户端节点的KVCache查找峰值吞吐量超过40 GiB/s

• 具有强一致性语义的分解架构

• 在V3/R1中训练数据预处理、数据集加载、检查点保存/重新加载、嵌入向量搜索&KVCache查找以进行推理

Smallpond：基于3FS构建的数据处理框架。

3FS：幻方自研的高性能分布式文件系统

3FS，全称Fire-Flyer File System（萤火超算文件系统），是一种专门为AI工作负载设计的高性能分布式文件系统。简单来说，它就像一个超级快速的图书馆，分布在多台设备上，用于存储和管理数据，确保AI训练时能快速访问大量信息。对于 AI 训练来说，这非常重要，因为它需要快速访问大量数据来“教”模型学习。

3FS的核心是一个并行文件系统。与将所有数据集中存储在一个服务器上的传统文件系统不同，并行架构将数据分布在多个节点上。AI算法或数据管道同时访问数据，而不会相互干扰。

真正让 3FS 与众不同的是它如何利用硬件。具体来说，它实现了从 SSD（固态硬盘）和 RDMA（远程直接内存访问）网络中榨取每一分性能。SSD比传统硬盘更快，同时，RDMA 允许数据通过内存直接在机器间穿梭，完全绕过CPU。这意味着更少的延迟和更高的吞吐量。

它的设计特点包括：

分离架构：存储和计算分开工作，就像有两个专门的团队，一个负责存书，一个负责处理信息，这样效率更高。

数据一致性：确保所有电脑看到的数据版本相同，这对 AI 模型的准确性至关重要。

标准文件接口：3FS提供了一个熟悉的文件系统接口，意味着用户可以像操作电脑上的文件夹和文件一样操作，无需学习新的存储方式。

KVCache优化推理：3FS包括一个叫KVCache的功能，用于优化AI模型的推理过程。KVCache就像是大语言模型的“记忆仓库”。当AI回答你的问题时，它需要记住之前说过的每个词，以便能够流畅地继续对话。KVCache就是存储这些已处理词语的地方，避免AI重复计算已经想过的内容。这对实时AI应用（如聊天机器人）特别重要。

在大模型训练推理中，Deepseek创新性采用了硬盘缓存架构，而今天推出的3FS文件系统，显然为这种硬盘缓存能力提供了重要的支持。这也是为什么DeepSeek的官方API在缓存命中时价格会更低。

性能指标：

3FS的性能非常惊人，在一个大型集群测试中，包含180个存储节点（每个节点有2 个200Gbps 的InfiniBand网络接口卡和16个14TB的NVMe SSD）和 500 多个客户端节点，3FS的峰值读取吞吐量达到6.6太字节每秒（TB/s）。相当于在瞬间读取82.5万本实体书的数据，这些书摞起来的高度比珠穆朗玛峰还高3倍多。

另一个测试是GraySort基准测试，3FS在一个包含25个存储节点和50个计算节点的集群上，完成了对110.5太字节数据的排序，耗时30分14秒，平均吞吐量达到3.66 TB/分钟。这些数字表明3FS 在处理大规模数据时的效率极高。

3FS是幻方AI自研的高速读写文件系统，专门为深度学习训练场景设计。早在2019年，幻方就发布了相关文档。现在DeepSeek把整个系统开源了出来，几乎所有处理大规模数据的人都能受益。做AI模型的人可以缩短训练时间，大数据工程师能预处理海量信息，甚至游戏开发者处理庞大资源时也能从中获益。简而言之，只要缓慢的数据访问拖了后腿，3FS就能派上用场。

Smallpond：轻量级分布式数据处理框架

Smallpond是一个基于DuckDB和3FS的轻量级数据处理框架，能在30分钟内排序110.5 TiB数据，平均每分钟吞吐3.66 TiB。DuckDB是一个内存数据库，它把数据存放在电脑的内存中，而不是硬盘上，这样处理速度非常快。Smallpond利用DuckDB的速度和3FS的存储能力，为用户提供了一个简单易用的工具来处理大数据集。

高性能数据处理：Smallpond依赖DuckDB的内存数据库特性，处理数据时速度极快。这对 AI 训练来说非常重要，因为它需要快速分析和转换数据。

易于操作：Smallpond不需要长期运行的服务，意味着用户可以随时启动和停止，操作简单，适合各种规模的团队。

Python和SQL接口：用户可以用Python编写代码，通过SQL查询来处理数据。例如，可以从Parquet文件（一种高效的数据存储格式）中加载数据，运行SQL查询来分析，然后将结果保存回Parquet文件。这让Smallpond成为AI数据准备的理想工具。

高效排序能力：在GraySort基准测试中，Smallpond在一个包含50个计算节点和25个存储节点的集群上，30分14秒内排序了110.5太字节的数据，平均吞吐量达到3.66TB/分钟。这表明它在处理大规模排序任务时的效率极高。

开源周“完美”收官

DeepSeek火力全开的开源周，以一系列令人瞩目的项目震撼了整个AI社区。从优化并行策略的工具，到加速矩阵乘法的DeepGEMM，再到革新注意力机制的FlashMLA，DeepSeek展示了其在AI基础设施领域的技术积累，而作为压轴大戏的3FS和Smallpond，则将这股开源势头推向了高潮。

3FS和Smallpond的开源，不仅仅是DeepSeek技术实力的体现，也是对整个行业发展的贡献。曙光AI存储解决方案架构师告诉硅星人：“‌3FS是典型的高性能并行文件系统，这类系统堪称是最适合AI的数据存储。对于计划部署AI大模型，尤其是DeepSeek的客户来说，可以借此设计、实施较为完整的IT基础设施环境。”

3FS源自幻方时期对高性能计算的深入研究，如今以开源的形式回馈社区，其意义非凡。“作为‌高性能并行文件系统的一个开源项目，3FS如果能被广泛应用，必然大幅推动国内开源存储技术的发展成熟。” 这不仅将加速国内AI技术的自主创新，也将为全球开发者提供一个强大的工具，共同推动AI领域的进步。然而，3FS在实际应用中也需要注意一些关键问题，该架构师提醒企业：

第一，出于数据安全的考虑，企业要确保自身有足够技术支持，避免数据丢失、存储集群崩溃。强化存储在加密存储、访问控制等方面能力。因为3FS面向较大规模集群（如超千节点）的稳定性，尚未经过更多企业，尤其是大型企业的验证。

第二，企业的个性化存储需求必然会出现，比如跨地域数据保护，数据容灾，数据加密，多租户等，企业在3FS后续应用过程中，需要有足够技术自行扩展存储功能，或使用专业存储厂商进行定制。

第三，大多企业的IT基础设施仍需要异构IT环境部署，要注意开源社区是否具备支持优化异构软硬件的兼容能力和性能优化、调优，不支持的话，要关注通过自研解决此类问题的投入成本。

值得一提的是，市场上已有一些成熟的高性能并行文件系统解决方案，如曙光智存ParaStor等，这些经过多年验证的系统在企业级应用场景中可能提供更稳定的服务保障。在选择存储方案时，企业可以根据自身需求和实际情况，综合评估开源与商业解决方案的优劣势。

总的来说，对于选择3FS这类新兴的存储技术，企业用户需要结合自身情况，做好规划，并预备相应的技术投入。

回顾DeepSeek的开源周，其意义绝不仅限于提供了新的技术选择，五天时间，从底层硬件优化到顶层数据处理，DeepSeek以近乎“倾囊相授”的姿态，将技术积淀转化为开源力量。

这也体现了DeepSeek的战略选择，与OpenAI、xAI等科技巨头依赖规模效应、拓展技术前沿的路径不同，DeepSeek 选择了另一条道路：深耕技术优化，拥抱开源生态，打磨AI基础设施的每一个细节。

随着更多企业加入技术开源浪潮，更多开发者将基于开源的底座打造垂直解决方案，当技术壁垒被开放协作取代，我们会看到一个更加不一样的AI生态。