作为处理每日交易量达 2500 亿美元的最大算法交易公司之一,XTX Markets 依赖约 650+PB 的存储空间进行价格预测和其他算法交易数据,现已开源其 Linux 文件系统。XTX 在原有 NFS 使用和其他文件系统替代方案无法满足需求后,开发了 TernFS 用于分布式存储。
TernFS 是一个分布式文件系统,用于处理读取和写入大型不可变文件——在不可变方面,这些文件在创建后通常不会被修改。在大小方面,至少为几兆字节。TernFS 的设计是为了满足 XTX 数据中心的需求,其逻辑文件存储量最大可达约 10EB,文件数量约为 1 万亿个,目录数量约为 1000 亿个,客户端数量约为 100 万个。所有这些都运行在商用硬件和以太网网络上。
TernFS 还能够跨越多个地理区域,通过数据冗余存储来防止硬盘故障,元数据没有单点故障,以及其他针对 XTX Markets 高要求的功能。
TernFS 已开发超过三年,过去一年中已被 XTX 所有机器学习项目使用。XTX Markets 报告称,“至今为止,我们在 TernFS 上没有丢失一个字节”。

希望了解更多关于这个 Linux 原生、现开源的 TernFS 文件系统的用户可以通过 XTX Markets 博客进行了解。TernFS 在 GPLv2+ 和 Apache 2.0 许可证下提供。TernFS 文件系统在 GitHub 上是开源的。
转自 A Major Trading Firm Has Open-Sourced The Latest Linux File-System: TernFS – Phoronix
Linuxeden开源社区