Meta 开源 OpenZL 作为格式感知压缩框架

Meta 已经有了 Zstd（Zstandard）压缩，而本周他们宣布发布了 OpenZL 作为一个新的开源、格式感知压缩框架。

OpenZL 旨在提供高压缩比的同时保持高速度。对于通用压缩器来说，高压缩比和高性能通常并不相容，而 OpenZL 通过格式感知，尝试利用两者的最佳之处，使用针对格式专门设计的压缩器。

OpenZL 专注于结构化数据的无损压缩和格式特定压缩器的性能，但只需一个可执行二进制文件。

他们在公告中解释说，OpenZL 是在 Zstandard 开发遇到相当大的障碍之后出现的：

“然而，尽管它在时间上得到了改进，但仍然保持在 Zstandard 框架内带来的收益正在减少。因此，我们开始寻找数据压缩的下一个重大飞跃。

在这个追求中，一个模式不断重复：在结构化数据上使用通用方法会留下压缩收益。数据不仅仅是字节汤。它可以按列排列，编码枚举值，限制在特定范围内，或者携带高度重复的字段。更重要的是，它具有可预测的形状。一个专门针对这种结构的压缩器可以在比率和速度上都击败通用工具。但有一个问题——每个专门的方案都意味着要创建、分发、审计、修补和信任另一个压缩器和解压器。”

OpenZL 是我们对格式特定压缩器性能与单一可执行二进制文件维护简单性之间紧张关系的回应。”

想要了解更多关于 OpenZL 的信息，可以通过这篇 Facebook 工程博客文章。OpenZL 代码采用 BSD 许可，可在 GitHub 上获取。

转自  Meta Opens Up OpenZL As Format-Aware Compression Framework – Phoronix