Canonical 对其 Snap 应用打包/沙盒格式在 Ubuntu Linux 上的新推动是为了 AI 大型语言模型(LLMs)。然而,更有趣的是,他们正在努力为您的硬件提供硅优化 AI LLMs,并使其易于在 Ubuntu 用户中部署。
Canonical 已经开始推出优化的推理 Snaps,作为在 Ubuntu 设备上部署 AI LLMs 的新方式。希望使用类似 sudo snap install deepseek-r1 –beta 的命令,您可以轻松地启动并运行相关的量化 LLM 模型,并获得您系统最优化的加速支持。
截至目前, Canonical 今日宣布的公开测试版中,仅针对 DeepSeek R1 和 Qwen 2.5 VL 提供了 Intel 和 ARM64 Ampere 优化的模型。该框架是开源的,但截至目前,还没有针对 NVIDIA CUDA 或 AMD ROCm 堆栈/硬件的优化版本。
帮助用户获得针对其系统最优化 LLM 的概念既有趣又值得尝试。尽管已经有一些类似且范围更广的努力,例如 Llamafile,试图制作易于分发的 LLM,使其能够在不同的硬件和甚至操作系统上工作,而不仅仅局限于 Snap 启用环境或 Snap 商店可用的地方。

将很有趣地看到硅优化 LLM Snap 的工作成果,以及 LLM 覆盖范围的全面性,以及最终它在更多样化的计算环境中表现如何,不仅限于 AMD ROCm 和 NVIDIA CUDA 支持,还有 Intel Core Ultra、Ryzen AI 和各种其他 AI 加速器的日益增长。
有关今日公开测试版公告的更多详情,请通过 Ubuntu 博客了解。
转自 Canonical Begins Snap’ing Up Silicon-Optimized AI LLMs For Ubuntu Linux – Phoronix
Linuxeden开源社区