皇上,还记得我吗?我就是1999年那个Linux伊甸园啊-----24小时滚动更新开源资讯,全年无休!

Canonical 开始为 Ubuntu Linux 招募硅优化 AI LLMs

Canonical 对其 Snap 应用打包/沙盒格式在 Ubuntu Linux 上的新推动是为了 AI 大型语言模型(LLMs)。然而,更有趣的是,他们正在努力为您的硬件提供硅优化 AI LLMs,并使其易于在 Ubuntu 用户中部署。

Canonical 已经开始推出优化的推理 Snaps,作为在 Ubuntu 设备上部署 AI LLMs 的新方式。希望使用类似 sudo snap install deepseek-r1 –beta 的命令,您可以轻松地启动并运行相关的量化 LLM 模型,并获得您系统最优化的加速支持。

截至目前, Canonical 今日宣布的公开测试版中,仅针对 DeepSeek R1 和 Qwen 2.5 VL 提供了 Intel 和 ARM64 Ampere 优化的模型。该框架是开源的,但截至目前,还没有针对 NVIDIA CUDA 或 AMD ROCm 堆栈/硬件的优化版本。

帮助用户获得针对其系统最优化 LLM 的概念既有趣又值得尝试。尽管已经有一些类似且范围更广的努力,例如 Llamafile,试图制作易于分发的 LLM,使其能够在不同的硬件和甚至操作系统上工作,而不仅仅局限于 Snap 启用环境或 Snap 商店可用的地方。

Canonical 开始为 Ubuntu Linux 招募硅优化 AI LLMs

将很有趣地看到硅优化 LLM Snap 的工作成果,以及 LLM 覆盖范围的全面性,以及最终它在更多样化的计算环境中表现如何,不仅限于 AMD ROCm 和 NVIDIA CUDA 支持,还有 Intel Core Ultra、Ryzen AI 和各种其他 AI 加速器的日益增长。

有关今日公开测试版公告的更多详情,请通过 Ubuntu 博客了解。

转自  Canonical Begins Snap’ing Up Silicon-Optimized AI LLMs For Ubuntu Linux – Phoronix