Linuxeden开源社区过去两年间，AMD 一直在主线 Linux 内核中开发 AMD XDNA 加速器驱动程序，以支持 AMD Ryzen AI NPU（神经处理单元）。然而，就 Linux 用户空间软件而言，能够真正调动 Ryzen AI NPU 算力的选择却……极其有限，除了一些小众的代码片段外，几乎没有什么实用的成果。即便是 AMD 自家的软件，例如 Linux 版的 GAIA，也一直是利用 Vulkan 接口调用其集成显卡（iGPU），而非使用 NPU 进行加速。但就在今天，局面迎来了重大转折：Ryzen AI NPU 终于在 Linux 平台上变得真正实用，并具备了运行大型语言模型（LLM）的能力。
用于运行大语言模型（LLM）的开源 Lemonade 服务器今日发布了 10.0 版本。此次更新带来了对 Linux 环境下神经网络处理单元（NPU）的支持，适用于大语言模型及 Whisper 语音识别模型。此外，Lemonade 10.0 还实现了与 Claude Code 的原生集成。
Lemonade 项目在实现 Linux 平台上的 Ryzen AI NPU 支持时，以 FastFlowLM 为基础，旨在“释放 Ryzen AI NPU 的潜能”。FastFlowLM 是一个专为 Ryzen AI 打造的、采用”NPU 优先（NPU-first）”架构的运行时环境。借助当前一代的 Ryzen AI NPU，FastFlowLM 可支持高达 256k token 的上下文长度。FastFlowLM 0.9.35 版本于今日上午发布，正式带来了原生的 Linux 支持。
除了 Lemonade 10.0 服务器和最新的 FastFlowLM 运行时环境外，由于一些临时的加速器驱动程序调整，您还需要使用 Linux 7.0 内核，或者使用即将回溯移植（back-ports）到现有稳定内核版本的 AMDXDNA 驱动程序。这种针对 Linux 的 Ryzen AI NPU（神经处理单元）支持应适用于所有当前的 AMD Ryzen AI 300/400 系列片上系统（SoC）。
有一份名为”Lemonade”的文档指南，详细阐述了如何在 Linux 系统上利用 FastFlowLM 和 Lemonade 工具链来运行大型语言模型（LLMs）。
在接下来的几天里，我将利用手头现有的硬件，尝试在 Linux 上启用 AMD Ryzen AI NPU（神经处理单元）的支持。遗憾的是，用于评测搭载 Ryzen AI Max+ 395 处理器的笔记本电脑——HP ZBook Ultra G1a 的样机，早已按规定归还；不过，实验室里还有 Framework Desktop 主机以及 Ryzen AI 300″Strix Point”架构的硬件可供使用。希望这次备受期待的 Ryzen AI NPU Linux LLM 支持测试能一切顺利，以便进行相关的基准性能测试。
此时的时机至关重要，因为 Ryzen AI Embedded P100 系列即将上市，Ryzen AI PRO 400 系列也将随之推出。鉴于这些系列的目标市场，它们在实际应用中采用 Linux 系统的比例肯定会高于典型的消费级 Windows 部署。如今，关于”Linux 平台上 Ryzen AI NPU 对 LLM 的支持”这一话题，终于有了实质性的内容可以讲述。
转自 AMD Ryzen AI NPUs Are Finally Useful Under Linux For Running LLMs – Phoronix