Whisper.cpp 作为围绕 OpenAI 的 Whisper 构建的开源高性能推理项目,与 Llama.cpp / GGML 由同一开发者团队打造,现已发布重大新版本。Whisper.cpp 1.8.3 能够为配备 AMD 和 Intel 集成显卡的系统提供 12 倍的性能提升。
Whisper.cpp 1.8.3 对于使用 OpenAI 的 Whisper 模型的 AI 驱动自动语音识别来说是一个非常大的进步。随着 1.8.3 版本的发布,现在有了完善的 iGPU 支持,正如合并请求中提到的,这种支持能够提供”12 倍性能提升”。这种集成显卡支持补充了现有的独立显卡支持。iGPU 的启用提供了更好的硬件利用率、改进的调试体验以及整体更佳的用户体验。

但需要注意的是,在合并请求中声称的”12 倍性能提升”实际上是与同一系统上的纯 CPU 性能进行比较得出的:
“在 AMD Ryzen 7 6800H 配备 Radeon 680M 集成图形和 Intel Core Ultra 7 155H 配备 Intel Arc Graphics 的设备上,实时处理因子比纯 CPU 处理提高了 3-4 倍(纯 CPU 实时因子:~0.3)。
这意味着与纯 CPU 模式相比,速度提升了约 12 倍,使集成 GPU 成为没有独立显卡用户的理想选择。”
这种集成显卡支持利用 Vulkan API 实现跨驱动/厂商兼容性。
Whisper.cpp 1.8.3 可通过 GitHub 获取,同时带来了语言绑定改进和多种其他小改进。Ascend Atlas 300I Duo NPU 也已验证可与 Whisper.cpp 一起使用。
转自 Whisper.cpp 1.8.3 Delivers A “12x Performance Boost” With Integrated Graphics – Phoronix
Linuxeden开源社区