从 Linux 7.1 内核开始,Intel IVPU 加速器驱动程序将对非 root 用户空间程序的 Intel NPU 资源使用进行限制。
为防止单个程序占用所有 Intel NPU 资源,导致其他程序或其他用户无法访问该英特尔神经处理单元,IVPU 驱动程序为非 root 用户设置了默认资源限制。Root 用户空间程序仍可占用 Intel NPU 的所有 128 个可用上下文 和 255 个门铃 ,而非 root 用户空间程序将被限制使用一半资源:即 64 个上下文和 127 个门铃。

其目的是避免单个用户空间程序独占所有可用NPU资源的情况,即防止其他希望利用AI加速的应用程序遭受NPU服务拒绝 。诚然,到目前为止,除了OpenVINO,我并不知晓Linux下有任何使用Intel NPU的主流用户。如果Linux下已有更强大的Intel NPU软件支持当然很好,但现实情况确实没有。不过,至少当未来Linux系统对Intel NPU和AMD Ryzen AI NPU的使用更加广泛时,IVPU驱动程序已做好准备,确保单个应用程序不会霸占全部资源。
转自 Linux 7.1 To Prevent Intel NPUs From Being Exhausted By Single Programs – Phoronix
Linuxeden开源社区