Linuxeden开源社区英特尔今天发布了 OpenVINO 2024.2，这是其开源人工智能工具包的最新版本，用于在一系列人工智能框架和广泛的硬件类型中优化和部署深度学习（A）推理模型。
在 OpenVINO 2024.2 中，他们继续对 Meta 的 Llama 3 大型语言模型进行优化。OpenVINO 2024.2 为在 CPU、集成 GPU 和独立 GPU 上执行 Llama 3 带来了更多优化，以进一步提高性能，同时提高内存使用效率。
OpenVINO 2024.2 还增加了对 Phi-3-mini AI 模型的支持、更广泛的大型语言模型支持、对英特尔凌动处理器 X 系列的支持、对英特尔至强 6 处理器的预览支持以及更多的 AVX2/AVX-512 调整。英特尔发现，在利用小批量时，英特尔酷睿处理器上的 AVX2 和英特尔至强处理器上的 AVX-512 在 FP16 重量 LLM 的秒令牌延迟和内存占用方面都有 “显著改善”。
有关 OpenVINO 2024.2 发布的下载和更多详细信息，请访问 GitHub。