新闻资讯
分类
英特尔开源NPU加速库方便使开发人员优化其AI应用
发布日期：2024-03-04 14:14:55
开发人员可以按照相应文档对其软件进行优化，从而适配新一代 AI 模型，包括 TinyLlama 和 Gemma-2b-it。
根据官方描述：英特尔 NPU 加速库是一个 Python 库，旨在利用英特尔神经处理单元 (NPU) 的强大性能在兼容硬件上执行高速计算，CQ9电子平台 CQ9传奇从而提高应用的效率。
英特尔还表示其 NPU 加速库目前不断开发中，CQ9电子平台 CQ9传奇后续将推出各种能显著提高性能的功能，截至IT之家发稿已经实现了 8bit 量化、Float16 支持、ile 支持等，后续还将支持 NPU / GPU 异构计算等功能。
