openEuler 全栈式 AI 推理方案 使能 AI 普惠千行百业，推动企业实现数智化转型

【中国，深圳，2025年3月21日】在华为中国合作伙伴大会——鲲鹏伙伴产业峰会上，华为联合 openEuler 社区发布全栈式 AI 推理方案。通过这套方案，企业和开发者可在鲲鹏+xPU硬件上，分钟级实现模型部署、天级实现 AI 助手开发，推理性能相较于其他开源方案提升10-50。该方案从开发、运行、运行全流程助力企业实现规模部署，实现数智化转型，推动 AI 普惠千行百业。

sysHAX+GMEM：释放鲲鹏+xPU算力潜能

如今，大模型已经从模型训练阶段转向模型推理和智能体开发阶段，操作系统作为连接软件和硬件的基础软件，在使能模型推理和智能体开发上发挥着不可代替的作用。在硬件上，目前 openEuler 社区已经适配了昇腾、寒武纪、摩尔线程、天数等xPU，并通过 sysHAX，GMEM 等技术实现推理任务吞吐量提升10-50：

- sysHAX：通过 NUMA 亲和性优化模型参数、KVCache调度、适配鲲鹏SVE指令集等方式，动态调度鲲鹏CPU与异构算力资源，智能分配 decode 任务，使推理任务吞吐量提升10-30。

- GMEM：通过加速器透明超分技术，将主机内存扩展至TB级，大模型推理吞吐量提升50，提供OS原生malloc接口，仅需百行代码即可接将设备接入 GMEM，开发效率提升10倍。

oeDeploy：一键分钟级部署模型推理环境

oeDeploy 一键式软件编排部署工具是 openEuler 社区的开源项目，该项目通过编写配置文件即可实现AI框架、驱动、第三方组件部署，极大的简化软件部署流程。oeDeploy 已经支持一键式部署 DeepSeek，将原本需3-5天的部署流程缩短至分钟级，极大的提高 DeepSeek 的部署效率。

欢迎开发者贡献自己编写的 oeDeploy 配置文件

EulerCopilot+RAG：天级开发一个智能体

RAG 即检索增强生成技术。RAG+大模型可以很好的弥补基础模型缺失行业数据、企业数据的不足，使大模型更懂企业业务，是一种非常高效的开发行业智能体应用的方法。openEuler Copilot System 平台已经支持 RAG，并对 RAG的智能语料治理、多级检索优化等环节进行优化，回答准确率高达 90。企业和开发者可在本地部署 openEuler Copilot System，并输入行业数据，天级实现企业智能体应用的开发。