5月25日面壁智能正式发布并开源了新一代端侧文本基座大模型 MiniCPM5-1B。该模型以 1B 参数规模在 AA-Index 榜单取得 17.9 分超越 Qwen3.5-2B16.3 分等全部 4B 以下开源基座模型延续了面壁智能提出的密度定律——大模型智能密度约每 3.5 个月翻一番。其 Base 版本由面壁自研 AI 训练框架 ForgeTrain 预训练完成这是全球首个完全由 AI 编写的生产级训练框架。INT4 量化后权重仅 0.5GB可在手机、浏览器等 90% 以上终端设备运行。官方已原生支持 vLLM、SGLang、llama.cpp 等主流推理框架。众智 FlagOS 社区基于统一多芯片软件栈通过 vLLM-plugin-FL 推理插件完成了 MiniCPM5-1B 的跨芯片适配与推理部署 Day-0 发布。此次适配覆盖英伟达、华为昇腾、平头哥、摩尔线程、海光、昆仑芯、沐曦、天数智芯等 8 类数据中心 AI 加速芯片并针对 MiniCPM5 面向端侧部署的特点首次将 Day-0 适配延伸至 ARM 端侧平台。FlagOS 支持 MiniCPM5-1B 在 ARM 上以 int8、bf16、fp32 三种精度运行实现了从数据中心多款AI芯片到端侧 ARM 的“一套代码、跨架构运行”。在性能方面多款AI芯片的首 token 延迟TTFT低于 NVIDIA H20 原生基线进一步验证了 FlagOS 统一软件栈在跨芯片适配和推理优化上的能力。一、部分芯片效率追平或略超NVIDIA测试条件与基准定义所有性能数据基于统一测试环境单卡、64并发请求、输入长度分别为4k/16k/32k tokens输出长度为1k tokens精度统一为bf16。对比基准定义为 “NV原生” NVIDIA H20 原生基线指 MiniCPM5-1B 在 NVIDIA H20 上基于原生 vLLM/CUDA 路径运行的结果。在此基础上我们引入 “NVIDIA H20 FlagOS” 作为参考以展示FlagOS优化效果。其它非英伟达芯片的 MiniCPM5-1B 结果是基于FlagOS的运行结果。1. 多款AI芯片平台在长上下文 TTFT 上达到或优于 NVIDIA H20 原生基线首Token延迟TTFT对比TTFTTime To First Token衡量从接收请求到生成第一个输出token的延迟数值越低越好。测试结果如下平头哥真武810E在所有上下文长度4k/16k/32k下TTFT均显著低于NV原生且随着上下文长度增加优势扩大。摩尔线程、海光、沐曦在所有测试场景下TTFT同样全面低于NV原生即首token响应更快。NVIDIA H20 FlagOS由于FlagGems与FlagTree的算子优化其TTFT在全部上下文长度下均优于NV原生。需要强调的是上述“多种AI芯片FlagOS”与“NV原生”的对比是芯片软件栈组合的比较并非纯硬件能力的直接对等对比。FlagOS在多种AI芯片上的深度适配是取得TTFT优势的关键因素。图1. MiniCPM5-1B 在不同AI芯片的首token延迟对比越低越好注由于各种芯片的硬件算力TFLOPS和显存带宽差异较大所以该数据并不代表芯片的性能对比。单位算力TTFT效率考虑到不同芯片的峰值算力和带宽配置差异较大仅比较绝对 TTFT 难以公平反映算力利用水平。因此我们进一步计算了按芯片峰值 TFLOPS 归一化后的单位算力TTFT 效率 —— 1/TFLOPS * TTFT用于更公平地衡量各平台在同等单位算力下的首 token 延迟表现。平头哥真武810E在所有上下文长度下单算力TTFT效率均明显优于NV原生。沐曦、摩尔线程在16k和32k长上下文场景下单位算力TTFT效率超过NV原生。NVIDIA H20 FlagOS在4k和16k场景下优于NV原生32k场景效率与NV原生持平。对于其它平台我们将持续优化FlagOS技术栈对其算力效率的提升。图2. 基于FlagOS的MiniCPM5-1B 在不同AI芯片的单位算力TTFT效率越高越好2. 平头哥的推理吞吐量逼近英伟达同等算力效率TTFT主要影响交互体验而推理吞吐量total tokens/s决定系统并发处理能力。两者是不同维度的性能指标。推理总吞吐量通常由芯片计算能力TFLOPS、显存带宽等重要因素共同决定。在吞吐效率方面在本次适配中我们在平头哥真武 810E 上采用了 FlagGems FlagTree vLLM-plugin-FL 方案。实测结果表明真武 810E 单卡的 token 总吞吐量超过 2.6 万 tokens/s。由于MiniCPM 5-1B模型参数规模较小且长上下文 decode 阶段 KV cache 访问压力显著整体 workload 更偏 Memory-bound。为公平比较不同算力芯片的效率在充分考虑真武 810E 与 NVIDIA H20 在计算峰值性能TFLOPS与显存带宽差异的前提下折算至同等有效算力后真武 810E 在 16K:1K 及 32K:1 等长序列场景下的 token 总吞吐量已逼近 H20 单位算力 token 计算效率分别为93.3%和95.3%。二、ARM 端侧支持将 MiniCPM5-1B 从 GPU 扩展到海量终端设备ARM 架构广泛存在于手机、AIPC、机器人、车载终端、边缘网关和各类嵌入式设备中是端侧 AI 部署中数量最大、覆盖最广的计算平台之一。随着 MiniCPM5-1B 这类小尺寸高密度模型的发展越来越多推理任务有机会从云端 GPU 下沉到端侧设备以获得更低时延、更低成本、更好的隐私保护和离线可用能力。因此将模型适配到 ARM 平台不只是一次硬件迁移验证更是 FlagOS 面向端侧 AI 和普惠 AI 计算的重要探索。FlagOS 对 ARM 板端的适配是本次 MiniCPM5-1B 多芯片方案中的差异化能力。过去高性能大模型推理优化主要集中在 GPU 平台模型从 GPU 迁移到 ARM 通常需要重新适配推理后端、算子实现和精度路径。FlagOS 通过 FlagTree FlagGems 的组合将 MiniCPM5-1B 的推理能力从 GPU 扩展到 ARM 板端支持 int8、bf16、fp32 等多种精度路径探索实现“一套模型、多类架构、统一适配”的端侧部署方式。ARMv9 指令集深度优化FlagTree 新增 Armv9 CPU 编译目标FlagTree-CPU以 Triton-CPU 为底层后端充分利用 SVE2 / NEON 向量化能力提升通用算子吞吐通过 i8mm 加速 INT8 GEMM、dotprod 扩展SDOT / UDOT优化 INT8 GEMV decode 场景、BF16 指令扩展优化 BF16 matmul。编译链路中开启 dotprod / bf16 / i8mm 等 Arm 目标特性使 CPU 后端充分匹配 Armv9 硬件能力。FlagGems ARM 后端围绕矩阵计算、注意力、归一化、动态量化与解码后处理等大模型推理关键模块提供面向 ARM 的优化算子实现。开发者无需修改模型代码即可通过 FlagOS 技术栈获得算子层加速。Triton-TLETriton Language Extensions对ARM指令的扩展支持FlagOS 通过 Triton-TLETriton Language Extensions增强 Triton 在 ARM CPU 后端上的表达和优化能力基于 NEON / SVE2 等指令能力优化运行时与核心计算路径并面向注意力 decode、前馈网络融合、归一化、门控状态更新、低精度量化线性计算等大模型推理热路径提供支持。三、开发者速用指南MiniCPM5-1B 模型多芯版本获取与部署FlagOS技术栈为 MiniCPM5-1B 模型提供了开箱即用的多芯片版本。在FlagOS的vLLM-plugin-FL多芯片推理插件及统一算子库FlagGems、统一编译器FlagTree的支持下英伟达、华为昇腾、平头哥、摩尔线程等多款芯片已完成 MiniCPM5-1B 的跨芯适配及验证。FlagOS提供了基于vLLM-plugin-FL的统一部署方案。使用源码进行安装部署可参考以下官方一站式开发者文档含详细代码示例与操作指引GitHubhttps://github.com/flagos-ai/vllm-plugin-FL/blob/main/README.mdGitCodehttps://gitcode.com/flagos-ai/vllm-plugin-FL/blob/main/README.md方式一FlagOS源码方式安装部署# 1. 安装 vLLM v0.20.2 pip install vllm0.20.2 # 2. 安装 vllm-plugin-FL git clone https://github.com/flagos-ai/vllm-plugin-FL cd vllm-plugin-FL pip install --no-build-isolation -e . # 3. 安装 FlagGems 算子库 git clone https://github.com/flagos-ai/FlagGems cd FlagGems git checkout v5.0.0 pip install --no-build-isolation -e . # 4. (可选) 安装 FlagTree 统一编译器 python3 -m pip uninstall -y triton python3 -m pip install flagtree0.5.0 --index-urlhttps://resource.flagos.net/repository/flagos-pypi-hosted/simple # 5. (可选) 安装 FlagCX 统一通信库 # 详见 https://github.com/flagos-ai/FlagCX运行推理from vllm import LLM, SamplingParams prompts [你好请介绍一下你自己。] llm LLM( model/path/to/MiniCPM5-1B-FlagOS, max_num_batched_tokens16384, max_num_seqs2048 ) sampling_params SamplingParams(max_tokens512, temperature0.0) outputs llm.generate(prompts, sampling_params) for output in outputs: print(fPrompt: {output.prompt!r}) print(fGenerated: {output.outputs[0].text!r})方式二模型镜像直接下载用户可以直接拉取在 FlagRelease 上发布的迁移后的模型文件、代码和镜像。以下是迁移适配后的几种 AI 芯片的模型版本开箱即用、无需迁移。魔搭平台HuggingFace 平台四、开发者极致体验发布即多芯 零改码1. vLLM-plugin-FL多芯片统一推理的核心路径本次 MiniCPM5-1B 模型的跨芯适配核心技术路径是基于 vLLM-plugin-FL 实现多芯片推理部署。vLLM-plugin-FL 是 FlagOS 为 vLLM 推理服务框架打造的专属插件基于 FlagOS 统一多芯片后端开发在完全不改变 vLLM 原生接口与用户使用习惯的前提下将 MiniCPM5-1B 的推理能力扩展到英伟达、华为昇腾、平头哥、摩尔线程、海光等多类 GPU 芯片。兼容 vLLM 原生接口开发者使用标准的 vLLM API 即可完成模型加载与推理服务部署无需学习新的部署工具或修改已有代码。多芯片后端自动适配vLLM-plugin-FL 内置了针对不同芯片的后端适配逻辑开发者只需指定模型路径底层的芯片差异由插件自动处理。2. 核心能力与原生版本对齐经 hellaswag、truthfulqa、winogrande、commonsense_qa 共四项评测集验证FlagOS 适配后的 MiniCPM5-1B 在大部分芯片和评测集上的推理精度与 NVIDIA H20 原生版本对齐。3. 极简部署开箱即用FlagOS将算子库、编译器等组件内置集成开发者加载模型时底层优化自动生效无需手动添加FlagOS初始化代码。基于FlagRelease直接提供多芯片版本的 MiniCPM5-1B-FlagOS 模型文件配合vLLM-plugin-FL启动推理服务从下载到运行只需几条命令。五、大模型核心基座FlagOS 四大技术支撑实现MiniCPM5-1B极速跨芯适配包括 MiniCPM5-1B 在内的多款模型跨芯适配依托的是FlagOS 2.0 统一多芯片系统软件栈的全链路能力。从算子层、编译层、框架层到工具层全链路为大模型跨芯适配提供技术支撑。1. 高性能算子库 FlagGems核心算子深度适配释放硬件算力FlagGems 作为 FlagOS 核心的高性能通用大模型算子库基于 Triton 语言实现已拥有超过500个大模型常用算子覆盖 Attention 计算、RMSNorm 等 MiniCPM5-1B 推理链路上的关键计算模块同时原生支持 NVIDIA、摩尔线程、沐曦、清微智能、天数等接近 20 家 AI 芯片。本次测试中仅部分启用 13 个 FlagGems 算子即在 NVIDIA H20 上实现吞吐量反超 CUDA 原生 2.0%。2. 统一 AI 编译器 FlagTree一次编写多芯编译FlagTree 是 FlagOS 面向多 AI 芯片后端的统一编译器基于 Triton 深度定制可将大模型核心算子编译为英伟达、华为昇腾、平头哥、海光、摩尔线程等十多种不同 AI 芯片后端可识别的指令彻底解决不同芯片编译器生态割裂的问题大幅降低算子跨芯片适配的开发成本。3. 模型跨芯迁移发布工具 FlagRelease半自动实现模型跨芯迁移与版本发布依托 FlagOS 全栈技术能力FlagRelease 已完成包括 MiniCPM5-1B 在内的多款模型在多种芯片上的模型迁移、精度对齐与版本发布覆盖 HuggingFace、魔搭等开源社区平台。开发者可直接下载使用无需自行迁移。截至本文发布FlagRelease 已发布覆盖 10 家芯片厂商、12 款硬件、70 个开源模型实例的跨芯适配版本。4. 统一多芯片接入插件 vLLM-plugin-FL兼容原生使用习惯vLLM-plugin-FL 是 FlagOS 为 vLLM 推理服务框架打造的专属插件基于 FlagOS 统一多芯片后端开发在完全不改变 vLLM 原生接口与用户使用习惯的前提下实现多芯片推理部署。目前 vLLM-plugin-FL 已经支持了清微、摩尔线程、海光、沐曦、平头哥、天数智芯、昆仑芯、华为、英伟达等多家芯片。六、开源共建FlagOS 持续做开发者的跨芯适配后盾当下异构算力协同、大模型普惠落地已成为全球开源开发者社区的核心热点打破硬件生态隔离、让大模型在不同算力平台高效低成本运行是无数开发者的核心诉求。FlagOS 从诞生之初就将开源开放、众智共建刻入技术基因始终以开发者为中心通过全栈开源的统一系统软件栈把复杂的M×N硬件适配问题降维为MN做每一位开发者最可靠的跨芯适配后盾。1. 全栈开源无保留把技术主动权交给开发者目前FlagOS 已形成完整的开源技术体系所有核心组件均已开源在 GitHub同时开放了数十款最新的主流基础大模型、十多款 AI 芯片的适配方案与最佳实践开发者可自由获取、深度定制四大核心技术库 FlagGems 通用大模型算子库、FlagTree 统一 AI 编译器、FlagScale 训练推理并行框架、FlagCX 统一通信库覆盖算子开发、编译优化、并行计算、跨芯片通信全链路三大开源工具平台 FlagRelease 大模型自动迁移发版平台、KernelGen 算子自动生成工具、FlagPerf 多芯片评测工具提供从模型适配、性能评测到工程落地的一站式工具链全场景扩展生态 vLLM-plugin-FL、Megatron-LM-FL、TransformerEngine-FL 等框架增强组件以及 FlagOS-Robo 具身智能工具包覆盖大模型训练、推理、应用全场景。2. 多路径参与共建全层级开发者均可入局我们为不同技术方向、不同经验层级的开发者设计了低门槛、多路径的共建方式无论你是 AI 开发新手还是深耕系统软件的资深专家都能在 FlagOS 社区找到自己的位置。新手友好型参与可在对应仓库提交 Issue 反馈 bug、优化建议或是补充完善文档、撰写入门教程与最佳实践也可参与社区技术交流、分享使用经验零门槛开启开源之旅社区文档参考https://docs.flagos.io/en/latest/深度技术共建开发者可直接参与 FlagGems 算子开发与优化新增算子 / 性能调优 / 新芯片后端支持、KernelGen 算子生成流程增强、FlagTree 编译器后端扩展等核心模块与社区核心开发者一起推动技术演进。生态工具贡献开发者可基于 FlagOS Skills 开发面向国产芯片的 AI Agent 专业技能帮助更多开发者通过自然语言完成芯片适配、模型部署等操作。附关于众智FlagOS社区为解决不同 AI 芯片大规模落地应用北京智源研究院联合众多科研机构、芯片企业、系统厂商、算法和软件相关单位等国内外机构共同发起并创立了众智 FlagOS 社区。成员单位包括北京智源研究院、中科院计算所、中科加禾、安谋科技、北京大学、北京师范大学、百度飞桨、硅基流动、寒武纪、海光信息、华为、基流科技、摩尔线程、沐曦股份、澎峰科技、清微智能、天数智芯、先进编译实验室、移动研究院、中国矿业大学(北京)等多家在 FlagOS 软件栈研发中做出卓越贡献的单位。FlagOS 是一款专为异构 AI 芯片打造的开源、统一系统软件栈支持 AI 模型一次开发即可无缝移植至各类硬件平台大幅降低迁移与适配成本。它包括大型算子库、统一AI编译器、并行训推框架、统一通信库等核心开源项目致力于构建「模型-系统-芯片」三层贯通的开放技术生态通过“一次开发跨芯迁移”释放硬件计算潜力打破不同芯片软件栈之间生态隔离。官网https://flagos.ioGitHub 项目地址https://github.com/flagos-aiGitCode 项目地址https://gitcode.com/flagos-aiSkillHub: https://skillhub.flagos.io