1. 项目概述在i.MX8MMini上解锁AI推理能力最近在折腾一块飞凌嵌入式的OKMX8MM-C开发板核心是NXP的i.MX8MMini处理器。这块板子性能不错双核Cortex-A72加四核Cortex-A53的架构跑个Linux系统很流畅。我一直在想除了常规的嵌入式应用能不能让它也跑跑AI模型体验一下在边缘设备上做图像识别是什么感觉毕竟现在AIoT这么火很多场景都需要在端侧进行实时推理。我的目标很明确在这块Arm64的开发板上搭建一个轻量级、高效率的神经网络推理框架并且能实际跑通几个经典的图像识别Demo看看效果和速度。经过一番调研和尝试我选择了OPEN AI LAB开源的Tengine。选择它的理由很充分首先它是专门针对Arm嵌入式平台优化的对Linux支持友好其次也是最重要的一点它的设计非常灵活不绑定任何特定的AI加速硬件。这意味着即使我的板子上没有独立的NPU神经网络处理单元我也可以利用CPU的算力来运行AI模型。当然如果未来板子有GPU或NPUTengine也能调用这为后续升级留足了空间。这就像给你的嵌入式设备装上了一颗“通用AI大脑”算力来源可以因地制宜非常实用。整个流程从准备系统环境开始到编译Tengine源码再到下载模型、运行测试和多个图像识别Demo。我会把每一步的操作细节、遇到的坑以及解决方案都记录下来。无论你是嵌入式开发者想给项目增加AI功能还是AI工程师想了解模型在真实硬件上的部署这篇文章都能提供一个完整的、可复现的参考。2. 开发环境搭建与系统准备工欲善其事必先利其器。在开始编译和运行AI程序之前一个稳定、干净且工具链完整的系统环境是基础。我使用的OKMX8MM-C开发板其默认的系统可能缺少一些必要的库或组件因此我决定为其移植一个更通用、软件包更丰富的系统。2.1 选择与部署Armbian系统飞凌官方为OKMX8MM-C提供了基于Yocto构建的系统功能稳定但软件包管理相对固定。为了获得更灵活的apt-get包管理能力和更活跃的社区支持我选择了Armbian。Armbian是一个专门为Arm开发板优化的轻量级Debian/Ubuntu系统其内核通常跟进mainline主线能获得较新的驱动和特性支持。我选择了基于Debian 10Buster的Armbian版本。刷写过程与其他嵌入式板卡类似下载镜像从Armbian官网找到适配i.MX8MMini或接近型号的镜像文件通常是一个.img.xz压缩包。烧录到SD卡使用balenaEtcher或dd命令将解压后的.img文件烧录到一张高速MicroSD卡中建议16GB以上Class 10或UHS-I。首次启动将SD卡插入开发板上电启动。首次启动会进行文件系统扩展和基本配置根据提示创建新用户并设置密码。注意不同版本或构建的Armbian镜像其设备树Device Tree可能不完全匹配你的具体板型。如果出现屏幕不亮、网络不通等问题可能需要尝试更换不同版本的内核或设备树文件或者参考飞凌官方提供的uboot和内核配置进行手动适配。我使用的版本经过了社区适配基本功能如HDMI显示、有线网络、USB都能正常工作。系统启动后首先通过sudo apt update sudo apt upgrade -y更新软件包列表并升级系统确保环境是最新的。2.2 安装必要的编译工具与依赖库Tengine的编译需要标准的C编译环境以及一些特定的库。在Armbian/Debian系统上通过apt可以轻松安装。sudo apt install -y build-essential cmake git wget sudo apt install -y libprotobuf-dev protobuf-compiler libopencv-dev pkg-config这里解释一下每个包的作用build-essential提供了gcc, g, make等核心编译工具。cmakeTengine使用CMake作为构建系统的一部分。git用于克隆源代码。libprotobuf-dev protobuf-compilerProtocol Buffers的库和编译器。许多AI模型如Caffe格式使用protobuf来定义网络结构因此这是序列化器Serializer功能所必需的。libopencv-devOpenCV计算机视觉库。我们的图像识别Demo需要它来加载、处理和显示图片。pkg-config帮助编译器在编译时找到正确的头文件和链接库的工具。安装完成后建议重启一下开发板确保所有新安装的库文件被系统正确加载。3. Tengine源码编译详解环境准备好后就可以开始动手编译Tengine了。一个很大的优势是i.MX8MMini的CPU性能足够强大我们可以直接在开发板上进行本地编译Native Build省去了配置交叉编译工具链的繁琐步骤也避免了因主机与目标环境差异导致的各种兼容性问题。3.1 获取源码与关键参数Tengine的源代码托管在GitHub上使用git clone命令获取。git clone --recurse-submodules https://github.com/OAID/tengine.git cd tengine这里有一个必须注意的关键点--recurse-submodules参数。Tengine项目引用了一些子模块Submodules例如protobuf的第三方副本。如果不加这个参数子模块的代码不会被下载编译时就会因为找不到相关文件而失败。我一开始就漏了这个参数导致编译到一半报错回头又得删掉仓库重新克隆浪费了不少时间。3.2 配置文件的调整与选择进入源码目录后你会发现一个default_config文件夹里面存放了针对不同平台的预设配置文件。我们的平台是Arm64架构运行Linux所以对应的配置文件是arm64_linux_native.config。直接用文本编辑器打开这个文件nano default_config/arm64_linux_native.config我们需要关注并修改其中一个关键选项。找到类似BUILD_SERIALIZER的配置行。在有些版本中它可能默认是n。为了能加载Caffe等格式的模型我们必须将其打开BUILD_SERIALIZERy这个选项控制是否编译模型序列化器。序列化器负责将不同框架如Caffe、ONNX、TensorFlow的模型文件加载并转换为Tengine内部的格式。如果不开启后续运行某些Demo时可能会遇到类似Shared library not found: libcaffe-serializer.so的错误导致程序无法启动。实操心得编译嵌入式AI框架时配置文件里的选项往往决定了生成库的功能范围。除非你非常确定用不到某些功能如GPU/VPU/NPU后端否则建议在存储空间允许的情况下将重要的组件如序列化器、各计算后端都编译进去避免后期链接或运行时出错。3.3 执行编译脚本Tengine提供了一个便捷的编译脚本linux_build.sh。我们只需要将配置文件路径作为参数传递给它即可。./linux_build.sh default_config/arm64_linux_native.config接下来就是漫长的编译过程。在i.MX8MMini的双核A72上这个过程大约需要20-30分钟。期间会输出大量的编译信息。只要之前依赖库安装齐全配置文件正确通常都能一次编译成功。编译完成后所有的产出文件库文件、可执行文件都会位于build目录下。其中build/install/lib/存放编译好的Tengine核心库如libtengine-lite.so。build/benchmark/bin/存放性能基准测试程序。我们后续要编译的Demo则会生成在examples目录下的build文件夹里。3.4 验证编译结果运行Benchmark编译完成后不要急于进行下一步先做个简单的验证。进入benchmark目录运行两个内置的测试程序。cd build/benchmark/bin/ ./bench_sqz ./bench_mobilenet这两个程序会分别使用SqueezeNet和MobileNet模型进行一轮推理并输出耗时和性能信息。如果能看到类似“Repeat 1 times, thread 1, avg time 50.12 ms, max_time 50.12 ms, min_time 50.12 ms”这样的结果并且没有报错就说明Tengine库本身编译、链接都是成功的基础推理功能正常。4. 模型文件准备与Demo编译AI推理离不开模型。Tengine的示例程序需要加载预训练好的模型文件才能工作。4.1 获取与放置模型文件OPEN AI LAB提供了一个百度网盘链接里面包含了众多常用模型如MobileNet、SqueezeNet、YOLO、SSD等转换好的Tengine格式文件。由于全部模型体积很大数个GB我们可以只下载后续Demo测试需要用到的部分。从提供的网盘链接下载模型包。将下载的模型文件通常是.tmfile或.caffemodel和.prototxt成对出现解压并整体拷贝到Tengine源码根目录下的models文件夹中。如果models文件夹不存在就创建一个。确保模型文件的路径权限正确可以被运行的程序读取。注意事项模型文件路径是硬编码在Demo源码或通过参数指定的。将模型统一放在./models目录下是与很多Demo的默认查找路径相匹配的能省去我们运行时指定模型路径的麻烦。务必检查模型文件是否完整一个模型可能包含网络结构文件.prototxt和权重文件.caffemodel或者合并的.tmfile文件缺一不可。4.2 编译图像识别示例程序Tengine源码的examples目录下提供了丰富的示例是我们学习如何在代码中使用Tengine API的绝佳材料。我们需要单独编译它们。首先进入examples目录并创建一个独立的构建目录cd /path/to/tengine/examples mkdir build cd build在编译之前有一个至关重要的步骤修改examples目录下的linux_build.sh脚本注意这是examples目录下的不是根目录的那个。我们需要告诉它Tengine库和头文件的位置。用编辑器打开../linux_build.sh找到设置TENGINE_ROOT变量的地方将其修改为你实际克隆的Tengine源码的绝对路径。例如TENGINE_ROOT/root/tengine # 修改为你的实际路径然后执行这个脚本进行编译../linux_build.sh make -jnproc-jnproc参数表示使用所有可用的CPU核心进行并行编译加快速度。编译成功后在examples/build目录下就会生成一系列可执行文件例如faster_rcnn、mobilenet_ssd、yolov2、mtcnn等这些就是我们接下来要测试的AI图像识别程序。5. 经典图像识别模型实测与对比一切就绪现在就是最令人兴奋的环节——在真实的嵌入式硬件上运行这些AI程序看看它们的识别效果和速度。我准备了几张涵盖常见物体的图片用于测试。5.1 Faster R-CNN高精度目标检测Faster R-CNN是两阶段Two-Stage检测器的代表以其高精度著称。我使用例子中自带的那张包含狗、自行车和汽车的图片进行测试。运行命令很简单通常需要指定模型文件和图片路径./faster_rcnn -m ../models/faster_rcnn.tmfile -i ../images/dog.jpg -r 1参数说明-m指定模型文件-i指定输入图片-r 1表示循环运行1次用于热身并排除首次加载的偏差。程序运行后会在终端输出检测到的目标类别、置信度和坐标框同时生成一张名为save.jpg的图片上面用方框标出了检测到的物体。实测结果Faster R-CNN成功检测出了狗Dog、自行车Bicycle和汽车Car三个物体的置信度都很高。作为代价其检测速度也是最慢的在i.MX8MMini的CPU上单张图片推理耗时超过了1秒。这体现了精度与速度的经典权衡两阶段检测器通过区域提议网络RPN生成候选框再对每个框进行分类和回归流程复杂精度高但速度慢。5.2 YOLOv2与SSD单阶段检测器的速度较量YOLO和SSD都是经典的单阶段One-Stage检测器它们将目标检测视为一个回归问题直接在网络中预测边界框和类别因此速度通常快得多。YOLOv2测试使用与Faster R-CNN相同的图片。./yolov2 -m ../models/yolov2.tmfile -i ../images/dog.jpg -r 10我让程序运行10次取平均耗时。结果令人印象深刻YOLOv2同样准确地检测到了三个物体而平均推理时间仅在150毫秒左右比Faster R-CNN快了近6倍。这个速度在实时视频流处理如~5fps上已经具备了可行性。SSD测试我换了一张更复杂的图片包含多个人和一只狗。./ssd -m ../models/ssd.tmfile -i ../images/group.jpg -r 10SSD的表现有点出乎意料。它检测到了大部分人和物体但把狗错误地识别成了“猫”。这可能是由于模型训练数据的局限性或者这张图片中狗的姿势、环境与训练集差异较大。不过其速度介于Faster R-CNN和YOLOv2之间。排查技巧如果某个模型检测结果异常如漏检、错检首先检查输入图片的预处理方式缩放、归一化是否与模型训练时要求的一致。Tengine的Demo通常内置了正确的预处理。其次可以考虑尝试不同的模型如MobileNet-SSD或者调整置信度阈值如果Demo支持该参数。5.3 MobileNet-SSD为移动端优化的平衡之选MobileNet-SSD结合了MobileNet轻量级网络作为特征提取主干Backbone和SSD检测头。它在精度和速度之间取得了很好的平衡特别适合嵌入式设备。使用与SSD测试相同的图片./mobilenet_ssd -m ../models/mobilenet_ssd.tmfile -i ../images/group.jpg -r 10实测结果这次狗被正确地识别出来了但是图片远处的一个行人被漏检了。从速度上看MobileNet-SSD的平均推理时间比原版SSD快了约40%达到了接近YOLOv2的水平。这个结果非常具有代表性通过使用更高效的主干网络可以在损失少量精度的情况下大幅提升检测速度这对于计算资源受限的嵌入式场景是至关重要的设计思路。5.4 人脸检测专项测试YuFaceDetectNet vs MTCNN最后我们聚焦人脸检测这个细分任务对比两个轻量级模型。YuFaceDetectNet基于深圳大学于仕琪老师开源的libfacedetection以速度极快闻名。./YuFaceDetectNet -m ../models/face.tmfile -i ../images/faces.jpg -r 20测试图片中有五张人脸。YuFaceDetectNet以惊人的速度单次约20-30毫秒完成了检测并成功标出了全部五张脸。MTCNN这是一个多阶段的人脸检测网络因其高精度而被广泛使用。./mtcnn -m ../models/mtcnn.tmfile -i ../images/faces.jpg -r 10MTCNN同样检测到了全部五张人脸并且人脸框似乎更精准一些。其耗时在50-60毫秒左右虽然比YuFaceDetectNet慢了一倍多但依然非常快。对比结论对于嵌入式人脸检测应用如果对速度有极致要求例如高帧率视频流YuFaceDetectNet是首选。如果场景更复杂如光线不佳、侧脸、部分遮挡且可以接受稍低的帧率MTCNN的鲁棒性可能更好。在实际项目中最好的方法是使用你的实际场景数据对这两个模型进行同时测试和评估。6. 性能分析与优化方向探讨在i.MX8MMini的CPU上跑完这一系列Demo我们可以得到一些定性的性能感知。为了更精确我们可以使用Tengine自带的tm_benchmark工具如果已编译进行量化评估。但通过上述测试我们已经能总结出一些关键点算力需求即使是轻量级模型如MobileNet-SSD在CPU上以可接受的精度运行也需要数百毫秒的计算时间。这对于实时性要求高的应用如30fps视频分析是一个挑战。内存占用加载模型和进行推理时会消耗一定的内存。使用htop命令观察运行较大模型时内存占用会增加数十到上百MB。在设计产品时需要为AI任务预留足够的RAM。功耗与发热持续进行AI推理会使CPU负载升高在i.MX8MMini上能感觉到芯片微微发热。对于电池供电的设备需要权衡推理频率和功耗。优化方向模型量化将模型从FP32浮点数转换为INT8整数可以大幅减少模型体积、提升推理速度、降低内存占用和功耗。Tengine支持后训练量化PTQ。这是提升边缘AI性能最有效的手段之一。使用硬件加速单元i.MX8MMini处理器其实集成了NPU神经网络处理单元。飞凌嵌入式也提供了相关的驱动和文档。下一步最关键的优化就是让Tengine通过其ACLCompute Library后端调用NPU进行计算。这预计能将推理速度提升一个数量级同时显著降低CPU负载和功耗。这需要配置NPU驱动、编译支持ACL的Tengine并可能需要对模型做特定格式的转换。模型剪枝与知识蒸馏在模型设计阶段采用更紧凑的网络结构如GhostNet、ShuffleNetV2或对现有模型进行剪枝、蒸馏在基本保持精度的前提下减少参数量和计算量。多线程推理Tengine支持多线程计算。对于多核CPU可以通过设置线程数来并行化计算充分利用所有核心。在benchmark程序中可以通过-t参数指定线程数进行测试。7. 常见问题与故障排除实录在整个搭建和测试过程中我遇到了不少问题。这里把典型问题和解决方法列出来希望能帮你避开这些坑。问题现象可能原因解决方案git clone后编译提示找不到头文件或子模块错误。克隆时未使用--recurse-submodules参数子模块代码缺失。删除tengine目录重新执行git clone --recurse-submodules。运行Demo时报错Shared library not found: libcaffe-serializer.so编译时未开启BUILD_SERIALIZER选项或系统动态链接库路径未包含该库。1. 检查配置文件确保BUILD_SERIALIZERy并重新编译。2. 将build/install/lib路径添加到LD_LIBRARY_PATH环境变量export LD_LIBRARY_PATH/path/to/tengine/build/install/lib:$LD_LIBRARY_PATH。编译examples时失败提示找不到Tengine头文件或库。examples/linux_build.sh脚本中的TENGINE_ROOT路径设置错误。用绝对路径正确修改examples/linux_build.sh脚本中的TENGINE_ROOT变量。运行程序无任何输出或瞬间退出。模型文件路径错误或缺失输入图片格式不支持。1. 使用绝对路径指定模型和图片文件如-m /root/tengine/models/xx.tmfile。2. 确认模型文件已正确放置在对应目录。3. 尝试使用Demo自带的测试图片通常在examples/images/下。检测结果完全错误或置信度极低。输入图片的预处理缩放、归一化、通道顺序与模型要求不匹配。查看Demo源码确认其预处理逻辑如是否减均值、除以标准差、BGR转RGB等。确保你自定义的输入图片经过了完全相同的处理。程序运行速度异常缓慢。可能运行在CPU的小核Cortex-A53上或者系统处于节能模式。1. 使用taskset命令将进程绑定到大核taskset -c 0-1 ./your_program(假设0-1是A72核心)。2. 检查CPU频率调控器cpufreq-info设置为performance模式sudo cpufreq-set -g performance。内存不足程序被系统终止。模型过大或同时运行多个内存密集型进程。1. 尝试使用更小的模型如MobileNet系列。2. 关闭不必要的后台进程。3. 考虑增加交换分区swap。一个特别的坑在测试MTCNN时我发现如果输入图片分辨率过大程序可能会因为内部内存分配失败而崩溃。这是因为MTCNN内部会构建图像金字塔大图会导致金字塔层数过多或每层图像过大。解决方法是在加载图片后先将其缩放到一个合理的大小如最长边不超过1280像素再送入网络。这个细节在官方Demo中可能没有处理但在实际产品开发中必须考虑。