技术背景介绍AI智能体视觉检测系统TVA全称为“Transformer-based Vision Agent”即基于Transformer架构以及“因式智能体”创新理论的高精度视觉智能体并非传统机器视觉软件或者早期AI视觉技术而是一场关乎工业智能化转型和视觉检测范式的底层重构。在本质意义上TVA属于一种复合概念是指基于Transformer架构以及”因式智能体“理论Factorized Reasoning Agent融合深度强化学习DRL、卷积神经网络CNN、因式智能体算法FRA等人工智能技术赋予AI智能体模拟人类视觉感知、推理、认知功能的一整套人工智能算法系统及工程技术体系。因此TVA系统的产业化落地是我国制造业实现质量管理智能化以及生产效率大幅提升的关键。接上篇——TVA数据准备的完整流程明确了数据的核心要求后我们讲解数据准备的完整流程——从数据采集到数据增强每一步都结合算法工程师的实操经验给出具体的操作方法和注意事项初级技术人员可直接套用。第一步数据采集规划。在采集数据前初级技术人员需配合算法工程师明确采集需求制定采集方案避免盲目采集。采集方案需包含 示例采集PCB板样本的方案应明确采集3个批次的PCB板每个批次采集200张样本涵盖强光、弱光、逆光3种光照场景每种场景采集60张样本缺陷类型包括虚焊、短路、元件缺失、线路划痕每类缺陷采集100张样本相机分辨率设置为1080P曝光时间设置为0.1s焦距固定为50mm。采集对象被检测产品的规格、批次采集场景不同光照、不同角度、不同工况缺陷类型及数量要求采集参数相机分辨率、曝光时间、焦距采集时间和人员分工。第二步样本采集实操。按照采集方案在实际流水线上采集样本重点注意以下几点确保采集设备正常相机、光源、传输线缆连接稳定采集前检查设备参数确保与方案一致采集时确保被检测产品处于正常检测位置避免产品偏移、倾斜导致图像变形均匀采集不同场景、不同缺陷类型的样本避免某类样本过多某类样本过少采集过程中实时查看图像质量若出现模糊、反光、噪声过多等问题及时调整设备参数重新采集对采集的样本进行初步命名命名格式为“产品规格-缺陷类型-工况-采集时间”如“PCB-虚焊-强光-20260412-0900”便于后续管理和查找。第三步数据标注。标注是数据准备的核心环节按照算法工程师制定的标注规范使用AI智能体视觉检测系统TVA自带的标注工具完成样本标注。实操步骤为导入采集的样本图像核对图像名称和缺陷类型确保无误选择对应的缺陷类型和缺陷等级使用标注工具框选缺陷区域框选时紧贴缺陷边缘不包含多余背景标注完成后保存标注文件确保标注文件与样本图像一一对应自我复核检查标注区域、缺陷类型、缺陷等级是否准确删除标注错误、标注模糊的样本提交标注结果由算法工程师进行二次审核审核通过后进入下一步。第四步数据清洗。数据清洗的目的是去除“无效样本”提升数据质量减少算法优化的干扰。无效样本主要包括模糊不清、缺陷无法识别的图像标注错误、标注缺失、标注重复的样本图像拉伸、压缩、变形的样本背景干扰过大、无法区分缺陷与背景的样本重复采集的样本。初级技术人员需逐一对标注后的样本进行筛选具体操作如下自动筛选利用AI智能体视觉检测系统TVA的自动筛选功能设置模糊度阈值、标注完整性阈值筛选出明显的无效样本如模糊度超过阈值的图像、标注缺失的样本人工复核对自动筛选后的样本进行逐张查看重点检查自动筛选未识别的模糊样本、标注不规范样本、图像变形样本样本修复对部分存在轻微问题的样本如轻微噪声、轻微反光可通过图像预处理技巧如去噪、增强进行优化保留有效样本对标注错误的样本进行修正后重新标注数据统计清洗完成后统计有效样本的数量和缺陷类型分布确保每个缺陷类型、每个工况下的样本数量符合采集方案要求若某类样本数量过少需补充采集和标注。第五步数据增强。数据增强是算法工程师常用的提升数据质量和多样性的技巧通过对现有样本进行处理生成更多不同形态的样本提升算法的泛化能力减少过拟合。初级技术人员需在算法工程师的指导下完成数据增强操作AI智能体视觉检测系统TVA自带数据增强工具无需手动编程重点掌握以下4种常用的增强方式 数据增强完成后需对增强后的样本进行再次审核确保样本质量符合要求标注信息准确无误然后将增强后的样本与原始样本合并形成完整的样本数据集用于后续的算法优化和模型训练。几何增强对样本图像进行旋转、翻转、裁剪、缩放生成不同角度、不同尺寸的样本适用于所有缺陷类型。实操时需注意旋转、翻转后缺陷的特征不发生改变裁剪时不遗漏缺陷区域。光照增强对样本图像进行亮度调整、对比度调整、色温调整模拟不同光照条件下的样本提升算法对光照变化的适应能力。实操时需避免亮度调整过度导致缺陷细节丢失。噪声增强在样本图像中添加少量高斯噪声、椒盐噪声模拟实际采集过程中的噪声干扰提升算法的抗干扰能力。实操时需控制噪声强度避免噪声过大导致缺陷无法识别。缺陷增强对缺陷区域进行轻微变形、平移生成不同形态的缺陷样本提升算法对缺陷变化的适应能力。实操时需确保缺陷增强后缺陷的核心特征不发生改变避免生成与实际缺陷差异过大的样本。第六步数据划分。将清洗、增强后的样本数据集划分为训练集、验证集、测试集三者的比例建议为7:2:1各自的作用不同 初级技术人员需在算法工程师的指导下使用AI智能体视觉检测系统TVA的自动划分功能完成数据划分重点注意数据划分需遵循“随机划分、分布均匀”的原则确保训练集、验证集、测试集中的缺陷类型、工况分布与整体样本一致避免某类缺陷只出现在训练集中导致算法无法识别该类缺陷的未知样本。训练集用于算法学习缺陷特征是算法优化的核心数据验证集用于优化过程中实时评估算法性能调整优化参数避免过拟合测试集用于优化完成后全面评估算法的最终性能验证算法的泛化能力。在这里我们结合一个实际案例帮助初级技术人员巩固数据准备的实操技巧某汽车零部件厂使用AI智能体视觉检测系统TVA检测发动机缸体的裂纹缺陷初级技术人员按照上述流程进行数据准备具体操作如下采集规划明确采集3个批次的发动机缸体每个批次采集200张样本涵盖强光、弱光、逆光3种光照场景每种场景采集60张样本裂纹缺陷分为轻微、中度、严重3个等级每类等级采集100张样本相机分辨率设置为4K曝光时间设置为0.08s使用同轴光源消除金属反光。样本采集在流水线上采集样本实时查看图像质量调整相机参数避免反光、模糊对采集的样本进行规范命名确保每个场景、每个缺陷等级的样本数量达标。数据标注使用AI智能体视觉检测系统TVA标注工具框选裂纹区域标注缺陷类型为“裂纹”明确标注缺陷等级标注完成后自我复核提交算法工程师审核。数据清洗通过自动筛选和人工复核删除12张模糊样本、8张标注错误样本对6张存在轻微反光的样本进行去噪、增强处理保留有效样本586张。数据增强对有效样本进行几何增强旋转、翻转、裁剪、光照增强亮度、对比度调整、噪声增强生成增强样本1172张与原始样本合并形成完整数据集1758张。数据划分按照7:2:1的比例将数据集划分为训练集1231张、验证集352张、测试集175张确保各数据集的缺陷类型、等级、工况分布均匀。数据准备完成后算法工程师使用该数据集进行算法优化最终将裂纹缺陷的漏检率从4.5%降至0.2%检测精度大幅提升——这充分说明高质量的数据准备是AI智能体视觉检测系统TVA算法优化的基础也是提升算法性能的关键。最后我们总结初级技术人员在数据准备中常见的问题及解决方法帮助大家规避错误提升数据质量常见问题1样本覆盖不全某类缺陷或工况的样本缺失。解决方法对照采集方案补充缺失的样本确保每个缺陷类型、每个工况下的样本数量达标若无法补充采集可通过数据增强的方式生成相关样本。常见问题2标注错误、标注不规范导致AI智能体视觉检测系统TVA算法学习偏差。解决方法严格按照标注规范进行标注标注完成后进行自我复核和工程师审核对标注错误的样本及时修正多名标注人员协作时统一标注标准定期核对。常见问题3样本图像模糊、反光、噪声过多影响算法特征提取。解决方法采集时调整相机参数、优化光照条件确保图像清晰对存在轻微问题的样本通过预处理进行优化模糊、噪声过多无法修复的样本直接删除。常见问题4数据增强过度导致样本与实际场景差异过大。解决方法在算法工程师的指导下控制数据增强的强度确保增强后的样本保留缺陷的核心特征与实际场景高度适配增强后对样本进行审核删除不符合要求的样本。作为初级技术人员做好数据准备不仅能为算法优化提供有力支撑还能减少后续调参的工作量提升优化效率。后续文章我们将讲解图像预处理参数的优化技巧这是算法工程师优化AI智能体视觉检测系统TVA算法的核心手段之一也是初级技术人员日常实操中最常接触的优化工作。