基于NVIDIA TX2的边缘计算工业检测解决方案

机器视觉检测案例分析杭州灵工数据 北工大AR&AI杭州实验室

2018

机器视觉总体构架英伟达AI芯片+定制工业摄像头

01章节 PART

新一代的计算方案 – 嵌入式边缘计算

? 计算通过嵌入式系统完成，运行在互联网的边缘

? 只需要将运算结果上传云平台，对网络带宽和延迟没有要求

? 成本低，功耗小，适合大规模部署

基于NVIDIA TX2的边缘计算解决方案

? Nvidia专门定制，先进的 AI 边缘设备平台

? 6核CPU架构，256核Pascal架构GPU核心，提供强悍的计算性能

? 算法支持完备，包括 BSP、深度学习库、计算机视觉、GPU 计算、多媒体处理等完整的算法支持

? 功耗低于7.5W

? 尺寸小，模块仅信用卡大小

? 成本可控，单个模块售价，TX1为$299，TX2为$399

? 部署灵活，可单颗运行，也可多颗组成阵列，满足不同层次的计算需求

高效的开发套件 Jetpack

? 硬件支持，包括CUDA、Linux4Tegra、ROS Support

? 底层API:

? 深度学习的TensorRT? cuDNN(CUDA Deep Neural Network)

? 机器视觉 VisionWorks? OpenCV

带纹理金属表面上的缺陷检测02章节 PART

自动化检测挑战

由于元件的表面粗糙，而且具有明显的纹理， 在生产流程的早期阶段通常难以识别典型的 缺陷，比如碰撞、刮痕或污渍。

需要忽略材料中的正常变化和不明显的异常。

光线不均匀可能会引起局部对比度变化，在这 种情况下，污渍和碰撞通常会自己显现。

解决方案

? 有了AI自动检测定制方案后，自动化缺陷检测和分类现在变得极其简单。

? 缺陷样本 软件算法可以基于一组具有代表性的标注图像以及已知合格元件样本图 像自行进行训练。学习系统可以自动组合各种背景信息，以创建元件形 状和纹理的可靠模型。因此，它可以轻松识别下面图片中显示的难以识 别的缺陷：由于碰撞和刮痕具有区别于局部表面预期正常变化和容许偏 差的纹理区域，它们将被视为异常。

带纹理的金属薄板

? 检测表面缺陷时，一个关键挑战在于这些缺陷是成型流程引起的，具有动态性，并且与流程相关。只有在后期的生 产环节完成之后，它们才会变得可见并引起问题。而在后 期的生产环节中，元件会被涂上油漆和清漆，由此产生的 抛光表面会产生镜面反射。只有在这些条件下，碰撞、污 渍和刮痕才会变得容易看见。然而，如果只能在生产流程 的后期阶段才能检测出这些缺陷，那么它们将会引起高昂 的成本。 有了AI检查工具后，它可以在标准照明条件下，基于标准相机采集的图像，轻松检测和分类粗糙材料上任何 方向的典型缺陷。 训练阶段完成后，当在标准GPU上计算时，检测流程能够 在数毫秒内可靠地识别缺陷。

结果和性能

卓越的检测性能---AI套件能够在生产流程的早期阶段基于存在镜面 反射和可接受异常的图像，可靠地检测和分类带复杂纹理 表面上的缺陷。

自主学习 进行检测时无需大量精心调谐和优化的检测算法，相反，它依靠类似于人类的方法，即学习和应用，而且相比人工 检测员，能够提高测试的一致性和可重复性。

快速轻松 只需不到30分钟便可基于一组具有代表性的样本图像完成 学习。

焊缝检测03章节 PART

焊缝检测挑战

焊缝具有许多不同的形状和特征，传统方法通常难以描述它们

需要忽略焊接流程和材料中的正常和预期变化

高度反光和不规则的金属表面会在图像中呈现复杂的纹理

解决方案

软件算法可以基于一组呈现在相机前面的已知合格元件样本图 像自行进行训练，并创建参考模型。 凭借先进的统计算法，可以基于大量包含所有 流程和图像变化的图像进行训练。 当训练阶段完成后，就可以随时继续进行检测。该套件能够可 靠地识别和报告有缺陷的焊缝。

齿轮激光焊接

这个例子显示的是激光焊接的齿轮。

我们为AI检查工具提供了一组具有代表性的合格元件样本图 像，以对可接受焊接元件的外观进行训练。 当训练阶段完成后，检测流程就能够可靠地识别右侧图 片中显示的这类缺陷。

上图：焊缝缺失

中图：焊接过度

下图：焊接不充分，焊缝中有孔洞

结果和性能

卓越的检测性能：能够可靠地检测出不同类型的缺陷，包 括位于高度反光和不规则金属表面上的缺陷。

自主学习：进行焊缝检测时无需任何复杂的缺陷数据库， 相反，它依靠类似于人类的方法，即学习和应用，而且相 比人工检测员，能够提高测试的一致性和可重复性。

快速轻松：只需不到20分钟便可基于一组已知合格元件样 本图像完成学习。

加工元件检测04章节 PART

加工元件检测挑战

通常有许多不同类型的复杂形状

需要忽略因加工工具质量而产生的表面特性变化以及毛坯材料 的特性变化

在照明、相机和表面方向的特殊组合下，一些缺陷才会显现

解决方案

软件算法可以基于一组预先记录的已知合格元件图像样本（记录 过程中，在相机面前旋转加工元件）自行进行训练，以创建参考 模型。 当训练阶段完成后，就可以随时继续进行检测。该套件能够可靠 地识别和报告加工元件表面上的缺陷区域。

AI具有极大的灵活性，执行检测时，可以在相机前 面旋转加工元件，图像采集与元件旋转无需精确同步。

整体硬质合金刀具

第一个例子展示的是经过加工和涂布的刀具。查工具提供了一组具有代表性的合格元件图像样本，以对 发生旋转的柱形元件的外观进行训练。 当训练阶段完成后，检测流程就能够可靠地识别右侧图片中显示 的这类缺陷。 上图：刀口处有破裂

下图：顶端有较小的破裂

医用螺钉

在第二个例子中，检查工具学习完整的医用螺钉模型。同样地， 记录过程中，螺钉会围绕垂直轴发生旋转。该模型基于一组随机选择的 合格元件样本图像组合创建。它包含可接受的表面纹理变化以及复杂的 顶端和自钻式底切。

在检测阶段，AI工具可以报告表面上所有位置的缺陷，如刮 痕、凹陷或污渍。

结果和性能

? 卓越的检测性能：通过在相机面前旋转物体，能够检测不同类型的缺陷。

? 自主学习：进行加工元件检测时无需任何复杂的缺陷数据库，相反，它依靠 类似于人类的方法，即学习和应用，而且相比人工检测员，能够提高测试的 一致性和可重复性。

? 快速轻松：在两个示例中，只需不到20分钟便可完成基于已知合格元件样本 图像的学习。

织物外观检测05章节 PART

织物外观检测挑战

织物图案可能高度复杂，而且位置变化可 能会妨碍一些基于空间频率分析的简单方 法的使用。

视觉外观存在显著变化，包括：因面料的延 展性而产生的变形以及其他变化，比如纱 线厚度。

织物缺陷具有无数形式和类型，明确搜寻 所有缺陷并非一个可行的方式。

解决方案

软件算法可以基于一组已知合 格元件样本的图像自行进行训 练，以创建参考模型。无需繁琐的软件开发！

当训练阶段完成后，就可以随 时继续进行检测。该套件能够 快速识别和报告织物上的缺陷 区域。

最重要的是，无需广泛 的缺陷数据库！

色织格子织物

在第一个色织织物例子中，我们为AI检查工具提供了一 组具有代表性的合格元件图像样本，供系统在完全无监督的模式下自 行学习纺织图案、纱线特性、颜色和可接受的缺陷。 当培训阶段完成后，检测流程就能够快速识别右侧图片中显示的这类 缺陷。

上图：非预期的线迹

下图：纬纱浮纹

色织条纹织物

在第二个织物例子中，跟前面的例子一样，VAI检查工具可以基于 一组随机选择的合格元件样本图像自行学习复杂针织图案的模型。 在检测阶段，红色检查工具可以报告面料上如右侧图片中显示的这类 缺陷区域： 经纱和纬纱中的针织成圈缺陷

结果和性能

? 这种新型方法将人类视觉检测性能引入了织物自动化质量控制设备。凭借以下优势， 它完全不同于传统的机器视觉解决方案：

? 自主学习：进行织物检测时无需任何预先定义的缺陷数据库。相反，系统能够在完全 无监督的模式下自行学习纺织图案、纱线特性、颜色和可接受的缺陷。 类似于人类：它在准确度、测试一致性和速度方面胜过最优秀的质量检测员。

? 性能卓越：在两个示例中，只需不到10分钟便可基于已知合格元件样本图像完成学 习。它能够在织物加工的每个阶段（轧花、纺纱、切割、编织/针织、预处理、染色/印 花、整理和缝合）识别出大多数类型的织物制造缺陷。