背景

随着工业4.0的提出，全球越来越多的制造企业在云计算、大数据、人工智能和5G等技术的共同作用下开展工业4.0的实践。以新一代信息技术与先进制造技术深度融合为基本特征的智能制造，已成为这次新工业革命的核心驱动力。

智能制造是基于物联网、云计算、大数据等新一代信息技术，贯穿于设计、生产、管理、服务等制造活动各个环节，具有信息深度自感知、智慧优化自决策、精准控制自执行等功能的先进制造过程、系统和模式的总称。要求传统制造业进行数字化、自动化、智能化转型升级，在这过程中人工智能技术广泛应用于制造业的研发设计、制造过程及运维等阶段以实现制造业产品全生命周期的自动化分析、推理、判断和决策。许多产品的制造过程涉及到一系列的步骤，因此，如果最终产品没有通过检验，有时难以确定问题来源。人工智能、知识图谱等智能技术能够有效地实现多源异构数据融合与关系探索，例如，在生产质量追溯中，可以利用图径，快速定位，分析问题的原因，实现任意环节质量可追溯及推理关联出对其他环节的影响，有效防止问题扩散。

目前人工智能可以为制造企业提供了视觉检测、自动化控制、智能化校准以及问题根源分析等解决方案。此外，人工智能还可在制造业领域中的自适应制造、自动质量控制、预防性维护、无人驾驶等领域应用。但是对于传统制造企业在驾驭AI技术方面仍然面临很多问题，以下交流四个方面就是本期活动的交流总结，供大家参考！

一、 智能制造、智能质检 平台要求及实践难点

1、智能制造，AI质检方面有哪些场景和突破？

英伟达EGX在制造行业的质检方面，已经有哪些落地场景？具体是如何实现的？

嘉宾：xuchl 产品总监 , 中科创达软件股份有限公司
AI质检的应用场景广泛，可涵盖95%以上的工业场景检测需求，目前在多个工业细分领域均有落地，例如 液晶面板，半导体，晶圆加工，芯片加工，汽车制造、 汽车电子 、新能源等场景； 当前工业行业质量控制的主要障碍主要包含： A、 产品迭代周期快， dummy 期短，换型效率与模型精度要求高； B、 细分领域零散，产品种类多样，难以使用一个通用模型覆盖所有应用场景； C、 数据采集设备行业普及率低，行业数据存量低，难以收集足够数量的样本满足训练需求； D、 数据质量参差不齐，人员标注效果会严重影响模型训练的效果与兼容性； 针对如上问题，目前AI质检已取得的技术突破点有基于正样本的异常检测，基于小样本的模型快速迭代，基于未知缺陷的分割等。

嘉宾回复： bjitnan DevRel , NVIDIA
在制造业的质检方面，尤其是基于深度学习的缺陷检测中，我们半导体，精密3C，液晶面板，动力电池，材料检测等行业均有成功的使用案例，特别是高精密制程，极小或极快，恶劣环境或大些制造设备内部的缺陷场景，AI的能力是客户特别依赖的能力，可以分享一张架构参考图，也可以和我们取得联系。

2、基于AI技术实现智能质检？

汽车行业如何基于AI技术实现智能质检？有没有车企的成功案例

嘉宾: xuchl 产品总监 , 中科 创 达 软 件股份有限公司
举几个例子： 1、发动机涂胶检测 检测背景： 胶线检测主要对象是汽车发动机以及变速器的表面涂胶。检测内容包括检测胶线是否有断胶，胶线宽度是否合格，胶线是否有偏移等，根据检测条件的不同，可分为灰底黑胶，黑底黑胶，灰底灰胶，根据检测手段的不同，可分为一次检测整个工件，分段检测，跟踪检测，涂胶异常会造成危险的发动机/变速箱安全隐患，易进水，短路，造成严重后果。 检测处理过程：

2 、整 车 外 观检测 检测背景： 整 车组 装完成后，由于混 线 生 产 ， 针对 不同的配置，整 车 外 观 各零部件有 细节 差异， 现阶 段主要采用人工目 检 ，而人眼通常无法 连续 、 稳 定地完成 这 些 带 有高度重复性和智能性的工作，且人工 检测 易 产 生 视觉 疲 劳 ，造成 产 品的 质 量波 动 。 解决方案： 通 过 AI 检测识别系统完成整车外观零部件的错漏装检测，包含两个部分：第一部份由硬件的构成，其中包含摄像头，光源、传感器等实现图像的自动采集；第二部份由软件构成，其中包含自动识别算法和内外数据对接软件系统，实现图像数据的处理与交互 ；

3 、 钣 金冲 压 件外 观 缺陷 检测 通 过 人工智能技 术实现 缺陷 检测 ，主要 针对 汽 车钣 金冲 压 件外 观 ，主要 检测 表面瑕疵及开孔有无 / 尺寸等

嘉宾回复： 强哥之神 架构 师 , 上汽云 计 算中心
工厂质量控制体系就是为满足产品的质量要求，而实时进行的质量测量和监督检查系统。特别是在汽车零部件、3C 产品零部件与外壳、芯片、纺织品、光伏等行业，外观质量检测是非常重要的一个环节，极大影响着产出产品的质量和 产品产出速度，受限于大量的质检人员个体差异和生理限制，测量工具不能将结果及时数字化和智能化等，经常导致了 生产质量事故频发，管理人员难以准确的判断质量管控运行状态。

5G+AI 工业视觉充分发挥先进技术有优势，被引入到 零部件出厂检、入场检、安装检、在线检、抽检和出厂检等各个环节，解决传统管理上的难点和痛点，助力企业质量提升。

5G+AI 的外观质量检查方案，依托 AI 深度视觉检测技术和 5G 通信技术进行融合，可在复杂纹理图像分类和背景干 扰的情况下大幅度减少漏检误检，缺陷阀精确可控，同步实现检测结果数据实时同步，实现数据模型高效快速迭代闭环， 不断提升现场模型准确率。

案例：

某汽车主机厂总装车间，汽车生产的最后一道工序，还是需要依靠大量的人力对车身进行装配，针对车灯检测的场景，由于混线生产检测，检测人员完全依赖经验对车型的车型进行检测，此外由于总装线上的灯光干扰严重，检测人员也需要避免外界光源对车灯检测的干扰，并且检测节拍较短，对于检测人员的检测速度上也是有很高的要求。现有检查方案如下图所示;

目前传统人工质检面临质量、特殊场景应对和信息集成的问题:

1、质量:人工质检中需要有经验的质检人员基于 20+ 种类型的车清楚知道什么零部件配什么车型，对人的经验要求 高，新员工不熟悉车型会存在漏检问题; 2、长时间在强光源场景下，需要做相关的人因防护，避免眼睛长时间接触光源。 3、信息集成:目前无法做到无法做到车型和车灯物料匹配，物料偏差后不可追溯。

解决方案： 5G+AI 的 质 量 检查 方案，依托 AI 深度 视觉检测 技 术 和 5G 通信技 术进 行融合，基于 MES 系 统 型号 BOM 数据自 动 识别不同车型同一款车型支持不同配置， 8s 内自 动 完成 检测 ， 检测 准确率 99%+ ，同 时 存 储 相 应 的 过 程数据可以基于 车 型号可追溯。

3、AI技术实现智能质检**平台要求？

AI技术实现智能质检平台、操作系统、硬件和软件要求？可靠性和安全性如何？效率能达到多少？

嘉宾： bjitnan DevRel , NVIDIA

建议您参考英伟达EGX的边缘加速平台，包括底层的认证服务器，中间的软件堆栈层，支持上层部署客户化的应用平台。

嘉宾： 强哥之神 架构 师 , 上汽云 计 算中心

从这个架构图中，我们可以看到智能质检平台涉及的系统很多，需要用到的软硬件当然也不一样，终端的设备一般是各种工控机，上面一般是普通的 windows 系统或者就是简单的片上系统，或者嵌入式系统。云端一般是各种服务器，一般是Linux系统。

采用云边端这种方案，在可靠性和安全性都能得到保证。

在该架构中，相机通过有线连接到工控机(或其他处理设备)，工控机和 AI 视觉云平台通过 5G 网络连接，实现设 备状态和软件版本的在线可视化管理，同时将瑕疵、误杀、疑似等图像上传到视觉 AI 云平台，快速迭代模型并自动下发， 让本地侧的设备越来越聪明;

现场推理与闭环控制功能，能满足严苛的超低实时性要求。如 3.1 节所述，不同行业的生产节拍不同，不同的应用 允许工业视觉处理及根据结果进行设备控制的时间不同。因此，根据应用场景提供如下参考:

4、应用AI技术实现智能质检时应注意那些事项？

企业有离散式生产制造和流程式生产制造，两种生产模式在应用AI技术实现智能质检时应注意那些事项？中小企业如何选型？

嘉宾：强哥之神 架构师 , 上汽云计算中心
我分别讲一下这两种制造。

一、离散型智能制造
1.车间/工厂的总体设计、工艺流程及布局均已建立数字化模型，并进行模拟仿真，实现规划、生产、运营全流程数字化管理。
2.应用数字化三维设计与工艺技术进行产品、工艺设计与仿真，并通过物理检测与试验进行验证与优化。建立产品数据管理系统（pdm），实现产品设计、工艺数据的集成管理。
3.制造装备数控化率超过70%，并实现高档数控机床与工业机器人、智能传感与控制装备、智能检测与装配装备、智能物流与仓储装备等关键技术装备之间的信息互联互通与集成。
4.建立生产过程数据采集和分析系统，实现生产进度、现场操作、质量检验、设备状态、物料传送等生产现场数据自动上传，并实现可视化管理。
5.建立车间制造执行系统（mes），实现计划、调度、质量、设备、生产、能效等管理功能。建立企业资源计划系统（erp），实现供应链、物流、成本等企业经营管理功能。
6.建立工厂内部通信网络架构，实现设计、工艺、制造、检验、物流等制造过程各环节之间，以及制造过程与制造执行系统（mes）和企业资源计划系统（erp）的信息互联互通。
7.建有工业信息安全管理制度和技术防护体系，具备网络防护、应急响应等信息安全保障能力。建有功能安全保护系统，采用全生命周期方法有效避免系统失效。

通过持续改进，实现企业设计、工艺、制造、管理、物流等环节的产品全生命周期闭环动态优化，推进企业数字化设计、装备智能化升级、工艺流程优化、精益生产、可视化管理、质量控制与追溯、智能物流等方面的快速提升。

二、流程型智能制造
1.工厂总体设计、工艺流程及布局均已建立数字化模型，并进行模拟仿真，实现生产流程数据可视化和生产工艺优化。
2.实现对物流、能流、物性、资产的全流程监控，建立数据采集和监控系统，生产工艺数据自动数采率达到90%以上。实现原料、关键工艺和成品检测数据的采集和集成利用，建立实时的质量预警。
3.采用先进控制系统，工厂自控投用率达到90%以上，关键生产环节实现基于模型的先进控制和在线优化。
4.建立生产执行系统（mes），生产计划、调度均建立模型，实现生产模型化分析决策、过程量化管理、成本和质量动态跟踪以及从原材料到产成品的一体化协同优化。建立企业资源计划系统（erp），实现企业经营、管理和决策的智能优化。
5.对于存在较高安全与环境风险的项目，实现有毒有害物质排放和危险源的自动检测与监控、安全生产的全方位监控，建立在线应急指挥联动系统。
6.建立工厂通信网络架构，实现工艺、生产、检验、物流等制造过程各环节之间，以及制造过程与数据采集和监控系统、生产执行系统（mes）、企业资源计划系统（erp）之间的信息互联互通。
7.建有工业信息安全管理制度和技术防护体系，具备网络防护、应急响应等信息安全保障能力。建有功能安全保护系统，采用全生命周期方法有效避免系统失效。

通过持续改进，实现生产过程动态优化，制造和管理信息的全程可视化，企业在资源配置、工艺优化、过程控制、产业链管理、节能减排及安全生产等方面的智能化水平显著提升。

其实智能质检不需理会采用哪种生产制造，如果是基于云边协同的方案，只要满足数据能够上来，模型能够下发就可以。

如果是传统的终端方案，即希望对端侧智能设备、工控机等设备做进一步产品优化，降低端侧成本，减少部署的困难时，可在设备中集成 5G 模组，以灵活的适配各类应用场景;并可在端侧集成智能加速模块或其他专用芯片以提升推理能力及实现如压缩等 特定功能，如集成华为 MH5000 5G 模组、Atlas200 AI 加速模块或海思 IPC 芯片等。

嘉宾：xuchl 产品总监 , 中科创达软件股份有限公司
制造业当前最关注的是降本增效和自动化。结合在多家工厂不同类型产线上的AI质检方面的实践，我们总结出来三个观点跟大家分享。

第一点是对性能的要求；
想要实现减员增效，产品的性能一定是第一位的。拥有最硬核的性能指标，是边缘计算、人工智能等技术在产业中落地的最关键的要求。

以人工智能在工业质检中的应用为例，行业主要考察质检方案的准确率、过检率、漏检率、整体方案的人工替代率等方面的指标，这些指标不过硬，是无法达到减员增效的目的的。另外，整体方案的系统执行效率，是否可以帮助有效提升产线的产能，也是从系统化工程化的角度需要考察的最重要的产品指标之一。不能说我的AI算法的指标全球第一，但因为某些环节的执行瓶颈，导致无法有效的提升产线的产能。以上的这些我们都把它归为对产品性能指标的要求。

第二点是对快速交付的要求；
为什么谈快速交付，今天想用边缘计算和人工智能技术帮助制造业做智能化的升级，必须面对柔性生产的问题。随着技术的发展，精密制造和传统制造都在打造自己的柔性生产线，柔性生产的好处我们就不谈了，主要看一下它对人工智能的要求：柔性产线上，产品换型导致检测对象发生变化，如何快速适配新的检测对象，在几天甚至一天内完成新品质检方案的上线，这是我们的质检方案目前面临的最高的快速交付要求。客户的一个生产周期可能就几周，甚至几天，如果我的新方案上线要花一两个月，等我上线了，客户的产线早就切换到别的产品了，这肯定是不行的。快速交付，其实是对系统能力和工程能力的挑战，从数据采集与处理、算法模型的兼容性、系统模块化、平台化的架构，现场实施人员操作的简单性和易用性等方面，都有很高的要求。

第三点是对持续交付的要求；
这里的持续交付，包括性能指标的持续提高，伴随产线调整的系统改造，伴随管理升级的技术方案升级，以及系统运行过程中从生产和运维角度发现的细节需求的实现，支撑我们的方案不断优化，不断提升客户价值，持续满足客户需求的保障。从技术的纬度，会涉及到

• 数据快速采集，清洗，标注，快速训练
• 模块化的训练与推理流程的架构设计
• 相对更通用的算法模型
• devops和容器化技术的应用

5、智能质检方面，机器学习算法的数据来源包含哪些？如何才能优化算法使之更加智能化？

嘉宾：bjitnan DevRel , NVIDIA
这是个很好的问题，数据来源通过传感器或视觉传感器采集，对于传感器数据，综合历史数据量，需要考虑数据清洗等工作，对于因子的分析需要使用到机器学习算法库及模型，建议参考rapids.ai，我们开源的大数据开源加速框架，对于视觉传感器，对于检测的种类和特点，需要在模型选择及模型加速方面做更多的投入，TAO，TRT，Triton都是英伟达推荐的工具链，TAO只要支持模型迁移学习及训练，TRT主要支持模型推理加速，Triton是一个开源的推理服务框架，帮助客户搭建自己的推理服务用语检测等工程的落地。

嘉宾：强哥之神 架构师 , 上汽云计算中心
智能质检属于工业视觉领域，数据来源也比较多，比如视觉定位传感器、读码器、红外工业相机、智能相机、工业事件监控相机、IPC摄像机等。

需要更加智能化，我们可以通过端 + 5G 网络 + 边缘云 + 云服务的协作，基于计算机视觉模型、算法库及样本图像，结合深度学习 AI 算法，完成数据预处理、数据标注及训练生成数据模型。我们再通过 5G 网络连接，可以使得产线上每个工业视觉应用不再是独立的数据孤岛，并让工厂中央生产控制系统实时获得每个被检测对象的结果、状态，纳入全工厂生产管理系统，借助云端训练平台能实时获取多个现场端的样本图像，快速更新及实时部署优化后模型，最后借助云边端协同技术，实现新检测应用的快速部署及推广，使能柔性生产，并实现现场设备的云端统一维护监控，以达到更加智能化。

6、AI技术实现智能质检会涉及到哪些技术或工具？

嘉宾：bjitnan DevRel , NVIDIA
如果是基于AI实现，深度学习是一方面重要的能力，另外平台能力及工程能力也非常重要。

嘉宾：强哥之神 架构师 , 上汽云计算中心
一般会涉及到“端 + 5G 网络 + 边缘云 + 云服务”的协同技术，基于计算机视觉模型、算法库及样本图像，结合深度学习 AI 算法，完成数据预处理、数据标注及训练生成数据模型，并实现模型管理、服务发布，模型下载分发，模型效果评价，模型加密管理等。

7、人工智能质检常见的方式，准确率 及其优缺点？

我们公司现在有 表检仪，通过拍照，然后进行标准样品比对，通过算法分析提示质量缺陷。 现在还有其他方式么？哪种方式准确率高， 优缺点是什么，能否介绍一下

嘉宾：强哥之神 架构师 , 上汽云计算中心
目前工业领域中大量企业的质量检测环节由人工质检实现，即主要依靠人肉眼来进行缺陷识别，除此之外，少量企业使用传统机器视觉技术进行质检，你们公司应该就是这种。

这些方式有一些显著痛点，例如人工质检存在的主观因素对判定结果影响较大，难以实现标准化；人工质检存在视觉疲劳，无法保证全时段内的产品质检准确率，漏检误检率高；部分场景下人工质检会影响一定的人身安全；人力成本不断提升，存在招工难留存难等问题，同时新招入的员工还需投入大量的培训成本；人工质检无法对历史结果进行有效的积累和利用，对自动化生产流程的适配性较弱；

传统视觉质检依赖于物体的规则度，需要持续调参，模型优化困难，且对不规则的背景和物体的缺陷识别准确率较差；同时由于传统视觉的缺陷，无法实现模型共享，且无法移植/复制模型，模型共享性差。

与人工或传统视觉技术质检相比，为了提高准确率，现在一般使用 AI 技术进行质检。这种技术的优势有：

• 对物体不规则缺陷的识别较传统机器视觉技术具有显著优势，准确率更高，且受外部环境影响低
• 模型可基于用户提供的数据进行持续的迭代训练，不断提升模型的准确率
• 可智能发现新缺陷，在产品出货前进行缺陷控制
• 可进行智能缺陷合成，有效解决部分缺陷的图像数据不足问题
• 赋能最终用户，实现用户自主完成模型的训练预测闭环，自主优化升级模型

嘉宾：bjitnan DevRel , NVIDIA
比较常用的是机器视觉和智能AI视觉的方式，两者互相补充，前者实现定位，识别，跟踪，计量等功能，后者更多聚焦业务及缺陷，处理视觉可见维度中更高维的信息并转化价值。

8、人工智能质量检测，通过什么技术或者算法实现质量对比？

嘉宾：xuchl 产品总监 , 中科创达软件股份有限公司
主要通过视觉成像技术，应用AI算法实现质量检测，例如对于缺陷图像，采用基于神经网络的缺陷图像深度学习技术，加上传统计算机视觉技术，做识别与分类，在实际生产中考察AI质检方案的准确率、过检率、漏检率、整体方案的人工替代率等方面的指标。

嘉宾：强哥之神 架构师 , 上汽云计算中心
实现质量对比，一般是看最终的质检效果。与人工或传统视觉技术质检相比，为了提高准确率，现在一般使用 深度学习 技术进行质检。这种技术的优势有：

• 对物体不规则缺陷的识别较传统机器视觉技术具有显著优势，准确率更高，且受外部环境影响低
• 模型可基于用户提供的数据进行持续的迭代训练，不断提升模型的准确率
• 可智能发现新缺陷，在产品出货前进行缺陷控制
• 可进行智能缺陷合成，有效解决部分缺陷的图像数据不足问题
• 赋能最终用户，实现用户自主完成模型的训练预测闭环，自主优化升级模型

9、汽车行业 如何通过AI智能质检提供质检效率？

汽车行业 如何通过AI智能质检提高质检效率，投入费用是多少，是否有相关介绍？

嘉宾：xuchl 产品总监 , 中科创达软件股份有限公司
汽车行业的质检场景相对而言比较离散化，想要实现减员增效，性能一定是第一位的。拥有最硬核的性能指标，是人工智能技术在质检中落地的最关键的要求。质检的效率，主要考察质检方案的准确率、过检率、漏检率、整体方案的人工替代率等方面的指标，这些指标不过硬，是无法达到减员增效的目的的。另外，整体方案的系统执行效率，是否可以帮助有效提升产线的产能，也是从系统化工程化的角度需要考察的最重要的产品指标之一。不能说所采用的AI算法的指标全球第一，但因为某些流程的执行瓶颈，导致无法有效的提升产线的产能。

嘉宾：强哥之神 架构师 , 上汽云计算中心
和其他行业一样，汽车行业，一般也是通过端 + 5G 网络 + 边缘云 + 云服务的协作，基于计算机视觉模型、算法库及样本图像，结合深度学习 AI 算法，完成数据预处理、数据标注及训练生成数据模型。我们再通过 5G 网络连接，可以使得产线上每个工业视觉应用不再是独立的数据孤岛，并让工厂中央生产控制系统实时获得每个被检测对象的结果、状态，纳入全工厂生产管理系统，借助云端训练平台能实时获取多个现场端的样本图像，快速更新及实时部署优化后模型，最后借助云边端协同技术，实现新检测应用的快速部署及推广，使能柔性生产，并实现现场设备的云端统一维护监控，以提高质检效率。

根据华为和百度联合编著的《智能工业视觉解决方案白皮书V1.0》，在2018年，全球用于工业自动化领域的机器视觉技术市场规模达44.4亿美元，预计2023年将达122.9亿美元，年复合增长率高达21%，投入费用这样算下来，成本不小。

二、 AI 平台、GPU、AI应用场景

1、加速计算平台网络质量是否有较高的要求？**

加速平台是否可以理解是一个“中心+边缘”的分布式计算管理软件，这种架构的软件对网络的要求如何？

嘉宾： xuchl 产品总监 , 中科 创 达 软 件股份有限公司
基于工业质检场景的中心+边缘分布式计算，可大大降低对网络带宽和延时的需求，实现逻辑如下： 1、工业生产是实时的，甚至是高节拍的，针对产品的外观检测进行实时处理，对网络的带宽和延时要求极高，故需要将AI推理放到边缘侧，以满足实时检测/高节拍检测的需求； 2、AI算法的训练对硬件资源要求较高，但是工业场景下，AI算法的训练频次和迭代次数并不频繁（主要是产品的升级迭代周期相对较长），如果在边缘侧部署训练功能，会造成大量的硬件资源闲置；故将这部分功能放到中心化，通过统一规划的硬件资源，满足不同产线的AI算法训练需求，并且由于频次不高，大幅降低了对于网络带宽/延时的要求，更贴合实际生产；该部分功能通过私有云和公有云均可实现； 上述模式主要适用于大型企业/集团，需要同时管理多条产线或工厂（几十条以上）

嘉宾： bjitnan DevRel , NVIDIA
是的，可以理解成这样的架构，从大的趋势看，5G是一个很好的选择，特别是在环境复杂的工作现场，同时5G具备多连接低延时且工作分片的能力，比较适合云边协同通信的工作场景，当然我们的客户很多也在使用以太网做这样的架构部署。

2、AI平台选型的原则？

目前AI平台较多，如何从众多的平台中选择最适合自己企业的平台，有哪些因素可以重点考虑？

嘉宾： 强哥之神 架构 师 , 上汽云 计 算中心
要选择好自己的平台，重点从以下几方面考虑：
1、功能：功能是否能满足企业需求，才是最重要的，比如：
· 是否支持视频、图像的标注、预训练等；
· 是否支持工业制造的一些预置模型等；
· 是否能支持边缘模型管理与下发、更新等；

2、稳定性：稳定性是一个平台至关重要的，如果功能得到了保证，但一直不稳定，系统经常出现问题，那么平台也是不可用的

3、安全性：如果在企业内部使用还好，需要涉及到边端的，那么需要考虑是否有安全暴露的风险，是否有被攻击的风险，采用容器部署还是虚机部署，业务应用发生安全逃逸如何避免等；

4、价格：价格也是选择一个平台的经济角度需要考虑的

嘉宾： bjitnan DevRel , NVIDIA
建议您参考英伟达EGX的企业边缘加速平台，包括底层的认证服务器，中间的软件堆栈层，支持上层部署客户化的应用平台。 几个需要考虑的问题： 1. 平台支持哪些AI应用系统 2. AI应用的部署方式和位置（中心处理 or 边缘实时处理） 3. 对应应用的特点，算力如何匹配 4. 持续升级的迭代能力，即如何实现云边协同or DevOps 5. 与已有系统融合的问题

3、人工智能在制造业信息化中，具体有什么应用场景？**

嘉宾： bjitnan DevRel , NVIDIA
人工智能在制造业信息化中，还是有蛮多的使用场景，简单列举一些如下，工程设计仿真阶段，芯片设计，复杂PCB设计仿真，CAE有限元仿真，智能工厂方面，机器视觉，智能缺陷检测，良率及虚拟量测，安全生产视频分析，自主机器人及仿真，人机交互，供应链优化，设备预防性维护，工业大数据分析，数字孪生等场景

嘉宾： 强哥之神 架构 师 , 上汽云 计 算中心
有很多场景，比如设备监控、智能预测、智能质检、安全防护等各方面，以智能质检为例，我举两个例子。比如：

场景 1、产品在线外观质量检测
以某 3C 产品供应链企业产品外观检测为例，每月人工视觉检 测人力成本超过 200 万，质检人力员工占比占到 20%~40%，且 还存在漏检等质量问题。

目前人工质检面临质量、成本、特殊场景应对、信息集成的问题，具体如下:
· 质量:人工质检的主观因素对判定结果的影响较大，基于视 觉疲劳，会存在漏检问题;
· 信息集成:没有对生产数据进行有效积累和利用 , 无法后续推进流程再造和质量分析，对自动化生产流程适配较弱;
· 成本:人员流动较高，由此带来的培训和用工成本高，用工 难招工难;
· 效率:传统机器视觉通过程序化计算逻辑进行视觉检测 对此类复杂表面检测抗干扰能力差，误检过高，人员复判 工作量大。

5G+AI 的外观质量检查方案，依托 AI 深度视觉检测技术和 5G 通信技术进行融合，可在复杂纹理图像分类和背景干 扰的情况下大幅度减少漏检误检，缺陷阀精确可控，同步实现检测结果数据实时同步，实现数据模型高效快速迭代闭环， 不断提升现场模型准确率。

场景 2、品牌商多工厂统一质检标准
在 3C 行业、汽车行业，上游零部件加工厂家和 OEM 主机厂零部件测量标准的一致性，OEM 厂家接收零部件后如 何快速、高效地按照标准抽检零部件质量，并实时将检测结果数字化被各业务系统调用并做到可追溯，是当前行业面临 的普遍痛点。基于 OEM 主机厂构建的 AI 质检平台和移动的标准检测 AI-Box，通过 5G 低时延、大带宽连接，将很好地 解决当前中小型零部件来料质量控制面临的问题。

如某汽车齿毂关键尺寸测量和检查设备，OEM 主机厂统一构建 AI 质检平台，并和零部件厂家共同定义质量标准， 采用深度学习和传统算法相结合，使用结合 5G 终端的 AI-Box 视觉检测设备，AI-Box 的检测后通过 5G 网络向 AI 平台 和相关业务系统反馈检测结果，共享检测数据，实现高效率，高准确性，并不断完善现有 AI 质检模型，保证主机厂和 上游零部件厂家检测标准的一致性。AI-Box 设备支持光源、相机、镜头的自定义配置，采集数据的无缝对接工业视觉 AI 训练平台，并在工业视觉 AI 训练云平台实现数据标注和模型训练的完整闭环，同时支持模型下发本地的验证性测试。

4、对于汽车行业智能制造，基于AI技术，那么如何能让我们快速定位、分析和解决问题？

对于汽车行业智能制造，基于AI技术，那么如何能让我们快速定位、分析和解决问题？
嘉宾：强哥之神 架构师 , 上汽云计算中心
我们可以通过端 + 5G 网络 + 边缘云 + 云服务的协作，基于计算机视觉模型、算法库及样本图像，结合深度学习 AI 算法，完成数据预处理、数据标注及训练生成数据模型，与这些模型不匹配的则可能是我们关心的问题发生点。我们再通过 5G 网络连接，可以使得汽车制造产线上每个工业视觉应用不再是独立的数据孤岛，并让工厂中央生产控制系统实时获得每个被检测对象的结果、状态，纳入全工厂生产管理系统，借助云端训练平台能实时获取多个现场端的样本图像，进行分析，然后快速更新及实时部署优化后模型，最后借助云边端协同技术，实现新检测应用的快速部署及推广，使能柔性生产，并实现现场设备的云端统一维护监控，以达到更加智能化地去解决问题。

嘉宾：bjitnan DevRel , NVIDIA
定位，分析和解决问题是非常重要的解题思路和逻辑，还有一个环节也比较重要，就是定义问题及人工智能的边界，首先谈谈定义问题，无论对质量控制，还是AI检测，对于目前企业的痛点和解决该痛点，需要有一个明确的定义和量化的指标，一切不可量化的解决方案都不具备说服力，这个量化的KPI需要综合各方面的输入及共识，也许定义问题的过程就包含了定位及分析问题吧，关于解决问题，尤其是基于人工智能的AI去解决传统制造业的问题，对于比较新的技术，需要企业的管理者和技术人员对于AI的边界有一个清晰的了解，譬如我听到很多客户在讲通过算法可以将消除90%，通过模型的调整，可以进一步的提高到98%，其实AI在很多时候的能力并没有那么的巨大，更多的是一种比较综合的能力，可以减少人员操作，可能只是仅仅减少20%劳动力，每个人劳动率都有提升，数据的闭环开始建立，有效的与良率和PPM进行闭环，影响数据采集的维度和准确度，帮助决策设备的可靠性及稳定性，作为企业实现数字孪生的基础数据，所以AI的边界也很重要。

5、智能制造，GPU应用场景与收益？

嘉宾：xuchl 产品总监 , 中科创达软件股份有限公司
GPU主要针对图像图像进行处理，在工业场景下主要针对工业类产品的外观缺陷检测、人脸识别以及各类能转化为图形图像/视频信号的场景均可适用；
目前，在工业类产品的质量检测方面应用广泛，例如外观缺陷检测、尺寸测量等；具体到各个行业，例如半导体行业，液晶面板/晶圆半导体等各制程环节的外观缺陷检测；
在汽车产业链中，可实现各从零部件外观缺陷检测、尺寸测量到整车的外观错漏装检测、色差检测以及断差检测等。

嘉宾：强哥之神 架构师 , 上汽云计算中心
应用场景很多，我从几个方面说明，并举一些例子，如下：

1、助力企业质量提升方面有：

• 产品在线外观质量检测
• 产品组装后的防错检查
• 品牌商多工厂统一质检标准

2、助力企业效率提升方面有：

• 生产过程物品智能分拣
• 生产过程瓶颈节拍分析

3、助力企业安全管理方面有：

• 生产现场生产安全巡检
• 环境监控仪表数据读取

基于GPU实现边缘计算提速和提高利用率方面，我们主要可以从网络传输速度、数据传输量、GPU虚拟化等方面考虑：

• 网络传输速度方面，我们可以采用 5G 网络，或者可在设备中集成 5G 模组，以灵活的适配各类应用场景;并可在端侧集成智能加速模块或其他专用芯片以提升推理能力及实现如压缩等特定功能，如集成华为 MH5000 5G 模组、Atlas200 AI 加速模块或海思 IPC 芯片等。
• 数据传输量方面，我们可以只提取图像中的局部区域数据，如ROI；也可以进行一些图像压缩后，再复原
• GPU资源利用方面，我们可以采用GPU虚拟化技术，提高单个SLOT卡，可支持多个作业同时运行。

6、AI技术如何快速应用与生产线边，需要如何打造架构？

与智能制造结合，AI平台应该在设计整套部署方案过程中，需要重点考虑那几个方面？

嘉宾：xuchl 产品总监 , 中科创达软件股份有限公司
架构的搭建需要结合产线的实际需求，比如：
a、数据吞吐量的大小；
b、生产节拍的要求；
c、产线的实际数量；
基于上述需求来灵活选配我们的AI平台架构，如果生产节拍过高，基于现有的5G+工业互联网技术也是无法满足实时生产的需求，那么就需要完全边缘化训练推理架构模式并与产线设备通过PLC进行实时通信；
另外，如果说产线数量多，数据量大，需要频繁进行AI训练，且也需要满足实时生产的需求，那么可以采用云训练+边缘推理的架构模式，实现数据的集中管理和训练，降低硬件投入和管理成本，同时AI推理下沉至边缘侧，满足实时推理的需求；

嘉宾：强哥之神 架构师 , 上汽云计算中心
部署的化，一般需要考虑如下几点：

• AI平台各服务组件是否能够容器化部署？容器化部署才能既保证平安高可用性、自动扩缩容性也可以保证业务的快速交付性；
• 平如一旦涉及制造，一般需要考虑实现云边协同技术，是否有支撑类似 kubeedge，superedge，openyurt 等云边协同框架的部署及软硬件环境
• GPU虚拟化是否可以很好的实现？因为这个才是提高GPU利用率的关键所在

三、 智能数采、云边协同

1、实现从数据的采集、数据存储、数据分析等一系列关键技术，并串成一起实现制造的智能化，这个如何解决？

实现从数据的采集、数据存储、数据分析（训练、建模、推理）等一系列关键技术，并串成一起实现制造的智能化，这个如何解决？

嘉宾： 强哥之神 架构 师 , 上汽云 计 算中心

要实现从数据的采集、数据存储、数据分析等一系列关键技术，并串成一起实现制造的智能化，一般会在云端进行。

我们以 AI 视觉云平台为例：

解决方案包括实现训练功能的 AI 视觉云平台解决方案及实现推理预测功能的云端解决方案两部分：

1、工业视觉 AI 云平台：主要是支持 AI 应用工程师更好地进行模型训练和迭代优化的，主要是提供数据管理，图像标注、模型训练、模型测试、多类通用算法和不同场景成熟算法模型，模型服务发布，模型下载分发，模型效果评价，模型加密管理等能力模块。

该架构中包括以下功能模块：
· 数据上传：支持用户上传用于训练或测试模型的训练数据和测试数据
· 数据标注：支持用户对已上传的数据进行数据标注，支持多类标注方法
· 模型训练：支持用户对已标注的数据进行模型训练
· 模型预测：支持用户使用已完成训练的模型进行预测（同时支持在线预测和模型分发服务）
· 通用 & 场景化算法：提供针对分类，检测，分割等不同类型的通用算法引擎，部分场景的成熟模型
· 模型发布：支持模型发布成 API 模式，或者 SDK 模型，便于业务集成
· 模型加密：对模型进行安全管理，保护企业关键信息；
· 模型效果评价：可以对模型预测结果进行打分评价，修改标注，多次迭代闭

2、边缘云端推理解决方案：适用于生产节拍较长，对边缘算力成本敏感，需要集中管控等需求，边缘云端推理主要是通过 API 发布的方式便于端侧设备进行按需调用，重点进行模型运营监控，和业务数据管理功能，确保服务可用，支持业务数据分析。

嘉宾回复： bjitnan DevRel , NVIDIA
行业里面一般通过解决方案或工业平台的方式去交付的，可以参考行业里面的方案提供商的整体方案，包括这次中科创达的方案分享。

2、如何实现云边协同技术及其带来的效率、稳定性问题，包括涉及制造应用的容器化部署问题？**

智能制造很多涉及工厂侧、设备终端侧及云上业务等云边协同场景，如何实现云边协同技术及其带来的效率、稳定性问题，包括涉及制造应用的容器化部署问题？

嘉宾： 强哥之神 架构 师 , 上汽云 计 算中心
边缘计算平台其实就是为了解决边缘侧业务的稳定性的，比如在边缘侧的某个节点挂了后，可以将其上的应用通过云侧控制，再次调度到与该节点相邻或同区域的另外的节点上的，甚至可以将一些核心的业务同时部署多份到本地的不同节点上，实现服务的高可用。

目前边缘计算社区，比如 kubeedge 等，都在积极的使用 edgemesh 来实现边缘侧同数据中心节点的服务高可用问题，即和云端的 kube-proxy 和 kube-dns 一样，来实现边缘侧的服务发现与负载均衡。

云边协同技术，除了华为开源的 kubeedge 还有腾讯的 superedge，阿里的 openyurt 由于都有对 nodegroup 的概念，所以本身就实现边缘侧的服务发现与负载均衡，这样可以解决稳定性问题。

由于边缘计算是云端功能下沉的体现，云端目前都基本是基于K8S+docker方式实现业务容器化并部署的，所以边缘计算一般也是基于容器，因为这样才更方式的实现云端调度，边端执行。

另外，如果我们抓住边缘计算的本质，就是通过分布式、高可用、业务易部署与维护，那么容器化就是一个很重要的过程，还有一种就是不好容器化的场景，可以基于kubevirt来实现用容器来管理虚拟机，将业务部署在虚拟机中。

嘉宾： bjitnan DevRel , NVIDIA
云边协同是一个蛮大的话题，特别是在目前算力向边缘迁移是个不可阻挡的趋势，如何做好“大”数据中心与“小”边缘数据中心及“瘦”边缘设备之间的协同，包括业务的协同，数据的协同，同时在比较安全可控的前提下实现双向的沟通。在数据协同中，一个比较关注的点是“数据的粒度”，目前来看，容器虽不是一个最佳的数据Size的选择，但是综合业务逻辑实现和运维效率，确实是一个折中的目前最佳选择，从互联网和金融等一些容器化实现走的比较早的行业来看，包括K8s等编排技术不断迭代，包括VMware的跟进，技术上已经比较稳定，英伟达一直都是AI容器化的践行者，包括我们的NGC（ngc.nvidia.com）包括从训练到推理，从脚本到应用部署，都是基于容器化实施，云边协同软件Fleet Command也是基于容器的技术实现。

3、制造设备都在边缘终端，比如工厂侧，如何解决这些设备数据采集问题？**

嘉宾： 强哥之神 架构 师 , 上汽云 计 算中心

我们一般会遇到数字化工厂旧设备改造、数据采集难的问题，比如：
· 老设备供应商不配合调试、不提供数据地址
· 设备无法添加网口，部分旧设备没有对应的以太网扩展模块产品并且串口已经被触摸屏占用
· 连接仪表未接入到PLC
· IP地址二次分配及其维护问题

我们可以通过如下方法来解决老工厂设备数字化改造及数据采集遇到的问题。

我们可以引入了一种新型的网关，它具备高效的地址分析功能，可以根据用户需要的参数分析出设备内存此参数的地址，该网关又具备通信分配的功能，能将数据通过原有串口分配给触摸屏的同时，还能通过网口分配给SCADA，保证不影响现场原有通讯的情况下完成数据采集。网关的一个网口刻度应两个端口，可以接入PLC协议的同时，也可以接入MODBUS协议，同一控制系统中，没有接入PLC的仪器仪表也可以接入网关，SCADA系统通过连接网关的一个IP多个端口来分别读写PLC和仪表的数据，PLC不用设置默认网关即可对PLC完成网段的转换。

我们可以通过 端 + 5G 网络 + 边缘云 + 云服务 的协作，通过 5G 网络连接，可以使得制造设备在产线上每个采集应用不再是独立的数据孤岛，并让工厂中央生产控制系统实时获得每个被检测对象的结果、状态，纳入全工厂生产管理系统及制造系统。

设备数据采集问题，一般会用到如下的两个子系统：

· 图像采集系统：实现现场图像或视频采集及处理功能；

· 设备控制系统：接收图像处理结果而完成设备动作控制。

四、AI如何容器化

1、ai分析的计算能力是否可以以容器方式提供？

目前ai分析在企业中，尤其是在产线中逐步有很多应用场景和实际应用，关于cpu和gpu 计算能力这块，是否支持通过容器方式提供，这样资源的调度更加灵活 是否有实际的应用案例，可否详细介绍。

嘉宾： 强哥之神 架构 师 , 上汽云 计 算中心
现在有云端好多是通过 K8S + GPU device plugin 来实现容器化部署、调度的，比如：很多大型的AI开放平台都基本是既有 CPU 资源调度，又有 GPU 资源进行 AI 任务的计算，在 K8S 中，一般是以 cronjob 的方式完成一次大型的计算，而且现在随着 GPU 虚拟化技术的出现，这样可以做到一个 GPU 物理卡同时提供给多个 AI 任务用，以提高 GPU 资源利用率。但在边端的可能会少些，毕竟边缘设备如果不支持容器化部署，就不好将业务容器化，不过容器化向边端发展肯定是一种趋势。

灵活性方面，容器比虚机天然就是轻量，因为其本质就是一个进程，所以会更加灵活。目前 AI 应用案例还是很多的，比如自动驾驶、图像识别、智能质检等场景都需要进行训练与推理，而为了灵活与节能，能容器化的都会以容器化运行。

嘉宾： bjitnan DevRel , NVIDIA

英伟达推荐采用容器化的方式使用AI计算，建议参考 NGC（ ngc.nvidia.com ），这是一个英伟达推荐并免费提供给我们开发者一个容器镜像集合，包括从训练到推理，从脚本到应用部署，都是基于容器化实施，如果提及的AI分析能力是类似大数据分析，建议参考RAPIDS开源加速框架（ https://rapids.ai/ ），目前已经支持Spark3。 如果是推理服务的部分，可以参考Trition，开源的推理服务框架，可以同时支持CPU和GPU的推理任务。 https://github.com/triton-inference-server/server

2、怎么利用容器做AI运算，有标准吗？**

嘉 宾 ： 强哥之神 架构 师 , 上汽云 计 算中心
容器做 AI 运算，一般是需要 GPU 的支持，这个业界用的比较多的是英伟达的 GPU，也算是业界实现GPU容器化的标准吧，下面细讲一下原理。

GPU是许多AI系统的运算核心，这里讨论如何在Docker 中使用Nvidia GPU。因为容器技术是基于Linux Control Groups（CGroups）的，而CGroups对于设备是有原生支持的，所以让容器支持GPU设备应该是一件很容易的事情。而Nvidia 的GPU驱动却让事情变得复杂：一般的设备驱动只有一个kernel object（ko）文件，只要在宿主机上安装驱动，ko文件就会自动被载入内核供容器使用。但是Nvidia的GPU驱动除了ko文件之外还有shared object（so）文件，是用户层的程序，需要在容器内程序运行时被动态加载。并且，ko文件的版本必须与so文件版本一摸一样。

要在容器中找到so文件，我们很自然地想到可以把so文件打包到镜像里，但是在生成镜像的时候我们并不知道宿主机器的GPU驱动是什么版本的，所以无法预先打包对应版本的so文件。另一个方法是运行容器的时候，自动找到宿主系统中的so文件并挂载进来。但是so文件有很多可能的安装路径。这时候nvidia-docker就出现了，为我们把这些细节问题隐藏了起来。使用起来非常的简单，把docker命令换成nvidia-docker即可。

此外还有一个环节需要考虑：CUDA库和cuDNN库。CUDA库用来做CUDA架构下的数值计算，它包含编译时需要的头文件以及运行时需要的so文件。cuDNN是专门为深度学习设计的数值计算库，也是包含头文件与so文件。它们都有很多版本，并且编译时的头文件版本必须与运行时的so文件版本一致。

如果不用容器，这两个库很麻烦，自己编译好的程序可能拿到别人的机器上就因为版本不一致而不能用了。用容器就不会有这个问题，在生成开发镜像的时候我们把CUDA和cuDNN库以及所需的工具都打包了进去，在生产镜像也打包了对应版本的so文件，不会出现版本不一致的问题。运行GPU生产镜像的时候，宿主机器只用安装Nvidia驱动就可，不需要安装CUDA或者cuDNN。

嘉宾： bjitnan DevRel , NVIDIA
英伟达一直都是AI容器化的践行者，包括NGC（ ngc.nvidia.com ），这是一个英伟达推荐并免费提供给我们开发者一个容器镜像集合，包括从训练到推理，从脚本到应用部署，都是基于容器化实施，云边协同软件Fleet Command也是基于容器的技术实现，可以理解这就是AI容器的行业标准了，建议从NGC开始您的AI落地过程。

五、其它方面

1、人工智能技术如何与现有的制造系统融合流程？**

人工智能技术与现有的制造系统融合流程能否介绍一下？是应用VSM价值流分析吗？

嘉宾： 强哥之神 架构 师 , 上汽云 计 算中心
我们可以通过端 + 5G 网络 + 边缘云 + 云服务的协作，基于计算机视觉模型、算法库及样本图像，结合深度学习 AI 算法，完成数据预处理、数据标注及训练生成数据模型。然后再通过 5G 网络连接，可以使得汽车制造产线上每个工业视觉应用不再是独立的数据孤岛，并让工厂中央生产控制系统实时获得每个被检测对象的结果、状态，纳入全工厂生产管理系统及制造系统，借助云端训练平台能实时获取多个现场端的样本图像，进行分析，然后快速更新及实时部署优化后模型，最后借助云边端协同技术，实现新检测应用的快速部署及推广，使能柔性生产，并实现现场设备的云端统一维护监控，以达到更加智能化地去解决问题。

人工智能技术如何与现有的制造系统融合，一般会用到如下的一些系统：

· 图像采集系统：实现现场图像或视频采集及处理功能；

· 设备控制系统：接收图像处理结果而完成设备动作控制；

· 图像识别管理系统：根据确定的训练模型，对采集图像进行推理预测，并反馈结果及实现相关设备控制的功能；

· 工业 AI 视觉云平台：基于计算机视觉模型、算法库及样本图像，结合深度学习 AI 算法，完成数据预处理、数据标注及训练生成数据模型的功能；

· 企业生产业务系统：企业的生产信息化管理系统，如 MES，WMS，ERP 等；

嘉宾： xuchl 产品总监 , 中科 创 达 软 件股份有限公司

第一，基于现有的制造系统业务流程，针对现场的设备进行智能化改造或引入新的智能化设备，包括图像数据采集系统（相机、光源及控制器）、机电控制（传送装置、机械臂等）设备的引入，软件系统（各类AI检测识别算法及管理服务系统）的配套等

第二，与现有MES系统的对接，实现业务逻辑和数据的闭环管理

第三，操作员与质检员的培训，由于人员参与的活动范围与目标发生了变化，需要对人员就业务进行定制化的培训，以适应智能制造的需求 。

嘉宾： bjitnan DevRel , NVIDIA
目前很多的制造企业都在经历着各种转型的过程中，人工智能技术（AI）是这次技术升级过程中的关键技术，目前在AI的领域，无论视觉，语音再到自然语言理解，技术的成熟度依次的递减，也源于技术的复杂度依次的递进，谈及与现有制造系统的融合，机器或计算机视觉是个不错的结合，虽然机器视觉已经在过去20多年持续帮助企业提升生产力，随着人工智能的兴起并成熟，算力及算法驱动的计算机视觉会帮助企业实现从“看到”到“思考”转型，其中涉及很多关键的技术升级和迭代，譬如，光学成像，采集传输，决策执行，边缘计算平台等，决策结果有效的融入生产制造或是品质追溯的过程是会有非常大的挑战，不仅在流程方面，在落地工程，核心技术都诸多方面需要企业的多个部门及外部资源通力合作，“一把手”的支持也是必不可少的。

2、对于传统制造企业在驾驭AI技术肯定会遇到很多难点问题，那么人工智能技术如何与现有的制造系统融合？**

对于传统制造企业在驾驭AI技术肯定会遇到很多难点问题，那么人工智能技术如何与现有的制造系统融合？

嘉宾： 强哥之神 架构 师 , 上汽云 计 算中心
我们可以通过端 + 5G 网络 + 边缘云 + 云服务的协作，基于计算机视觉模型、算法库及样本图像，结合深度学习 AI 算法，完成数据预处理、数据标注及训练生成数据模型。然后再通过 5G 网络连接，可以使得汽车制造产线上每个工业视觉应用不再是独立的数据孤岛，并让工厂中央生产控制系统实时获得每个被检测对象的结果、状态，纳入全工厂生产管理系统及制造系统，借助云端训练平台能实时获取多个现场端的样本图像，进行分析，然后快速更新及实时部署优化后模型，最后借助云边端协同技术，实现新检测应用的快速部署及推广，使能柔性生产，并实现现场设备的云端统一维护监控，以达到更加智能化地去解决问题。

人工智能技术如何与现有的制造系统融合，一般会用到如下的一些系统：

· 图像采集系统：实现现场图像或视频采集及处理功能；

· 设备控制系统：接收图像处理结果而完成设备动作控制；

· 图像识别管理系统：根据确定的训练模型，对采集图像进行推理预测，并反馈结果及实现相关设备控制的功能；

· 工业 AI 视觉云平台：基于计算机视觉模型、算法库及样本图像，结合深度学习 AI 算法，完成数据预处理、数据标注及训练生成数据模型的功能；

· 企业生产业务系统：企业的生产信息化管理系统，如 MES，WMS，ERP 等；

本场交流活动更多详情查看：

https://www.talkwithtrend.com/Activity/index/op/question/id/1797