雷鋒網(wǎng)按：本文為矩視智能創(chuàng)始人弭寶瞳投稿。矩視智能成立于 2017 年 10 月，專注于機(jī)器視覺(jué)，主要通過(guò) SaaS 云平臺(tái)幫助提升工廠機(jī)器視覺(jué)開(kāi)發(fā)、升級(jí)效率。弭寶瞳為中國(guó)人民大學(xué)計(jì)算機(jī)博士，曾在奇虎 360 任產(chǎn)品經(jīng)理、研發(fā)工程師。

一、背景知識(shí)

隨著自動(dòng)化技術(shù)的快速發(fā)展，在工業(yè)生產(chǎn)中很多需要人工操作的環(huán)節(jié)逐漸轉(zhuǎn)由機(jī)器完成，工業(yè)生產(chǎn)自動(dòng)化也將越來(lái)越多的工人們從枯燥乏味的工作中解放出來(lái)，讓他們?nèi)グl(fā)揮更大的價(jià)值。

產(chǎn)品表面缺陷檢測(cè)是工業(yè)生產(chǎn)中的重要環(huán)節(jié)，是產(chǎn)品質(zhì)量把控的關(guān)鍵步驟，借助缺陷檢測(cè)技術(shù)可以有效的提高生產(chǎn)質(zhì)量和效率。但是由于設(shè)備及工藝等因素的影響，產(chǎn)品表面的缺陷類型往往五花八門，比如織物生產(chǎn)中方出現(xiàn)的污點(diǎn)、破損，金屬產(chǎn)品上的劃痕、裂紋、凹凸不平等各種不同類型的缺陷，如下圖所示。

單張圖片中的缺陷多樣且不同缺陷表現(xiàn)形式的也不相同，給缺陷的自動(dòng)化檢測(cè)帶來(lái)了困難。

二、傳統(tǒng)算法

傳統(tǒng)的表面缺陷檢測(cè)算法結(jié)構(gòu)通過(guò)圖像預(yù)處理得到便于檢測(cè)的圖像，隨后借助統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法來(lái)提取圖像特征，進(jìn)而實(shí)現(xiàn)缺陷檢測(cè)的目標(biāo)。

圖像預(yù)處理通常包括直方圖均衡化、濾波去噪、灰度二值化、再次濾波幾部分，以得到前后景分離的簡(jiǎn)單化圖像信息；隨后利用數(shù)學(xué)形態(tài)學(xué)、傅里葉變換、Gabor 變換等算法以及機(jī)器學(xué)習(xí)模型完成缺陷的標(biāo)記與檢測(cè)。

上述傳統(tǒng)算法在某些特定的應(yīng)用中已經(jīng)取得了較好的效果，但仍然存在許多不足。例如：圖像預(yù)處理步驟繁多且具有強(qiáng)烈的針對(duì)性，魯棒性差；多種算法計(jì)算量驚人且無(wú)法精確的檢測(cè)缺陷的大小和形狀。而深度學(xué)習(xí)可以直接通過(guò)學(xué)習(xí)數(shù)據(jù)更新參數(shù)，避免了人工設(shè)計(jì)復(fù)雜的算法流程，并且有著極高的魯棒性和精度。

三、深度學(xué)習(xí)

目前，基于深度學(xué)習(xí)的缺陷檢測(cè)已經(jīng)應(yīng)用于金屬固件、布匹絲織物、建筑裂紋、鋼筋裂紋等多個(gè)領(lǐng)域，并取得了不錯(cuò)的成果。下面將結(jié)合具體案例介紹其實(shí)現(xiàn)方法。

3.1裂紋缺陷檢測(cè)[1]

建筑材料（如磁瓦等）的外觀變化（如裂紋或腐蝕等）與其建筑結(jié)構(gòu)的安全性密不可分，而依靠檢察員視覺(jué)檢查的效果局限性大，相比之下，基于計(jì)算機(jī)視覺(jué)的結(jié)構(gòu)損傷檢測(cè)更為可靠便捷。

本文使用Faster RCNN實(shí)現(xiàn)對(duì)圖像的準(zhǔn)實(shí)時(shí)處理，其整體架構(gòu)包括RPN和Fast RCNN兩部分，如上圖所示，RPN和Fast RCNN使用相同的CNN網(wǎng)絡(luò)從圖像中提取特征，CNN的主要結(jié)構(gòu)如下圖所示。

RPN的作用為提出候選目標(biāo)，結(jié)構(gòu)示意如圖所示，其實(shí)現(xiàn)流程包括：

輸入圖像后，利用CNN網(wǎng)絡(luò)得到特征圖；

將特征圖上每一個(gè)CONV滑動(dòng)窗的特征映射為向量并輸入Softmax和Regressor層中；

預(yù)測(cè)缺陷邊界框的坐標(biāo)。

Fast RCNN的作用為對(duì)圖像中的缺陷位置進(jìn)行定位和分類，其結(jié)構(gòu)流程如上圖所示。

從輸入圖像中提取特征圖并獲得感興趣區(qū)域（ROI）；

在ROI池中，預(yù)先計(jì)算的興趣區(qū)域覆蓋在特征圖上，提取固定大小的特征向量；

將所得向量輸入全連接層，計(jì)算邊界框的位置并對(duì)框內(nèi)對(duì)象進(jìn)行分類。

3.2破損缺陷檢測(cè)[2]

在電氣化鐵路等工業(yè)中，有許多關(guān)系著安全的重要固件，這些固件的缺陷檢測(cè)十分重要。

本文作者利用深度卷積神經(jīng)網(wǎng)絡(luò)（DCNNs）結(jié)合SSD，Yolo等網(wǎng)絡(luò)方法構(gòu)建了一個(gè)從粗到細(xì)的級(jí)聯(lián)檢測(cè)網(wǎng)絡(luò)，包括固件的定位、缺陷檢測(cè)與分類，其實(shí)現(xiàn)流程如下圖所示。

（1） 緊固件提取

借助在速度和精度方面都表現(xiàn)良好的SSD框架，對(duì)圖像中的懸臂節(jié)點(diǎn)進(jìn)行定位；

基于Yolo框架的快速本地化架構(gòu)，對(duì)緊固件進(jìn)行定位。

（2） 固件缺陷檢測(cè)與分類

根據(jù)第二階段對(duì)緊固件的檢測(cè)來(lái)判斷缺陷；

再次借助DCNN，通過(guò)4個(gè)卷積層對(duì)缺陷進(jìn)行分類（分類網(wǎng)絡(luò)結(jié)構(gòu)如下圖）。

DCNNs具有良好的魯棒性和自適應(yīng)性，有利于檢測(cè)的快速進(jìn)行，因此本方法在緊固件的缺陷檢測(cè)和分類中具有良好的應(yīng)用前景。

3.3斑點(diǎn)缺陷檢測(cè)[3,4]

斑點(diǎn)缺陷檢測(cè)在紡織、木材、瓷磚等許多行業(yè)中都很常見(jiàn)，通常利用其紋理的一致性實(shí)現(xiàn)檢測(cè)的目的。近年來(lái)，利用深度學(xué)習(xí)視覺(jué)檢測(cè)技術(shù)對(duì)相關(guān)產(chǎn)業(yè)的表面缺陷檢測(cè)引起了廣泛關(guān)注。

作者采用結(jié)合圖像金字塔層次結(jié)構(gòu)思想和卷積去噪自編碼器網(wǎng)絡(luò)（CDAE）實(shí)現(xiàn)對(duì)布匹紋理圖像的缺陷檢測(cè)，其總體結(jié)構(gòu)如下圖所示。

（1） 訓(xùn)練階段

圖像預(yù)處理：光照歸一化、高斯金字塔下采樣和噪聲降噪等操作，避免光照等因素的影響；

Patch提?。禾崛atch對(duì)每個(gè)金字塔層的CDAE網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

模型訓(xùn)練：利用訓(xùn)練Patch的重構(gòu)殘差作為像素級(jí)缺陷預(yù)測(cè)的指標(biāo)；

閾值確定：區(qū)分缺陷點(diǎn)與無(wú)缺陷點(diǎn)的重要參數(shù)。

（2） 模型測(cè)試階段：

圖像預(yù)處理：只需進(jìn)行光照歸一化和高斯金字塔下采樣操作即可；

Patch提?。禾崛atch用于紋理檢測(cè)；

殘差貼圖構(gòu)造：提取局部接受域在訓(xùn)練后的模型中滑動(dòng)，以對(duì)每一個(gè)像素進(jìn)行預(yù)測(cè)；

缺陷分割：對(duì)每個(gè)金字塔層的殘差圖進(jìn)行分割；

合成：將多個(gè)金字塔級(jí)別的信息合成，以提高缺陷檢測(cè)的魯棒性和準(zhǔn)確性。

文章通過(guò)分析和實(shí)驗(yàn)已經(jīng)證明，充分利用無(wú)監(jiān)督學(xué)習(xí)和多模態(tài)結(jié)果融合策略，可以提高缺陷檢測(cè)的魯棒性和準(zhǔn)確性。

3.4劃痕缺陷檢測(cè)[5]

劃痕缺陷檢測(cè)通常用于金屬類產(chǎn)品的表面缺陷檢測(cè)中，隨著生活質(zhì)量的提高，人們對(duì)產(chǎn)品的外觀完整性與美觀程度的要求也越來(lái)越高，因此精準(zhǔn)地檢測(cè)到產(chǎn)品外觀的劃痕等缺陷在生產(chǎn)環(huán)節(jié)十分重要。

使用上圖所示的缺陷檢測(cè)體系結(jié)構(gòu)，下面將針對(duì)檢測(cè)模塊展開(kāi)介紹。

（1） CASAE架構(gòu)

將兩個(gè)自動(dòng)編碼器（AE）級(jí)聯(lián)在一起，這里的AE結(jié)構(gòu)是FCN框架的遷移使用，有一層層的卷積、反卷積和跳躍鏈接組成，其結(jié)構(gòu)如下圖所示。

（1） 閾值模塊

連接到CASAE網(wǎng)絡(luò)末端的獨(dú)立模塊，用于進(jìn)一步細(xì)化預(yù)測(cè)掩碼的結(jié)果。

（2） 缺陷區(qū)域檢測(cè)

通過(guò)語(yǔ)義分割獲得所有可能缺陷的區(qū)域，進(jìn)一步使用blob分析以尋找準(zhǔn)確的缺陷輪廓，最終從圖像中提取最小的外接矩形區(qū)域。

四、總結(jié)

本文參考前沿文獻(xiàn)，總結(jié)了部分當(dāng)前主流的缺陷檢測(cè)實(shí)現(xiàn)思路?？偟膩?lái)說(shuō)，使用基于深度學(xué)習(xí)的算法可快速準(zhǔn)確地實(shí)現(xiàn)的缺陷檢測(cè)，且適用范圍廣能夠靈活地應(yīng)用于建筑、金屬固件以及布匹絲織物等眾多行業(yè)的生產(chǎn)過(guò)程中。

雷鋒網(wǎng)

參考文獻(xiàn)：

[1] Cha Y J et al. Autonomous structural visual inspection using region‐based deep learning for detecting multiple damage types[J]. Computer‐Aided Civil and Infrastructure Engineering, 2018.

[2] Chen J et al. Automatic defect detection of fasteners on the catenary support device using deep convolutional neural network[J]. IEEE Transactions on Instrumentation and Measurement, 2017.

[3] Mei S et al. An unsupervised-learning-based approach for automated defect inspection on textured surfaces[J]. IEEE Transactions on Instrumentation and Measurement, 2018.

[4] Mei S el al. Automatic fabric defect detection with a multi-scale convolutional denoising autoencoder network model[J]. Sensors, 2018.

[5] Tao X et al. Automatic metallic surface defect detection and recognition with convolutional neural networks[J]. Applied Sciences, 2018.

雷鋒網(wǎng).雷鋒網(wǎng).

雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。