AI 技術(shù)應(yīng)用落地的元年，工業(yè)是主戰(zhàn)場(chǎng)，尤其是工業(yè)缺陷檢測(cè)。

在“生產(chǎn)制造-缺陷檢測(cè)-工藝優(yōu)化-生產(chǎn)制造”的智能制造閉環(huán)鏈條中，基于AI的智能缺陷檢測(cè)扮演著“把關(guān)者”的角色。但這個(gè)把關(guān)者長(zhǎng)期以來(lái)卻缺少一個(gè)稱手的工具——樣本量大、精度高、語(yǔ)義豐富的缺陷數(shù)據(jù)集。

近日，ECCV2024接收的一篇論文引起業(yè)界廣泛關(guān)注，該工作提出了Defect Spectrum缺陷數(shù)據(jù)集及DefectGen缺陷生成模型，主攻工業(yè)智能檢測(cè)，可解決模型無(wú)法識(shí)別的缺陷類(lèi)別和位置問(wèn)題，有效提升10.74%召回率，降低33.1%過(guò)殺率。

這是港科廣和專(zhuān)注于智能制造領(lǐng)域的人工智能獨(dú)角獸思謀科技聯(lián)合發(fā)布的又一杰作。去年，該合作團(tuán)隊(duì)提出的《Ref-NeuS: Ambiguity-Reduced Neural Implicit Surface Learning for Multi-View Reconstruction with Reflection》被選為ICCV最佳論文候選。

Project Page: https://envision-research.github.io/Defect_Spectrum/

Arxiv Page: https://arxiv.org/abs/2310.17316 

Github Repo: https://github.com/EnVision-Research/Defect_Spectrum 

Dataset Repo: https://huggingface.co/datasets/DefectSpectrum/Defect_Spectrum

突破傳統(tǒng)限制，更貼近落地生產(chǎn)

高質(zhì)量的數(shù)據(jù)集對(duì)CV技術(shù)和人工智能的發(fā)展起著至關(guān)重要的作用。如ImageNet不僅推動(dòng)了算法的創(chuàng)新，還促進(jìn)產(chǎn)業(yè)發(fā)展和進(jìn)步。

在工業(yè)界，MVTec、VISION VI、DAGM2007等數(shù)據(jù)集幫助視覺(jué)學(xué)習(xí)算法更接近工業(yè)生產(chǎn)實(shí)際場(chǎng)景，但由于樣本量、精度、語(yǔ)義描述的不足，始終限制著AI工業(yè)檢測(cè)的發(fā)展。

Defect Spectrum數(shù)據(jù)集帶著突破傳統(tǒng)缺陷檢測(cè)界限的任務(wù)而來(lái)，為工業(yè)缺陷提供了詳盡、語(yǔ)義豐富的大規(guī)模標(biāo)注，首次實(shí)現(xiàn)了超高精度及豐富語(yǔ)義的工業(yè)缺陷檢測(cè)。

相比其他工業(yè)數(shù)據(jù)集，“Defect Spectrum”數(shù)據(jù)集提供了5438張缺陷樣本、125種缺陷類(lèi)別，并提供了像素級(jí)的細(xì)致標(biāo)簽，為每一個(gè)缺陷樣本提供了精細(xì)的語(yǔ)言描述，實(shí)現(xiàn)了前所未有的性能突破。

相比其他工業(yè)數(shù)據(jù)集，Defect Spectrum精準(zhǔn)度更高、標(biāo)注更豐富

Defect Spectrum與其他數(shù)據(jù)集的數(shù)量、性質(zhì)對(duì)比

從實(shí)際的工業(yè)生產(chǎn)來(lái)看，工廠對(duì)缺陷檢測(cè)的要求細(xì)致，需要在控制缺陷件的同時(shí)保證收益率。然而，現(xiàn)有缺陷檢測(cè)數(shù)據(jù)集常常缺乏應(yīng)用所需的精確度和語(yǔ)義豐富性，無(wú)法良好支持實(shí)際生產(chǎn)。

例如，一件衣服的拉鏈齒出現(xiàn)了錯(cuò)位，雖然缺陷尺寸不大但卻影響衣物功能，導(dǎo)致拉鏈無(wú)法正常使用，消費(fèi)者不得不將其退回工廠進(jìn)行修復(fù)。然而，如果缺陷發(fā)生在衣物的面料上，比如輕微的鉤絲或顏色略有差異，這時(shí)就需要仔細(xì)權(quán)衡其尺寸和影響。小規(guī)模的面料缺陷可被歸類(lèi)在可接受的范圍內(nèi)，允許這些產(chǎn)品通過(guò)不同的分銷(xiāo)策略銷(xiāo)售，比如以打折價(jià)格進(jìn)行銷(xiāo)售，在不影響整體質(zhì)量的同時(shí)保有收益。

傳統(tǒng)數(shù)據(jù)集如MVTEC和AeBAD盡管提供了像素級(jí)的標(biāo)注，但常常局限于binary mask，無(wú)法細(xì)致區(qū)分缺陷類(lèi)型和位置。Defect Spectrum數(shù)據(jù)集通過(guò)與工業(yè)界四大基準(zhǔn)的合作，重新評(píng)估并精細(xì)化已有的缺陷標(biāo)注，對(duì)細(xì)微的劃痕和凹坑進(jìn)行了更精確的輪廓繪制，且通過(guò)專(zhuān)家輔助填補(bǔ)了遺漏的缺陷，確保了標(biāo)注的全面性和精確性。

通過(guò)Defect Spectrum數(shù)據(jù)集這個(gè)強(qiáng)大的工具，工廠缺陷檢測(cè)系統(tǒng)能夠迅速識(shí)別、立即標(biāo)記，并采取相關(guān)修復(fù)策略。

革命性生成模型，專(zhuān)攻缺陷樣本不足

港科大和思謀科技研究團(tuán)隊(duì)還提出了缺陷生成模型Defect-Gen，一個(gè)兩階段的基于擴(kuò)散的生成器。

Defect-Gen兩階段生成流程示意圖

Defect-Gen專(zhuān)門(mén)解決當(dāng)前數(shù)據(jù)集中缺陷樣本不足的問(wèn)題，通過(guò)利用極少量的工業(yè)缺陷數(shù)據(jù)生成圖像與像素級(jí)缺陷標(biāo)簽，即使在有限的數(shù)據(jù)集上也能工作，為AI在復(fù)雜工業(yè)環(huán)境中的應(yīng)用開(kāi)辟了新的可能。

Defect-Gen具體通過(guò)兩個(gè)關(guān)鍵方法提高圖像的多樣性和質(zhì)量：一是使用Patch級(jí)建模，二是限制感受野。

為彌補(bǔ)Patch級(jí)建模在表達(dá)整個(gè)圖像結(jié)構(gòu)上的不足，研究團(tuán)隊(duì)首先在早期步驟中使用大感受野模型捕捉幾何結(jié)構(gòu)，然后在后續(xù)步驟中切換到小感受野模型生成局部Patch，可在保持圖像質(zhì)量的同時(shí)，顯著提升了生成的多樣性。通過(guò)調(diào)整兩個(gè)模型的接入點(diǎn)和感受野，模型在保真度和多樣性之間實(shí)現(xiàn)了良好的平衡。而生成數(shù)據(jù)同樣可以作為數(shù)據(jù)飛輪的一部分，并加速其運(yùn)轉(zhuǎn)。

目前，Defect Spectrum數(shù)據(jù)集的5438張缺陷樣本中，有1920張由Defect-Gen生成。研究團(tuán)隊(duì)對(duì)應(yīng)用Defect-Gen生成模型的Defect Spectrum數(shù)據(jù)集進(jìn)行了全面的評(píng)估，驗(yàn)證了Defect Spectrum在各種工業(yè)缺陷檢測(cè)挑戰(zhàn)中的適用性和優(yōu)越性。

部分缺陷檢測(cè)網(wǎng)絡(luò)在Defect Spectrum數(shù)據(jù)集上的測(cè)評(píng)結(jié)果

Defect Spectrum數(shù)據(jù)集上的實(shí)際評(píng)估標(biāo)準(zhǔn)

Defect Spectrum在實(shí)際評(píng)估中的優(yōu)異表現(xiàn)

比起原有的數(shù)據(jù)集，在Defect Spectrum數(shù)據(jù)集上訓(xùn)練的模型召回率(recall)提升10.74%，過(guò)殺率(False Positive Rate)降低了33.1%。

Defect Spectrum數(shù)據(jù)集的引入，猶如為工業(yè)生產(chǎn)注入了一劑強(qiáng)心針。它讓缺陷檢測(cè)系統(tǒng)更加貼近實(shí)際生產(chǎn)需求，實(shí)現(xiàn)了高效、精準(zhǔn)的缺陷管理。同時(shí)為未來(lái)的預(yù)測(cè)性維護(hù)提供了寶貴的數(shù)據(jù)支持，通過(guò)記錄每個(gè)缺陷的類(lèi)別和位置，工廠可以不斷優(yōu)化生產(chǎn)流程，改進(jìn)產(chǎn)品修復(fù)方法，最終實(shí)現(xiàn)更高的生產(chǎn)效益和產(chǎn)品質(zhì)量。

目前Defect Spectrum數(shù)據(jù)集已應(yīng)用于思謀科技缺陷檢測(cè)視覺(jué)模型的預(yù)訓(xùn)練中，未來(lái)將與IndustryGPT等工業(yè)大模型融合，深度落地并服務(wù)于工業(yè)質(zhì)檢業(yè)務(wù)。AI技術(shù)落地驅(qū)動(dòng)產(chǎn)業(yè)發(fā)展，也正是學(xué)術(shù)界和工業(yè)界共同努力方向。