工業(yè)質(zhì)檢這個(gè)領(lǐng)域這兩年變化特別快。以前一條產(chǎn)線要配好幾個(gè)質(zhì)檢工位工人拿著放大鏡盯著產(chǎn)品看一天下來眼睛酸得不行漏檢率還壓不住?，F(xiàn)在不少工廠開始上機(jī)器視覺方案用工業(yè)相機(jī)加算法來替代人眼效率和一致性都上了一個(gè)臺(tái)階。誠邁科技在這條賽道上做的機(jī)器視覺方案核心思路就是用AI把質(zhì)檢這件事從人盯變成系統(tǒng)判讓產(chǎn)線在速度和精度上都拿到優(yōu)勢(shì)。這篇內(nèi)容適合正在做產(chǎn)線自動(dòng)化改造的工程師、負(fù)責(zé)質(zhì)檢環(huán)節(jié)的技術(shù)負(fù)責(zé)人以及想了解機(jī)器視覺落地路徑的朋友參考。我會(huì)從方案選型、核心原理、實(shí)操部署、踩坑經(jīng)驗(yàn)幾個(gè)維度展開盡量把工業(yè)場(chǎng)景里那些文檔上不會(huì)寫的細(xì)節(jié)講透。1. 工業(yè)質(zhì)檢為什么必須從人工轉(zhuǎn)向機(jī)器視覺1.1 人工質(zhì)檢的三個(gè)硬傷先說清楚一件事不是所有質(zhì)檢都值得上機(jī)器視覺。小批量、多品種、精度要求不高的場(chǎng)景人工反而更靈活。但如果你遇到下面這三種情況機(jī)器視覺基本就是必選項(xiàng)。第一是速度瓶頸。一條高速產(chǎn)線每分鐘過幾十上百個(gè)零件人眼根本跟不上。就算勉強(qiáng)跟上連續(xù)工作兩小時(shí)后注意力必然下降漏檢率會(huì)明顯上升。我見過一個(gè)做連接器的產(chǎn)線人工質(zhì)檢工位是整條線的節(jié)拍瓶頸后面設(shè)備都在等產(chǎn)能上不去。第二是一致性差。同一個(gè)缺陷早班判定為合格晚班可能判為不合格。這不是工人不認(rèn)真而是人眼對(duì)顏色、微小劃痕的敏感度會(huì)受光照、疲勞、情緒影響。機(jī)器視覺的好處是判定標(biāo)準(zhǔn)一旦定下來每個(gè)產(chǎn)品都用同一把尺子量。第三是成本結(jié)構(gòu)。一個(gè)質(zhì)檢工位三班倒需要三到四個(gè)人加上培訓(xùn)、流動(dòng)、管理成本一年下來不是小數(shù)目。機(jī)器視覺方案前期投入高但攤到三五年看單件質(zhì)檢成本會(huì)低很多。而且設(shè)備不會(huì)離職不需要重新培訓(xùn)。1.2 機(jī)器視覺在質(zhì)檢環(huán)節(jié)的典型能力邊界這里要潑一盆冷水機(jī)器視覺不是萬能的。它擅長的是有明確判定標(biāo)準(zhǔn)的重復(fù)性檢測(cè)比如尺寸測(cè)量、缺陷有無、位置偏移、字符識(shí)別、顏色區(qū)分。它不擅長的是需要主觀判斷的手感質(zhì)感類檢測(cè)比如某些外觀件的高級(jí)感。誠邁科技的方案在工業(yè)質(zhì)檢里主要覆蓋這幾類任務(wù)檢測(cè)類型典型場(chǎng)景技術(shù)手段缺陷檢測(cè)劃痕、臟污、氣泡、缺料深度學(xué)習(xí)分類/分割尺寸測(cè)量孔徑、間距、角度亞像素邊緣檢測(cè)定位引導(dǎo)裝配對(duì)位、抓取定位模板匹配特征點(diǎn)字符識(shí)別批次號(hào)、二維碼、OCROCR深度學(xué)習(xí)顏色檢測(cè)色差、混料顏色空間分析理解這個(gè)邊界很重要因?yàn)樗鼪Q定了你在做方案設(shè)計(jì)時(shí)哪些工位該上視覺哪些工位該保留人工或者用其他傳感器。1.3 從能檢到檢得穩(wěn)的關(guān)鍵差距很多團(tuán)隊(duì)第一次做機(jī)器視覺項(xiàng)目Demo階段效果很好一上產(chǎn)線就翻車。差距在哪在于穩(wěn)定性。實(shí)驗(yàn)室光照可控、產(chǎn)品擺放規(guī)整、背景干凈產(chǎn)線上震動(dòng)、粉塵、環(huán)境光變化、產(chǎn)品姿態(tài)隨機(jī)每一個(gè)因素都能讓算法失效。誠邁科技這類方案商的價(jià)值很大程度上不在于算法本身有多先進(jìn)而在于把工程化的問題解決掉光源怎么打、相機(jī)怎么選、鏡頭怎么配、算法怎么在產(chǎn)線節(jié)拍內(nèi)跑完、誤報(bào)怎么壓下去。這些才是工業(yè)質(zhì)檢的真正門檻。2. 誠邁科技機(jī)器視覺方案的核心技術(shù)拆解2.1 成像系統(tǒng)光源和相機(jī)的選型邏輯機(jī)器視覺的第一性原理是先拿到一張好圖再談算法。圖拍不好后面算法再強(qiáng)也是白搭。誠邁科技在方案里對(duì)成像系統(tǒng)的重視程度很高這是對(duì)的。光源選型是重中之重。不同缺陷需要不同的打光方式劃痕檢測(cè)用低角度環(huán)形光或條形光讓劃痕產(chǎn)生陰影對(duì)比度拉滿臟污檢測(cè)用同軸光或漫射光避免反光干擾尺寸測(cè)量用背光讓產(chǎn)品邊緣形成清晰輪廓表面凹凸用相位偏折或光度立體重建表面法線我踩過的一個(gè)坑是一開始用普通環(huán)形光打劃痕結(jié)果劃痕和產(chǎn)品表面反光混在一起算法根本分不出來。后來換成低角度條形光劃痕立刻變成明顯的暗線識(shí)別率從70%多直接拉到99%以上。光源選對(duì)了算法難度下降一個(gè)數(shù)量級(jí)。相機(jī)選型看三個(gè)參數(shù)分辨率、幀率、接口。分辨率要保證最小缺陷在圖像上至少占3到5個(gè)像素這是經(jīng)驗(yàn)值。幀率要匹配產(chǎn)線節(jié)拍比如每分鐘檢測(cè)120個(gè)產(chǎn)品每個(gè)產(chǎn)品拍照加處理時(shí)間不能超過0.5秒。接口方面GigE適合中低速USB3.0適合桌面級(jí)Camera Link和CoaXPress適合高速高分辨率場(chǎng)景。2.2 算法層傳統(tǒng)視覺與深度學(xué)習(xí)的混合架構(gòu)誠邁科技的方案不是純深度學(xué)習(xí)也不是純傳統(tǒng)算法而是混合架構(gòu)。這個(gè)選擇很務(wù)實(shí)。傳統(tǒng)算法在定位、測(cè)量、標(biāo)定這些任務(wù)上依然是最優(yōu)解。比如模板匹配做產(chǎn)品定位亞像素邊緣檢測(cè)做尺寸測(cè)量這些算法成熟、可解釋、速度快沒必要用深度學(xué)習(xí)替代。深度學(xué)習(xí)主要用在缺陷檢測(cè)和分類上。因?yàn)槿毕菪螒B(tài)千變?nèi)f化傳統(tǒng)算法很難窮舉所有情況。用CNN做分類或者用分割網(wǎng)絡(luò)做像素級(jí)缺陷定位泛化能力更強(qiáng)。實(shí)際部署時(shí)典型的處理鏈路是這樣的# 偽代碼示意混合視覺處理鏈路 def inspect(image): # 第一步傳統(tǒng)算法做定位和ROI提取 roi template_match(image, template) aligned align(image, roi) # 第二步傳統(tǒng)算法做尺寸測(cè)量 dimensions measure_subpixel(aligned) # 第三步深度學(xué)習(xí)做缺陷檢測(cè) defect_map deep_model.predict(aligned) # 第四步規(guī)則引擎做綜合判定 result rule_engine(dimensions, defect_map) return result這個(gè)鏈路的好處是定位和測(cè)量用傳統(tǒng)算法保證精度和速度缺陷檢測(cè)用深度學(xué)習(xí)保證泛化能力最后用規(guī)則引擎把結(jié)果整合起來。規(guī)則引擎很重要它讓整個(gè)系統(tǒng)可解釋、可調(diào)參產(chǎn)線工程師能根據(jù)實(shí)際情況調(diào)整判定閾值。2.3 邊緣部署算法怎么在產(chǎn)線節(jié)拍內(nèi)跑完工業(yè)質(zhì)檢對(duì)延遲極其敏感。產(chǎn)線不會(huì)等你產(chǎn)品過去了就是過去了。所以算法必須在邊緣設(shè)備上跑不能傳到云端再返回。誠邁科技的方案支持在工控機(jī)或邊緣計(jì)算盒子上部署。這里的關(guān)鍵是模型壓縮和推理優(yōu)化。一個(gè)原始的深度學(xué)習(xí)模型可能幾百M(fèi)B推理一次要幾百毫秒根本滿足不了產(chǎn)線節(jié)拍。需要做幾件事模型剪枝去掉冗余的通道和層模型變小速度變快量化把FP32轉(zhuǎn)成INT8速度提升2到4倍精度損失通?？煽豑ensorRT/OpenVINO加速針對(duì)特定硬件做推理優(yōu)化多模型并行多個(gè)工位共用一個(gè)推理設(shè)備時(shí)要做好資源調(diào)度實(shí)測(cè)下來一個(gè)經(jīng)過優(yōu)化的缺陷檢測(cè)模型在主流邊緣設(shè)備上跑一次推理可以壓到20到50毫秒完全能滿足大多數(shù)產(chǎn)線的節(jié)拍要求。3. 從零部署一套工業(yè)質(zhì)檢視覺系統(tǒng)的實(shí)操路徑3.1 需求梳理先搞清楚要檢什么、怎么判這一步最容易被跳過但恰恰是最重要的。我見過太多項(xiàng)目一上來就選相機(jī)、買鏡頭結(jié)果做到一半發(fā)現(xiàn)判定標(biāo)準(zhǔn)都沒統(tǒng)一。需求梳理要回答幾個(gè)問題檢什么缺陷列出所有需要檢測(cè)的缺陷類型最好有實(shí)物樣品或歷史圖片判定標(biāo)準(zhǔn)是什么每種缺陷多大算不合格位置在哪里算不合格有沒有臨界情況產(chǎn)線節(jié)拍是多少每分鐘過多少個(gè)產(chǎn)品留給視覺系統(tǒng)的時(shí)間窗口是多少環(huán)境條件如何光照、溫度、震動(dòng)、粉塵情況輸出要求是什么只需要OK/NG信號(hào)還是需要記錄缺陷類型和位置把這些搞清楚后面的選型和設(shè)計(jì)才有依據(jù)。特別是判定標(biāo)準(zhǔn)一定要和品質(zhì)部門對(duì)齊最好形成書面文檔。否則驗(yàn)收時(shí)扯皮算法改來改去項(xiàng)目周期無限拉長。3.2 硬件選型與打光測(cè)試需求清楚后開始選硬件。順序是先定光源再定相機(jī)和鏡頭最后定處理平臺(tái)。光源選型建議直接買幾款不同角度的光源做實(shí)測(cè)。理論計(jì)算只能縮小范圍最終效果必須用實(shí)際產(chǎn)品打光看。我通常會(huì)讓方案商寄幾款光源過來在產(chǎn)線上實(shí)際拍圖對(duì)比選對(duì)比度最高、最穩(wěn)定的那款。相機(jī)選型計(jì)算示例假設(shè)產(chǎn)品尺寸100mm×100mm最小缺陷0.1mm要求缺陷至少占3個(gè)像素。那么視野至少覆蓋100mm分辨率至少是100/0.1×33000像素。所以選500萬像素2592×1944的相機(jī)基本夠用留一點(diǎn)余量。鏡頭選型看視野和 working distance。視野要略大于產(chǎn)品尺寸工作距離要符合產(chǎn)線安裝空間。景深也要考慮如果產(chǎn)品高度有波動(dòng)景深不夠會(huì)導(dǎo)致部分產(chǎn)品失焦。處理平臺(tái)選型看算法復(fù)雜度和節(jié)拍要求。簡單傳統(tǒng)算法用普通工控機(jī)就行深度學(xué)習(xí)推理建議配GPU或?qū)Ｓ猛评砑铀倏ā?.3 算法開發(fā)與調(diào)參的完整流程算法開發(fā)不是一上來就訓(xùn)練模型。合理的流程是第一步傳統(tǒng)算法打底。先把定位、ROI提取、尺寸測(cè)量這些用傳統(tǒng)算法做出來。這部分穩(wěn)定可靠先跑通。第二步數(shù)據(jù)采集和標(biāo)注。收集盡可能多的缺陷樣本和正常樣本覆蓋不同批次、不同光照、不同姿態(tài)。標(biāo)注要統(tǒng)一標(biāo)準(zhǔn)最好由品質(zhì)部門確認(rèn)。樣本量方面每類缺陷至少幾百張少了模型學(xué)不好。第三步模型訓(xùn)練和驗(yàn)證。用訓(xùn)練集訓(xùn)練用驗(yàn)證集調(diào)參用測(cè)試集評(píng)估。注意測(cè)試集要和訓(xùn)練集分布不同比如不同批次的產(chǎn)品這樣才能反映真實(shí)泛化能力。第四步閾值調(diào)優(yōu)。深度學(xué)習(xí)模型輸出的是概率需要定一個(gè)閾值來判定OK/NG。閾值定高了漏檢多定低了誤報(bào)多。要根據(jù)實(shí)際產(chǎn)線的容忍度來調(diào)。通常會(huì)把閾值調(diào)到誤報(bào)率略高一點(diǎn)然后通過后處理規(guī)則來過濾因?yàn)槁z的代價(jià)通常比誤報(bào)大。第五步現(xiàn)場(chǎng)部署和迭代。上線后持續(xù)收集誤報(bào)和漏檢的樣本定期更新模型。產(chǎn)線上的情況會(huì)變化模型也需要跟著迭代。3.4 產(chǎn)線集成與驗(yàn)收標(biāo)準(zhǔn)視覺系統(tǒng)最終要集成到產(chǎn)線里。集成時(shí)要注意觸發(fā)信號(hào)用光電傳感器或PLC信號(hào)觸發(fā)拍照確保拍照時(shí)機(jī)一致通信接口和PLC通信輸出OK/NG信號(hào)常用IO、Modbus、Profinet等結(jié)果記錄NG產(chǎn)品要記錄圖片和缺陷信息方便追溯人機(jī)界面操作員需要能看到實(shí)時(shí)檢測(cè)結(jié)果能快速切換配方驗(yàn)收標(biāo)準(zhǔn)要在項(xiàng)目開始前就定好。通常包括檢出率缺陷產(chǎn)品被正確判為NG的比例、誤報(bào)率正常產(chǎn)品被誤判為NG的比例、節(jié)拍每個(gè)產(chǎn)品的檢測(cè)時(shí)間、穩(wěn)定性連續(xù)運(yùn)行多少小時(shí)無故障。這些指標(biāo)要寫進(jìn)合同驗(yàn)收時(shí)逐項(xiàng)測(cè)試。4. 工業(yè)質(zhì)檢視覺項(xiàng)目中最容易踩的坑4.1 樣本不足導(dǎo)致的模型過擬合這是新手最常踩的坑。拿幾十張缺陷圖片訓(xùn)練模型在測(cè)試集上表現(xiàn)很好一上產(chǎn)線就崩。原因是模型記住了訓(xùn)練樣本的細(xì)節(jié)沒有學(xué)到缺陷的本質(zhì)特征。解決辦法盡可能多收集樣本并且要多樣化。不同批次、不同光照、不同產(chǎn)品姿態(tài)都要覆蓋。如果缺陷樣本實(shí)在少可以用數(shù)據(jù)增強(qiáng)旋轉(zhuǎn)、翻轉(zhuǎn)、加噪聲、調(diào)亮度來擴(kuò)充或者用少樣本學(xué)習(xí)的方法。但數(shù)據(jù)增強(qiáng)不能替代真實(shí)樣本的多樣性只能緩解。還有一個(gè)技巧正常樣本要足夠多且多樣。因?yàn)楹芏嗳毕輽z測(cè)模型是學(xué)正常樣本的分布偏離分布的就判為異常。正常樣本覆蓋得越全模型對(duì)正常波動(dòng)的容忍度就越好誤報(bào)就越少。4.2 光照變化引起的誤報(bào)產(chǎn)線上的光照不是恒定的。環(huán)境光會(huì)變化光源會(huì)老化產(chǎn)品表面反光會(huì)隨角度變化。這些都會(huì)導(dǎo)致圖像分布偏移模型誤報(bào)。應(yīng)對(duì)措施加遮光罩把環(huán)境光隔絕掉只用主動(dòng)光源光源恒流驅(qū)動(dòng)保證光源亮度穩(wěn)定不隨溫度漂移定期校準(zhǔn)用標(biāo)準(zhǔn)樣品定期檢查圖像質(zhì)量發(fā)現(xiàn)偏移及時(shí)調(diào)整算法魯棒性訓(xùn)練時(shí)加入光照變化的數(shù)據(jù)增強(qiáng)讓模型對(duì)光照變化不敏感我遇到過一個(gè)案例白天和晚上的誤報(bào)率差很多排查后發(fā)現(xiàn)是車間窗戶透進(jìn)來的自然光在變化。加裝遮光罩后問題解決。這種問題在實(shí)驗(yàn)室里永遠(yuǎn)發(fā)現(xiàn)不了只有到現(xiàn)場(chǎng)才會(huì)暴露。4.3 節(jié)拍不達(dá)標(biāo)時(shí)的優(yōu)化思路節(jié)拍不達(dá)標(biāo)是另一個(gè)常見問題。算法在開發(fā)機(jī)上跑得好好的到產(chǎn)線上發(fā)現(xiàn)太慢。優(yōu)化思路按優(yōu)先級(jí)排列減少處理區(qū)域只處理ROI區(qū)域不要全圖處理降低圖像分辨率如果精度允許用低分辨率相機(jī)或降采樣模型優(yōu)化剪枝、量化、換更輕量的網(wǎng)絡(luò)結(jié)構(gòu)硬件加速用GPU、NPU或?qū)Ｓ猛评砜ú⑿刑幚矶鄠€(gè)產(chǎn)品同時(shí)處理或者多個(gè)模型并行流水線設(shè)計(jì)拍照和處理重疊進(jìn)行不要串行等待實(shí)測(cè)下來大部分節(jié)拍問題通過前兩項(xiàng)就能解決。如果還不行再考慮模型和硬件層面的優(yōu)化。4.4 誤報(bào)率和漏檢率的平衡藝術(shù)這是工業(yè)質(zhì)檢里最微妙的部分。誤報(bào)率高產(chǎn)線頻繁停線操作員會(huì)直接把視覺系統(tǒng)關(guān)掉。漏檢率高不良品流到客戶手里后果更嚴(yán)重。平衡策略漏檢優(yōu)先控制先把漏檢率壓到可接受范圍再優(yōu)化誤報(bào)分級(jí)判定把結(jié)果分為OK、NG、待定三檔待定的由人工復(fù)核后處理規(guī)則用規(guī)則引擎過濾明顯誤報(bào)比如缺陷面積太小、位置在邊緣等持續(xù)迭代上線后持續(xù)收集誤報(bào)樣本定期更新模型注意不要追求100%的檢出率和0%的誤報(bào)率這在工業(yè)場(chǎng)景里不現(xiàn)實(shí)。關(guān)鍵是找到一個(gè)產(chǎn)線能接受的平衡點(diǎn)然后通過持續(xù)迭代逐步優(yōu)化。5. 機(jī)器視覺質(zhì)檢方案的選型與落地建議5.1 自研還是采購不同規(guī)模企業(yè)的選擇這個(gè)問題沒有標(biāo)準(zhǔn)答案取決于團(tuán)隊(duì)能力和項(xiàng)目規(guī)模。自研適合有視覺算法團(tuán)隊(duì)、項(xiàng)目需求特殊、長期有多條產(chǎn)線要改造的企業(yè)。自研的好處是可控性強(qiáng)能深度定制長期成本低。壞處是前期投入大踩坑多周期長。采購適合沒有算法團(tuán)隊(duì)、項(xiàng)目周期緊、需求相對(duì)標(biāo)準(zhǔn)的企業(yè)。采購成熟方案能快速上線風(fēng)險(xiǎn)低。壞處是定制能力有限長期可能有授權(quán)費(fèi)用。誠邁科技這類方案商提供的是介于兩者之間的選擇標(biāo)準(zhǔn)化的視覺平臺(tái)加定制化開發(fā)。企業(yè)不需要從零搭建算法團(tuán)隊(duì)又能獲得針對(duì)自己場(chǎng)景的定制方案。對(duì)大多數(shù)中型制造企業(yè)來說這是比較務(wù)實(shí)的路徑。5.2 方案評(píng)估時(shí)該問供應(yīng)商的幾個(gè)問題選供應(yīng)商時(shí)不要只看Demo效果。要問清楚這幾個(gè)問題算法可解釋性判定結(jié)果能不能給出依據(jù)出問題時(shí)能不能排查模型迭代機(jī)制上線后誤報(bào)漏檢怎么反饋模型多久更新一次產(chǎn)線集成能力和現(xiàn)有PLC、MES怎么對(duì)接有沒有成功案例售后響應(yīng)出故障多久能到現(xiàn)場(chǎng)有沒有遠(yuǎn)程支持授權(quán)模式是按項(xiàng)目收費(fèi)還是按年授權(quán)后續(xù)擴(kuò)展工位怎么算這些問題能幫你判斷供應(yīng)商是真正做過工業(yè)項(xiàng)目還是只會(huì)做Demo。5.3 從單點(diǎn)試點(diǎn)到多工位復(fù)制的擴(kuò)展路徑建議不要一上來就全產(chǎn)線鋪開。先選一個(gè)工位做試點(diǎn)跑通后再復(fù)制到其他工位。試點(diǎn)工位選擇原則缺陷明確、節(jié)拍適中、影響面大。選一個(gè)最容易出效果的工位做出成績爭取管理層支持再推廣。復(fù)制時(shí)要注意不同工位的成像條件、缺陷類型、節(jié)拍要求都不同不能簡單復(fù)制。但算法框架、部署流程、運(yùn)維體系可以復(fù)用。把試點(diǎn)中積累的經(jīng)驗(yàn)形成標(biāo)準(zhǔn)文檔復(fù)制時(shí)能少走很多彎路。5.4 長期運(yùn)維模型迭代和數(shù)據(jù)閉環(huán)視覺系統(tǒng)上線不是終點(diǎn)而是起點(diǎn)。產(chǎn)線上的情況會(huì)變化模型需要持續(xù)迭代。建立數(shù)據(jù)閉環(huán)很重要產(chǎn)線檢測(cè)→NG樣本收集→人工復(fù)核→標(biāo)注→模型更新→驗(yàn)證→上線。這個(gè)閉環(huán)跑得越順系統(tǒng)就越穩(wěn)定。實(shí)操中建議每周或每兩周做一次模型評(píng)估看誤報(bào)和漏檢的趨勢(shì)。如果發(fā)現(xiàn)某類誤報(bào)增多就針對(duì)性收集樣本更新模型。不要等到問題積累到不可收拾再處理。另外要保留歷史數(shù)據(jù)。產(chǎn)線上的圖片數(shù)據(jù)是寶貴資產(chǎn)既能用于模型迭代也能用于質(zhì)量追溯。存儲(chǔ)成本現(xiàn)在很低不要省這個(gè)錢。6. 機(jī)器視覺在工業(yè)質(zhì)檢中的下一步演進(jìn)6.1 從2D到3D缺陷檢測(cè)的維度擴(kuò)展2D視覺能解決大部分表面缺陷檢測(cè)但對(duì)高度、深度、體積相關(guān)的缺陷無能為力。比如凹陷、凸起、裝配間隙這些需要3D視覺。3D視覺方案主要有結(jié)構(gòu)光、雙目立體、激光輪廓、ToF。結(jié)構(gòu)光精度高適合靜態(tài)檢測(cè)激光輪廓速度快適合在線檢測(cè)雙目立體成本低但精度有限。誠邁科技這類方案商也在往3D方向擴(kuò)展。未來工業(yè)質(zhì)檢會(huì)是2D加3D融合表面缺陷用2D尺寸和形貌用3D綜合判定。6.2 小樣本和零樣本學(xué)習(xí)的實(shí)際價(jià)值工業(yè)場(chǎng)景里缺陷樣本往往很少。新產(chǎn)品導(dǎo)入時(shí)可能只有幾個(gè)缺陷樣品根本不夠訓(xùn)練模型。小樣本學(xué)習(xí)和零樣本學(xué)習(xí)就是解決這個(gè)問題的。小樣本學(xué)習(xí)用少量樣本快速適應(yīng)新任務(wù)零樣本學(xué)習(xí)則利用先驗(yàn)知識(shí)識(shí)別沒見過的缺陷。這些技術(shù)目前還在成熟過程中但在工業(yè)場(chǎng)景里的需求非常迫切。誰先把這個(gè)做好誰就能在新產(chǎn)品導(dǎo)入時(shí)占據(jù)優(yōu)勢(shì)。6.3 視覺與大模型的結(jié)合點(diǎn)大模型在工業(yè)視覺里的應(yīng)用還在探索階段但有幾個(gè)方向值得關(guān)注多模態(tài)理解結(jié)合圖像和文本用自然語言描述缺陷降低操作門檻異常檢測(cè)用大模型的通用表征能力做無監(jiān)督異常檢測(cè)減少對(duì)缺陷樣本的依賴人機(jī)交互操作員用自然語言查詢檢測(cè)結(jié)果系統(tǒng)自動(dòng)生成報(bào)告這些方向目前還在早期但潛力很大。工業(yè)場(chǎng)景對(duì)可靠性要求極高大模型要真正落地還需要在推理速度、穩(wěn)定性、可解釋性上做大量工程化工作。6.4 產(chǎn)線級(jí)智能化的整體圖景單點(diǎn)視覺檢測(cè)只是開始。未來產(chǎn)線級(jí)智能化是把視覺、機(jī)器人、PLC、MES全部打通實(shí)現(xiàn)從檢測(cè)到反饋到控制的閉環(huán)。比如視覺檢測(cè)發(fā)現(xiàn)尺寸偏移自動(dòng)反饋給加工設(shè)備調(diào)整參數(shù)發(fā)現(xiàn)來料缺陷自動(dòng)通知上游供應(yīng)商發(fā)現(xiàn)裝配錯(cuò)誤自動(dòng)引導(dǎo)機(jī)器人重新裝配。這才是智能制造的完整圖景。誠邁科技的機(jī)器視覺方案本質(zhì)上是這個(gè)圖景里的一個(gè)關(guān)鍵節(jié)點(diǎn)。它把質(zhì)檢環(huán)節(jié)數(shù)字化、智能化為后續(xù)的產(chǎn)線級(jí)優(yōu)化提供數(shù)據(jù)基礎(chǔ)。對(duì)制造企業(yè)來說從質(zhì)檢環(huán)節(jié)切入做智能化改造投入產(chǎn)出比高風(fēng)險(xiǎn)可控是一條務(wù)實(shí)的路徑。我在實(shí)際項(xiàng)目里的體會(huì)是機(jī)器視覺質(zhì)檢不是買一套設(shè)備就完事了它是一個(gè)持續(xù)迭代的過程。前期把需求梳理清楚、成像系統(tǒng)做好、驗(yàn)收標(biāo)準(zhǔn)定好后面就順了。前期偷懶后面就要用幾倍的精力去補(bǔ)。另外不要迷信算法工業(yè)場(chǎng)景里成像和工程化的重要性往往被低估。一張好圖勝過一堆花哨的算法。