0
| 本文作者： 劉路遙 | 2023-08-30 18:06 |
如果問最近哪個行業(yè)最熱，無疑是大模型。
ChatGPT的落地證明了，大模型已經能夠針對任務進行場景化應用，離用戶更近了。
當一批類ChatGPT的通用大模型層出不窮時，另一批參與者著眼于“更容易落地”的行業(yè)垂直大模型，也走到了舞臺中央。
機器視覺作為大模型重點應用的垂直領域，必將從這場技術革命中受益，但工業(yè)場景與生俱來的碎片化、樣本量少等特點，也對大模型的應用提出了挑戰(zhàn)。
大模型這一顛覆性的技術，究竟應當如何應用于工業(yè)中，大家還處在相應的探索中。
在人工智能和機器人領域，存在一個莫拉維克悖論，即對于計算機而言，只需很少的計算能力，就能掌握人類的邏輯推理等高級智慧，但對于人類無意識的感知、運動等低級智慧，卻需要極大的計算資源。
這一悖論，在工業(yè)領域更加凸顯。
在工業(yè)領域，用自動化的機器人替代人類，完成一個簡單的動作，存在極大的瓶頸。
以摁壓、扣接這類精密組裝的動作為例，人類可以在手指不做出明顯向前位移的情況下，僅通過肌肉的彈力或指尖的觸感出色完成工作；但對于機器人來說，僅為了完成這一簡單的動作，就需要進行大量的計算。
不僅如此，由于工業(yè)各細分領域千差萬別，每一項固定工序背后都需要進行大量的計算，這些訓練工作疊加起來的時間和成本，是企業(yè)難以負荷的。
當下，小樣本學習技術、預訓練、預適應，是目前階段最適合工業(yè)場景的，這源于工業(yè)實際應用場景的嚴苛要求：樣本少、時間短、爬坡要求高。
樣本量少是工業(yè)領域的典型難題。
很多情況下，工廠里的邊緣AI應用，缺少豐富、多樣化的產品樣本，并不利于進行模型的訓練。
“缺陷檢測場景中，工廠里會有很多正常的好樣本，但異常樣本的積累，通常要花幾個月甚至半年的時間?！绷柙乒庵R理性研究院副院長全煜鳴告訴雷峰網。
假設一款新手機即將發(fā)布，前期模組生產已經耗費大量時間，最終組裝僅剩兩三個月，很難在這段時間中積累到足夠的異常樣本。
要在獲取的樣本極少，而產能爬坡要求極高的情況下，讓整個產線適應新產品，就會對小樣本、預訓練、預適應提出極高的要求。
對于小樣本來說，模型上面需要有極其嚴苛的適應性，數(shù)據(jù)上面要有很好的增廣能力，要具備在樣本少的情況下，增廣樣本給自己的模型做訓練的能力。
尋找共性，是增廣樣本數(shù)量一個較為常用的辦法。有一些缺陷，在某幾個行業(yè)是相通的，比如中框、結構件的外觀檢測和手機整機的外觀檢測，再比如鋰電和光伏的外觀缺陷檢測等，都存在一定的相通性。
“凌云光建立了擁有500萬樣本的專用工業(yè)數(shù)據(jù)集，可以對缺陷的機理進行研究，再加上深度學習和人工智能算法平臺F.Brain，能夠使得預訓練模型和積累的工業(yè)數(shù)據(jù)集，有比較好的樣本擴增的功能。”全煜鳴接著補充道：“生成缺陷只是第一步，還要兼顧與場景融合過程中的科學性，才能夠保證小樣本缺陷圖增廣的有效性。”
預適應和小樣本一樣，其目的在于使相關模型具有更好的精度和更廣的適應范圍，以滿足不同工業(yè)場景，從而在一定程度上緩解產品在實驗室中表現(xiàn)穩(wěn)定，一到真實產線上就“歇菜”的普遍問題。
一邊，工業(yè)場景對小樣本學習技術提出了高要求；另一邊，工業(yè)場景對產品的要求也日益提高。
首先，生產的精度要求越來越高。
寧德時代的倪軍教授曾提出“極限制造”的概念，表示工業(yè)領域做到6σ（每百萬個產品里頭有一兩個不良品）遠遠不夠，而是需要做到9σ-12σ，即對不良品的要求上升到十億級，每十億個產品當中，只允許出現(xiàn)1-3個不良品，這對機器視覺廠商是個極大的挑戰(zhàn)。
其次，3C制造領域、汽車、印刷品等行業(yè)的升級，對產品良率和產品形態(tài)提出了更高的要求。
在此過程中，怎樣將物理世界的缺陷，通過攝像頭感知到光電領域、數(shù)字領域，并對不同類型和程度的瑕疵進行科學分級，最終定義良品與不良品，實際上是一個難題。
這是因為，無瑕疵的產品幾乎不存在，所謂的良品來自于人們對其的定義。
比如，蘋果和富士康通過三級質量分級完成了對于良品的定義，為其提供視覺感知系統(tǒng)的凌云光，則對標人眼感知，將缺陷細化分級為十級，以此針對不同客戶的質量要求，通過微調來滿足需求。
這一切，都建立在一個前提基礎上，即有一套能夠精確感知缺陷的視覺系統(tǒng)。
其中有兩大挑戰(zhàn)，一個來自于數(shù)據(jù)，一個來自于平臺架構。
人工智能由兩個部分驅動，一是數(shù)據(jù)，二是模型。
數(shù)據(jù)的重要性，正如ML（Machine Learning）大牛吳恩達提出的著名“二八定律”：80%數(shù)據(jù)+20%模型=更好的AI。
隨著預訓練大模型技術的發(fā)展，對于數(shù)據(jù)質量、數(shù)量和多樣性的要求越來越高。
從樣本中積累行業(yè)知識、場景知識是一條重要的路徑。以顯示屏裂紋檢測為例，只有掌握了相關缺陷和產品物理位置的關系、物理形態(tài)上是否垂直于邊緣、不同位置產生缺陷的概率等數(shù)據(jù)，才能夠打造出好的預訓練模型。
但要獲取到精準的數(shù)據(jù)，卻并不容易。
一是數(shù)據(jù)的完整性問題；
二是數(shù)據(jù)的維度單一性問題，檢測點獲取到的數(shù)據(jù)以及制程點的人機料法環(huán)測數(shù)據(jù)，能否從邏輯上實現(xiàn)閉環(huán)建模；
三是做知識抽取和知識沉淀時，實際上獲取到的結論在驗證階段仍會出現(xiàn)偏差，需要更大數(shù)據(jù)量的驗證；
全煜鳴坦言，即使是有著20多年行業(yè)積累，已經擁有數(shù)十億級相關樣本的凌云光，在數(shù)據(jù)獲取過程中也依然面對上述的挑戰(zhàn)。
在全煜鳴看來，減少上述問題帶來的影響，需要做到精準感知和數(shù)據(jù)獲取的標準化。
精準感知是對器件提出的要求。
照明系統(tǒng)、感知元件、光學傳遞相應的鏡頭以及待測目標，都要能夠做到相關的標準度。只有在模塊級做到精準，才能夠在系統(tǒng)級的度量達到成像性能的一致性。
對于照明系統(tǒng)來說，輻射通量、光譜信息、時間的穩(wěn)定性、溫度的穩(wěn)定性等度量指標，要能夠在模塊級進行測量和度量；對于感知元件來說，靈敏度、量子的效率、暗噪聲、動態(tài)范圍，也要能夠進行精準的度量、調節(jié)；對于被測目標，要能夠完整的對光電成像的過程進行物理建模和理論分析。
數(shù)據(jù)的標準化是從維度上說的。
比如對一個產品進行質檢，其維度包括整體產品數(shù)據(jù)、瑕疵數(shù)據(jù)、產品履歷、不同制程段的檢測結果等各個方面，既有圖像數(shù)據(jù)又有文本數(shù)據(jù)，有結構化數(shù)據(jù)和非結構化數(shù)據(jù)。
但需要注意的是，并非所有數(shù)據(jù)都有價值，數(shù)據(jù)的標準化過程，需要舍棄那些永遠無人關心的沉默數(shù)據(jù)，留下有用的數(shù)據(jù)。
“數(shù)據(jù)的標準化是一個系統(tǒng)性的問題，對數(shù)據(jù)的單位、背景條件、存儲都應該有相應的標準。比如，數(shù)據(jù)需要以什么樣的形式存儲下來，是不是要有產品的大圖，有缺陷的小圖用什么格式定義，在什么地方可以獲取到等?！比哮Q對雷峰網(公眾號：雷峰網)介紹道。
實現(xiàn)數(shù)據(jù)標準化只是第一步，在此基礎上，還需要進一步實現(xiàn)數(shù)據(jù)的精準化，以及數(shù)據(jù)知識化。
數(shù)據(jù)的精準化，指的是能夠重復獲取的、穩(wěn)定的、客觀的數(shù)據(jù)。實現(xiàn)精準的數(shù)據(jù)，是挖掘到帶有工藝知識和場景的知識化數(shù)據(jù)的基礎。
以手機維修產線為例，維修不同產品過程中產生的數(shù)據(jù)，其實就包含了對手機或者手機主板怎樣進行下一步檢測的知識。最終將維修記錄整合成標準操作流程的過程，就是將一般數(shù)據(jù)變成帶有知識沉淀的數(shù)據(jù)的過程。
將帶有知識沉淀的數(shù)據(jù)，用到知識圖譜和大模型上，可以幫助終端客戶縮短整體業(yè)務流程。
比如，富士康主板維修嚴重依賴于有經驗的工人，但制造業(yè)人力供應鏈存在不穩(wěn)定的弊端，對于富士康產線的工人來說，離職率會達到100%以上，尤其是一些有經驗的工人很難被留住。相應的，老師傅的知識和經驗也會跟著人一起走。
“通過知識圖譜將大模型拓展至主板維修環(huán)節(jié)，過去 1500 步工序才能搞定一塊主板，現(xiàn)在 15 步就能完成，產線 UPPH 足足提升了37%，讓一線維修工真正可以‘入職三個月，五年老司機’?！?/strong>
從標準化數(shù)據(jù)，到精準化數(shù)據(jù)，再到帶有工藝知識的數(shù)據(jù)，三者之間層層遞進，而數(shù)據(jù)自始至終都是穿插在中間的一條重要主線。
機器視覺設計多個學科，其復雜性導致通用性差，且高度依賴數(shù)據(jù)驅動。
在全煜鳴看來，機器視覺到今天，依舊像一門民間藝術，光、機、電、算、軟各自為戰(zhàn)，從成像的硬件，到成像的方案，再到算法軟件平臺，并沒有形成一個整體的解決方案。
與此同時，隨著大模型時代的到來，要把數(shù)據(jù)處理好，對技術架構帶來全新挑戰(zhàn)。如果沒有全新的技術架構和全新的解決方案做支撐，就會出現(xiàn)技術投入越大，復雜度越高，但可持續(xù)性越弱的問題。
基于此，行業(yè)在思考如何高效地利用數(shù)據(jù)迭代模型的同時，也越來越重視技術架構的創(chuàng)新。
不過，企業(yè)在技術架構的搭建過程中，需要注意兩個問題。
首先，要警惕脫離具體場景訴求談技術架構，要基于業(yè)務搭建技術架構、平臺，否則就是做無用功。
做架構的第一件事，是把需求捋清楚，把業(yè)務目標捋清楚，然后才有可能找到合適的方案。
據(jù)全煜鳴介紹，為更好做到從場景中來回到場景中去，凌云光將技術規(guī)劃和產品規(guī)劃分成了三個部分。
第一部分是目前已經落地應用的解決方案，比如2D視覺、3D視覺的量測、檢測方案，思考怎樣提高效率、提高精度，降低整體對端側算力的要求。
第二部分是在一些新興，短期有落地應用機會的創(chuàng)新方案上，領先行業(yè)半步，進行人才補齊等資源投入。
不過，全煜鳴也提到，“因為不能脫離客戶的實際需求做研究，因此判斷怎么樣才是技術上提前半步，是比較難的?！?/p>
第三部分是針對超前的研究，進行提前布局。比如，凌云光三年前開始進行大模型和知識圖譜的能力構建，提前將整體的技術框架進行落地。
也就是說，對于不同時期或者不同成熟度的解決方案，應當能夠分梯次落地應用，并且做到一個閉環(huán)。
其次，當前構建的架構要有足夠的靈活性，能應對未來的變化，保持旺盛的生命力。
也就是說，要具備能夠誕生多個可模塊化快速復制的集成用例，并且在平臺化的技術架構基礎上設計橫向快速復制的方法。
一個既支持現(xiàn)在，又能支持未來的架構，不僅可以避免重復建設，節(jié)約成本投入，還可以更好地得到綜合成本的下降。
技術架構走向平臺化是重要趨勢之一，凌云光2018年左右開始向平臺化方向轉變，時隔5年，到今年又發(fā)布了全新的KingKong技術架構，包含視覺、數(shù)字基準、大腦、自動化和駕駛艙五個部分。
在全煜鳴看來，KingKong技術架構的特征可以概括為三點：
對于視覺領域，是一個科學的標定和圖像的科學評價，整體系統(tǒng)的一致性非常好；
在數(shù)據(jù)層面，有精準的數(shù)據(jù)，并且是帶有知識的數(shù)據(jù)；
AI 模型上，是數(shù)據(jù)加知識的雙輪驅動。
對于凌云光而言，這些技術為平臺構建了豐富的、有差異化的平臺功能與服務，提高了基礎技術能力，為業(yè)務的安全、穩(wěn)定、高效運行提供了保障。
對于客戶來說，一個更具有一致性的技術架構，更能幫助提升缺陷產品的檢出精度，加快交付，從而帶來生產效率的提升，拉動產能。
一般而言，新設備進入工廠要經過NPI新品導入，之后便是產量和質量爬坡階段。這個階段越短，客戶就越能省下更多物料和人員成本，更快進入大批量生產階段。
“KingKong技術架構調整后，能夠讓手機的中框、頂框、底框的外觀檢測，到手機的整機外觀檢測，交付時間縮短。并且這樣的解決方案，能夠拓展到鋰電外觀、圓柱外觀檢測上?！比哮Q介紹道。
人工智能領域的發(fā)展突飛猛進，大模型將對全行業(yè)都將產生顛覆性地重構，已經是業(yè)界共識。
在工業(yè)領域，從生產優(yōu)化到供應鏈管理，從質量控制到創(chuàng)新設計，大模型正逐漸改變著工業(yè)領域的運作方式和業(yè)務模式。
然而，工業(yè)領域的復雜性和專業(yè)性，決定了通用大模型無法直接應用，尤其在一些要求高精度和領域專業(yè)知識的領域。
面對種種挑戰(zhàn)，能針對行業(yè)細分領域提供更精確、可解釋、安全和定制化的解決方案，比通用模型更具優(yōu)勢和適用性的垂直模型，受到越來越廣泛的關注。
通用大模型雖然在多個領域都表現(xiàn)出色，但并不具備深入的領域專業(yè)知識。
以工業(yè)質檢領域為例，產品質檢涉及到大量數(shù)據(jù)和復雜的圖像、聲音、視頻等信息，要求模型能夠準確地識別和分析各種缺陷和問題，甚至是微小的變化。
但是，通用模型很難在短時間內學會這些領域知識，也很難捕捉到產線上工藝流程和設備運行等細節(jié)。
垂直模型具備專業(yè)知識，能夠更好的理解和處理行業(yè)數(shù)據(jù)和任務，并且能達到更高的精度和性能，提供更準確的結果。
工業(yè)領域數(shù)據(jù)的稀缺性和特殊性，也使得通用模型難以應對。
要達到高精度，模型通常需要大量高質量的訓練數(shù)據(jù)，然而在某些工業(yè)領域，特別是新興或者小規(guī)模領域，短期內難以積累足夠的異常樣本，經常出現(xiàn)模型缺乏足夠數(shù)據(jù)進行訓練的情況。
此外，工業(yè)領域的數(shù)據(jù)還具有許多特殊性，對大量實時數(shù)據(jù)、多種類型數(shù)據(jù)、異常數(shù)據(jù)的處理和分析，是一項異常復雜的工作，難以被通用模型所理解。
垂直模型則降低了對數(shù)據(jù)的需求，只需較少的場景訓練數(shù)據(jù)，就能實現(xiàn)高效開發(fā)，且定制成本更低。
工業(yè)領域講求實際，對穩(wěn)定性、可控性的要求極高，垂直模型更能獲得客戶的信任。
對于工廠來說，需要模型能夠提供清晰的解釋和推理過程，以便能夠理解和信任模型的判斷，從而做出下一步決策。
通用大模型通常是“黑盒模型”，內部運行機制較為復雜，難以提供透明的解釋，較高的風險使其難以獲得客戶的信任；垂直大模型則能將其決策過程和推理邏輯展現(xiàn)出來。
安全和隱私問題，是敲開工業(yè)客戶的最后一道大門。
工業(yè)領域的數(shù)據(jù)龐大且復雜，通用大模型尚難以提供足夠的數(shù)據(jù)安全保障，并且工業(yè)領域的生產流程、產品工藝、設備參數(shù)等都屬于工業(yè)企業(yè)的敏感數(shù)據(jù)，通用大模型的在訓練過程中必然會接觸廣泛的公共數(shù)據(jù)，存在將工廠敏感數(shù)據(jù)泄露出去的風險。因此，很多企業(yè)在權衡風險與收益后，并不愿意將自己的數(shù)據(jù)提供出來。
垂直模型由于可以在特定領域內進行本地化處理，從而能夠減少數(shù)據(jù)共享和隱私泄露的風險。
大模型的產生讓人們意識到，整個機器視覺的解決方案，很有可能被一些極具革命性和創(chuàng)造力的新模型所重構。
全煜鳴坦言，“最近看到很多顛覆性技術，一些原先的技術路徑或者解決方案，很有可能會被新技術顛覆。目前，凌云光F.Brain深度學習平臺已實現(xiàn)工業(yè)場景數(shù)據(jù)、算法（模型訓練）、推理為一體的云邊端協(xié)同一體化平臺。首先，通過算法平臺進行特定場景的數(shù)據(jù)增廣，模型訓練精調，再由推理平臺完成對多端多平臺的部署優(yōu)化?！?/p>
不過，工業(yè)場景對精確度、可靠性的要求極高，現(xiàn)階段，這些新模型的直接導入應用還存在一定的瓶頸。
在全煜鳴看來，這是時代拋給企業(yè)的兩個命題，一邊企業(yè)要沿著已有的路線不停迭代，保證滿足客戶4個9，12個σ的確定性需求和規(guī)格；一邊要保持技術的敏感性和興奮度，警惕會帶來顛覆性的新技術。
然而，要打磨出對行業(yè)有顛覆性價值的模型，絕不是一項閉門造車的工程。
企業(yè)需要在通用大模型基礎上，微調行業(yè)大模型，最后再精調成相關制造場景的模型。
過程中，企業(yè)需要對不同產品和行業(yè)特點有深刻的認識；需要有行業(yè)高質量數(shù)據(jù)的積累；有在數(shù)據(jù)上進行研發(fā)、運算及推理的能力；有懂行業(yè)know-how的研究員和科學家等等。
這意味著，那些深耕于產業(yè)，能觸達更多客戶的行業(yè)場景，更容易從生產線上獲取大量行業(yè)數(shù)據(jù)，且已經積累了較多科學精準樣本的企業(yè)，將更好地滿足工業(yè)領域的需求和挑戰(zhàn)，同時具備更快的技術迭代速度和競爭優(yōu)勢。
ChatGPT 帶來的熱度，就像是將一根針丟進了一片鐵屑中，其與各行各業(yè)之間的連接，是確定無疑的。
但現(xiàn)階段，關于大模型應當怎樣在工業(yè)領域落地，怎樣在邊端、云端做相應的優(yōu)化、輕量化，最終怎樣做到投資回報的閉環(huán)，給工業(yè)帶來效益，還處在相應的探索中。
這一過程中，充滿著無數(shù)的變數(shù)，很難評判哪一家公司更有可能勝出。
但可以確定的是，市場競爭的核心將始終圍繞一個詞：真實需求。
接下來，在機器視覺領域，能在包括光學相機成像系統(tǒng)、軟件和算法等AI技術上，做出對客戶的提質增效、降本減存有數(shù)量級和革命性幫助的解決方案，將獲得更大的加速度。如果您有更多關于機器視覺的故事和看法，歡迎添加作者微信MOON_ERS進行交流。
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
