隨著應用場景的深入、擴大，對機器人的應用也提出了更多的要求，通過為機器人配置傳感器等，可以讓機器人更加智能，能夠適應更復雜的場景需求；同時，人工智能的發(fā)展也為工業(yè)機器人的發(fā)展提供了強有力的支撐。傳統(tǒng)人工智能部署到現(xiàn)場后，能夠高效的執(zhí)行，由于工業(yè)場景復雜多變，會出現(xiàn)未經(jīng)過訓練的異常數(shù)據(jù)，導致無法識別輸出。人工智能大模型技術的出現(xiàn)，可使工業(yè)機器人能夠更加靈活的處理復雜的工業(yè)場景，進一步提升檢測精度與效率，助力企業(yè)的數(shù)字化、智能化建設，推動制造業(yè)的轉型升級。

01

引言

工業(yè)機器人已經(jīng)成為工業(yè)生產(chǎn)中常見的、必不可少的重要設備之一，為工業(yè)的發(fā)展帶來了極大的便利。由于工業(yè)場景眾多，需求多樣，為滿足實際業(yè)務場景的需求，工業(yè)機器人在現(xiàn)場的形式由傳統(tǒng)的機械臂，逐步演變?yōu)槎ㄖ苹腁GV、龍門桁架機器人、AGV上搭載機械臂等多種形式。隨著新一代信息技術的賦能，工業(yè)機器人上搭載工業(yè)相機（面陣相機、線掃相機、3D相機等）、智能溫度傳感器、高靈敏度麥克風等傳感器可解決更加復雜的需求，從而大幅提升工業(yè)機器人的利用率，產(chǎn)生更多的實際價值。 人工智能的主要應用為將訓練好的推理/檢測模型進行部署，對實時傳輸?shù)膱D像等數(shù)據(jù)進行處理，根據(jù)輸出結果執(zhí)行下一步的動作；該方式在固定場景中占有絕對優(yōu)勢。工業(yè)機器人在運動過程中，若采集到其他異常數(shù)據(jù)，在模型未經(jīng)訓練的情況下，該異常不會被識別到，存在一定的隱患。人工智能大模型的出現(xiàn)，在提升檢測的精度的同時，賦予了工業(yè)機器人更多的能力，對于制造業(yè)朝著智能制造的方向發(fā)展有很大的促進作用。

02

人工智能大模型在工業(yè)機器人方面的規(guī)劃

工業(yè)機器人應用較多的企業(yè)已具備良好的數(shù)字化基礎，結合實際需求，對人工智能大模型在工業(yè)機器人領域的應用進行整體設計規(guī)劃。

2.1 工業(yè)機器人層

部署在現(xiàn)場的工業(yè)機器人，目前有各種形式，如多關節(jié)機械臂、多自由度桁架機器人、搭載輕載機械臂的AGV等，以滿足各種作業(yè)需求。在工業(yè)機器人上搭載高清攝像頭，實現(xiàn)抓取精確定位、偏差糾正、缺陷檢測和尺寸測量等功能，是成熟且常見的解決方案；也可在工業(yè)機器人上搭載熱成像儀、光譜儀、氣體分析儀和麥克風等，采集不同場景的數(shù)據(jù)，充分發(fā)揮工業(yè)機器人的能力。 工業(yè)機器人在我國的應用面較廣，涵蓋流程、離散制造業(yè)的多個場景，非標定制化工業(yè)機器人在國產(chǎn)化方面具備較為明顯的優(yōu)勢，定制化程度、靈活度高，但也存在一定的挑戰(zhàn)，如：整體長周期穩(wěn)定運行，MTBF（Mean Time Between Failure，平均無故障工作時間）提升；控制器、高精度電機等核心部件國產(chǎn)替換；大規(guī)模調度系統(tǒng)工業(yè)軟件國產(chǎn)化；多關節(jié)高端機器人國產(chǎn)化突破等。

2.2 通信接口層

通信接口是工業(yè)現(xiàn)場的基礎需求，其穩(wěn)定性是第一位。該層的應用設計水平差距較大，需對工業(yè)網(wǎng)絡、辦公網(wǎng)絡進行統(tǒng)一規(guī)劃，建立相應的安全措施，確保網(wǎng)絡的穩(wěn)定。常見的應用效果較好的方案為：工業(yè)網(wǎng)絡采用工業(yè)級交換機（如西門子、菲尼克斯等工業(yè)品牌的網(wǎng)管型交換機）組件光纖環(huán)網(wǎng)，辦公網(wǎng)絡采用商用交換機（如H3C、華為等品牌）組件IT網(wǎng)絡，二者之間采用防火墻防護。 工業(yè)機器人、相機等傳感器通信協(xié)議眾多，該層需確保數(shù)據(jù)傳輸?shù)臏蚀_性、時效性，可考慮利用5G傳輸圖片、視頻等大尺寸數(shù)據(jù)，其他協(xié)議交互檢測結果、指令等數(shù)據(jù)。對于流程行業(yè)，采用RTU、5G等無線通信技術是較為實用穩(wěn)妥的方案。通信接口的穩(wěn)定性要兼顧高并發(fā)、可擴展性、兼容性等。涉及到跨公司、跨平臺間的數(shù)據(jù)傳輸時，可考慮構建工業(yè)互聯(lián)網(wǎng)平臺，加入?yún)^(qū)塊鏈、量子通信等技術以增強通信的安全性。

2.3 模型層

隨著計算機視覺、人工智能等的發(fā)展，為模型層提供了較為完整的理論，學者在此也做了諸多理論、應用的研究。模型層應用的關鍵步驟為搜集數(shù)據(jù)、處理數(shù)據(jù)、模型訓練和部署模型，其核心是通過訓練出的模型解決生產(chǎn)過程中“不變”的需求（因生產(chǎn)過程相對穩(wěn)定重復，對產(chǎn)品、設備等的檢測需求相對固定），如各種缺陷檢測模型、測量模型、預測模型等，最終應用的模型是AI解決復雜問題的能力、產(chǎn)生價值的體現(xiàn)。對常用的幾種模型進行簡介如下。

（1）CV模型 現(xiàn)場涉及圖像、視頻類的檢測/識別均為計算機視覺識別類，采用CV模型是可靠、成熟的解決方案。在工業(yè)現(xiàn)場實際應用中，需要在檢測準確性、節(jié)拍、穩(wěn)定性和性價比等方面進行綜合考慮，確保AI 通過工程項目順利落地、穩(wěn)定運行，才能產(chǎn)生價值。如尺寸偏大、結構復雜的工業(yè)產(chǎn)品需進行外觀缺陷檢測，理想的方案是對該產(chǎn)品抓取至空中進行全方位無死角的拍攝與檢測，實際運行時有兩個較大的風險點：節(jié)拍較慢，會影響生產(chǎn)；動設備損耗大、故障率高、運行成本高。根據(jù)經(jīng)驗，最優(yōu)工程解決方案為采用靜設備設計，對產(chǎn)品確實拍攝不到的部位的缺陷進行評估，若缺陷發(fā)生概率低、影響較小，可以不予考慮，否則需對工藝、設備、管理等進行改進，降低缺陷頻發(fā)的情況。 對于只檢測有無缺陷的場景，可采用傳統(tǒng)算法，如灰度識別、SVM（Support Vector Machine，支持向量機）、SIFT（Scale-Invariant Feature Transform，尺度不變特征變換）、HOG（Histogramof Oriented Gradient，方向梯度直方圖）、ORB（Oriented FAST and Rotated BRIEF，快速特征點提取和描述）和 LBP（Local Binary Patterns，局部二值模式）等，以節(jié)約算力和投資。對于需要標注出缺陷位置、缺陷種類、根據(jù)缺陷嚴重程度區(qū)分等級等的復雜任務，采用CNN神經(jīng)網(wǎng)絡算法是最優(yōu)的解決方案， 如YOLO、VGG、ResNet、AlexNet和RevNet 等。先采集樣本，再將處理后的樣本（標注缺陷，加標簽）通過算法模型進行訓練，模型達到預設的檢測精度后部署該模型使用。 通過框架使用相關算法模型進行訓練時，訓練過程目前來說還是黑匣子（即難以解釋），樣本的質量、數(shù)量對最終的檢測模型影響很大。在工程應用中，增加實際樣本（來源于生產(chǎn)實際，非人為制造的樣本；標注質量要高）數(shù)量可顯著提升模型的訓練結果。為使得算法按照預期效果輸出推理模型，學者做了諸多工作，其中構建損失函數(shù)是較為常見且工程上較易實現(xiàn)的，如Berkan Demirel等提出新的元調損失函數(shù)，使得檢測結果有了顯著提升。在工程應用中，結合實際情況設計損失函數(shù)會取得較好的效果。

（2）機器人預測模型 采集并獲取到工業(yè)機器人的運行作業(yè)數(shù)據(jù)，如動作時長、負載量、電流、電壓、運行軌跡、電池電量和充放電狀態(tài)等，采用Transformer或GNN等訓練預測模型，對工業(yè)機器人的維護狀態(tài)、故障等進行預測，實現(xiàn)工業(yè)機器人的全生命周期管理，合理規(guī)劃工業(yè)機器人及其備件的使用，避免帶病運行，提升工業(yè)機器人的使用壽命與效率。

（3）機器人調度模型 結合排產(chǎn)任務、在機任務等生產(chǎn)數(shù)據(jù)對需要作業(yè)任務進行預測，根據(jù)機器人的執(zhí)行任務情況、本身狀態(tài)、任務優(yōu)先級、動作距離等數(shù)據(jù)，對機器人的工作任務、AGV調度等進行預排，將工業(yè)機器人與生產(chǎn)狀況進行實時匹配，使得工業(yè)機器人的能力得以充分發(fā)揮、提升機器人的利用率，并能提升機器人在應用時的靈活性、智能化。

2.4 大模型層

以ChatGPT為代表人工智能大模型帶動了一系列通用人工智能（Artificial General Intelligence，AGI）技術的迅速發(fā)展，AGI已經(jīng)掀起新一輪信息技術革命，成為一種先進的生產(chǎn)力。人工智能大模型的快速發(fā)展也引起了工業(yè)界的關注，本文基于大模型相關的理論基礎與發(fā)展趨勢提出了其對工業(yè)機器發(fā)展的影響，以期為人工智能大模型在工業(yè)中落地貢獻力量。 大模型在工業(yè)中的核心是解決“變”——由于工業(yè)的復雜性，生產(chǎn)過程中會出現(xiàn)一些異常情況，如復雜設備的突發(fā)故障、產(chǎn)品異常等，需要有效的手段對這些“變數(shù)”進行及時的處理，保證生產(chǎn)各項活動的安全平穩(wěn)進行，實現(xiàn)降本增效。大模型層通過各個場景的數(shù)據(jù)持續(xù)訓練，提升模型的檢測能力，構建基于數(shù)據(jù)更進一步的應用場景，發(fā)揮數(shù)據(jù)的價值。人工智能大模型在工業(yè)領域的應用探索處于初步階段，為數(shù)據(jù)驅動式，但可以預見，未來其發(fā)展會從行業(yè)龍頭企業(yè)率先開始，充分利用其積累的豐富場景的豐富數(shù)據(jù)，從單個場景大模型為突破點，實現(xiàn)行業(yè)大模型的全面發(fā)展。

（1）CV 大模型 計算機視覺（Computer Vision，CV）、大規(guī)模機器學習為工業(yè)機器人朝著更加智能化方向發(fā)展提供了理論支撐，結合AI技術、通過機器人搭載的傳感器采集的數(shù)據(jù)（如機器人運動過程中可采集較為全面的場景的圖片、視頻數(shù)據(jù)），可探索工業(yè)行業(yè)機器視覺的應用。對于工業(yè)行業(yè)CV大模型，核心內容有兩點：數(shù)據(jù)的獲取、數(shù)據(jù)標注的質量、高效的訓練。 對于CV大模型的圖像分類/識別任務，若依賴人工標注，恐難以滿足訓練數(shù)據(jù)的要求，SA（Segment Anything）的提出為CV大模型的實現(xiàn)提供了較為可靠的技術手段。

（2）知識大模型 工業(yè)現(xiàn)場場景眾多，工業(yè)機器人是其中的一環(huán)，涉及的關系型數(shù)據(jù)、非關系型數(shù)據(jù)眾多，數(shù)據(jù)蘊含的價值較大。將工業(yè)現(xiàn)場的各種維度的數(shù)據(jù)建立聯(lián)系，構建工業(yè)知識大模型，充分發(fā)揮數(shù)據(jù)的價值，讓數(shù)據(jù)來源于業(yè)務、反哺于業(yè)務，是一項有意義且有挑戰(zhàn)的工程，知識圖譜的發(fā)展為工業(yè)知識大模型的發(fā)展提供了理論與技術實現(xiàn)方法。 通過知識圖譜可建立深層次的關系，構建企業(yè)的工業(yè)知識體系，將企業(yè)內人員、工藝、設備、備品備件、物資、物流等相關數(shù)據(jù)與資源進行整合關聯(lián)，通過一個點能夠提供直接聯(lián)的、潛在關聯(lián)的信息與知識，提升企業(yè)生產(chǎn)經(jīng)營效率。

（3）LLM 大模型 ChatGPT將人工智能對通用自然語言任務的理解與生成能力提升到新的高度，大量相關工作推動了LLM大模型的發(fā)展，其理論、應用較為健全。在工業(yè)行業(yè)中，有了足夠的數(shù)據(jù)基礎與應用后，可以實現(xiàn)類似ChatGPT的場景功能，能迅速提煉關鍵點、完成報表分析等常規(guī)作業(yè)。在LLM大模型的使用時，為確保每次生成語句的真實性，如 Amos Azaria等利用LLM的隱藏層激活來確定語句的真實性。

2.5 數(shù)據(jù)處理

工業(yè)現(xiàn)場存在一定的復雜性、隨機性與不確定性，會導致現(xiàn)場的圖片、聲音等存在背景噪聲，在訓練前需要對數(shù)據(jù)進行預處理以確保訓練結果，為了避免復雜結構的數(shù)據(jù)造成“維度災難”，可先通過主成分分析（Principal Component Analysis，PCA）、等距映射、局部線性嵌入（Locally LinearEmbedding，LLE）等方法對數(shù)據(jù)進行降維處理，確保模型能提取到有效特征。在人工智能大模型訓練時，對于某些場景可能會存在少樣本甚至零樣本的情況，該部分的研究有助于完善工業(yè)大模型。

2.6 IT系統(tǒng)層

IT系統(tǒng)支撐了企業(yè)各業(yè)務的運行，如OA、SCM、SRM、MES、EAM與自動化設備配套集成的信息系統(tǒng)等，結合企業(yè)實際需求進行規(guī)劃建設。IT系統(tǒng)建設是一項龐大、復雜的工程，存在項目周期長、項目成功率低、上線后使用率低等現(xiàn)場，實施時需以滿足業(yè)務需求為核心，對業(yè)務深入分析、考慮業(yè)務增量發(fā)展趨勢、系統(tǒng)性能余量、數(shù)據(jù)庫設計能力和系統(tǒng)融合擴展能力等進行較為全面的考慮與分析設計，確保項目能順利落地運行。 IT系統(tǒng)是與企業(yè)的相關的業(yè)務需求緊密結合，定制化程度較高。隨著大模型的發(fā)展，未來，通過prompt輸入詳細的業(yè)務需求，大模型自動創(chuàng)建數(shù)據(jù)庫、自動編程實現(xiàn)功能、自動部署IT系統(tǒng)等，大幅降低IT系統(tǒng)實施的復雜度，更好的助力企業(yè)數(shù)字化轉型。

2.7 大數(shù)據(jù)層

數(shù)據(jù)來源于生產(chǎn)經(jīng)營各環(huán)節(jié)，通過大數(shù)據(jù)的應用既能實時掌握生產(chǎn)經(jīng)營的情況，又能對生產(chǎn)經(jīng)營的異常情況及時的分析與指導改進等。目前大數(shù)據(jù)的應用水平也存在較大的差異，自動化、信息化、數(shù)字化方面建設建好的企業(yè)，已構建自身的數(shù)據(jù)平臺并對大數(shù)據(jù)進行了應用。數(shù)據(jù)來源于生產(chǎn)經(jīng)營各環(huán)節(jié)，通過大數(shù)據(jù)的應用既能實時掌握生產(chǎn)經(jīng)營的情況，又能對生產(chǎn)經(jīng)營的異常情況進行及時預測、反饋與指導。

03

總結與展望

隨著工業(yè)數(shù)字化、智能化的建設，工業(yè)機器人、智能傳感器等的應用廣度、集成深度上升，工業(yè)行業(yè)的數(shù)據(jù)維度、數(shù)據(jù)量均在增加，為工業(yè)行業(yè)大模型的發(fā)展構建了基礎。本文對人工智能大模型在工業(yè)機器人的應用提出了可落地的架構，但由于其涉及的技術細節(jié)較多，其落地應用還有一段路要走。隨著業(yè)務發(fā)展的需求、技術發(fā)展的助力，人工智能大模型將為制造業(yè)轉型升級提供重要的技術手段。

人工智能大模型在工業(yè)機器人的發(fā)展方向為工業(yè)機器人自身將集成模型算法、芯片等，提升自身性能、可靠性和易用性；通過千億或萬億級別的參數(shù)預訓練模型，將語言理解、視覺感知、控制等多任務統(tǒng)一建模，提高機器人的語言理解和自主決策能力；結合視覺聽覺觸覺等多種感知方式，通過多模態(tài)學習和感知，實現(xiàn)對作業(yè)環(huán)境的多模態(tài)理解與融合；通過強化學習、遷移學習等算法使機器人在運行中持續(xù)學習和優(yōu)化，使其能在不同任務和環(huán)境中快速適應與遷移，提高機器人的自適應和智能化水平，實現(xiàn)無縫人機協(xié)同安全作業(yè)。

未來人工智能大模型在工業(yè)機器人的應用將朝著更加智能化、自適應、多模態(tài)、易用性和強穩(wěn)定性等方向發(fā)展，不斷進步，助力國產(chǎn)高端的突破，實現(xiàn)更加廣泛和深入的應用。隨著工業(yè)數(shù)字化的推進，在國家政策、市場需求等的推動下，相信我國在工業(yè)機器人軟硬件方面一定會逐步突破。各種形態(tài)的工業(yè)機器人在未來會朝著穩(wěn)定性高、使用便捷、智能化程度高等方向發(fā)展。