機(jī)器人感知系統(tǒng)把機(jī)器人各種內(nèi)部狀態(tài)信息和環(huán)境信息從信號轉(zhuǎn)變?yōu)闄C(jī)器人自身或者機(jī)器人之間能夠理解和應(yīng)用的數(shù)據(jù)、信息，除了需要感知與自身工作狀態(tài)相關(guān)的機(jī)械量，如位移、速度、加速度、力和力矩外，視覺感知技術(shù)是工業(yè)機(jī)器人感知的一個重要方面。

　　視覺伺服系統(tǒng)將視覺信息作為反饋信號，用于控制調(diào)整機(jī)器人的位置和姿態(tài)。這方面的應(yīng)用主要體現(xiàn)在半導(dǎo)體和電子行業(yè)。機(jī)器視覺系統(tǒng)還在質(zhì)量檢測、識別工件、食品分揀、包裝的各個方面得到了廣泛應(yīng)用。

　　通常，機(jī)器人視覺伺服控制是基于位置的視覺伺服或者基于圖像的視覺伺服，它們分別又稱為三維視覺伺服和二維視覺伺服，這兩種方法各有其優(yōu)點和適用性，同時也存在一些缺陷。

　　基于位置的視覺伺服系統(tǒng)，利用攝像機(jī)的參數(shù)來建立圖像信息與機(jī)器人末端執(zhí)行器的位置/姿態(tài)信息之間的映射關(guān)系，實現(xiàn)機(jī)器人末端執(zhí)行器位置的閉環(huán)控制。末端執(zhí)行器位置與姿態(tài)誤差由實時拍攝圖像中提取的末端執(zhí)行器位置信息與定位目標(biāo)的幾何模型來估算，然后基于位置與姿態(tài)誤差，得到各關(guān)節(jié)的新位姿參數(shù)?；谖恢玫囊曈X伺服要求末端執(zhí)行器應(yīng)始終可以在視覺場景中被觀測到，并計算出其三維位置姿態(tài)信息。消除圖像中的干擾和噪聲是保證位置與姿態(tài)誤差計算準(zhǔn)確的關(guān)鍵。

　　二維視覺伺服通過攝像機(jī)拍攝的圖像與給定的圖像(不是三維幾何信息)進(jìn)行特征比較，得出誤差信號。然后，通過關(guān)節(jié)控制器和視覺控制器和機(jī)器人當(dāng)前的作業(yè)狀態(tài)進(jìn)行修正，使機(jī)器人完成伺服控制。相比三維視覺伺服，二維視覺伺服對攝像機(jī)及機(jī)器人的標(biāo)定誤差具有較強(qiáng)的魯棒性，但是在視覺伺服控制器的設(shè)計時，不可避免地會遇到圖像雅克比矩陣的奇異性以及局部極小等問題。

　　針對三維和二維視覺伺服方法的局限性，有人提出了2.5維視覺伺服方法。它將攝像機(jī)平動位移與旋轉(zhuǎn)的閉環(huán)控制解耦，基于圖像特征點，重構(gòu)物體三維空間中的方位及成像深度比率，平動部分用圖像平面上的特征點坐標(biāo)表示。這種方法能成功地把圖像信號和基于圖像提取的位姿信號進(jìn)行有機(jī)結(jié)合，并綜合他們產(chǎn)生的誤差信號進(jìn)行反饋，很大程度上解決了魯棒性、奇異性、局部極小等問題。但是，這種方法仍存在一些問題需要解決，如怎樣確保伺服過程中參考物體始終位于攝像機(jī)視野之內(nèi)，以及分解單應(yīng)性矩陣時存在解不唯一等問題。

　　在建立視覺控制器模型時，需要找到一種合適的模型來描述機(jī)器人的末端執(zhí)行器和攝像機(jī)的映射關(guān)系。圖像雅克比矩陣的方法是機(jī)器人視覺伺服研究領(lǐng)域中廣泛使用的一類方法。圖像的雅克比矩陣是時變的，所以，需要在線計算或估計。