探索無人(rén)車自動駕駛：視覺識别技術_賽途（北京）智能科技有限公司-中國智能服務機器人(rén)領域的(de)專業制造者

有一天，我會放開雙手，任由汽車帶我遨遊山河(hé)。

有一天，我會放松身心，透過車窗(chuāng)看這(zhè)美(měi)麗景色。

通(tōng)過對(duì)SLAM自主建圖和(hé)多(duō)傳感器融合技術的(de)學習(xí)，相信你一定對(duì)自動駕駛技術的(de)未來(lái)發展更加充滿信心，今天，我們繼續探究自動駕駛的(de)涉及技術之一——視覺識别技術（利用(yòng)雙目攝像頭和(hé)RGB攝像頭可(kě)以識别車道線、道路标識标線、障礙物(wù)等）。

雙目 · 攝像頭

首先，我們先要了(le)解的(de)是，自動駕駛中用(yòng)到的(de)雙目攝像頭到底是何物(wù)。

雙目攝像頭是利用(yòng)仿生學原理(lǐ)，通(tōng)過标定後的(de)雙攝像頭得(de)到同步曝光(guāng)圖像，然後計算(suàn)獲取的(de)2維圖像像素點的(de)第三維深度信息。爲了(le)對(duì)不同的(de)環境場(chǎng)合進行監控提出了(le)一種新的(de)基于雙目計算(suàn)機視覺的(de)自适應識别算(suàn)法。

該算(suàn)法首先利用(yòng)像素點的(de)深度信息對(duì)場(chǎng)景進行識别判斷，然後采用(yòng)統計的(de)方法爲場(chǎng)景建模，并通(tōng)過時(shí)間濾波克服光(guāng)照(zhào)漸變，以及通(tōng)過深度算(suàn)法特性克服光(guāng)照(zhào)突變。與單攝像頭相比，利用(yòng)該算(suàn)法實現的(de)視頻(pín)監控原理(lǐ)系統，可(kě)應用(yòng)于更多(duō)場(chǎng)合，并利用(yòng)深度信息設置報警級别，來(lái)降低誤檢率。

知道了(le)什(shén)麽叫做(zuò)雙目攝像頭，那麽我們就要進一步了(le)解雙目攝像頭都能幹什(shén)麽？

1. 做(zuò)距離相關的(de)應用(yòng)：人(rén)眼能夠感知物(wù)體的(de)遠(yuǎn)近，是由于兩隻眼睛對(duì)同一個(gè)物(wù)體呈現的(de)圖像存在差異，也(yě)稱“視差”。物(wù)體距離越遠(yuǎn)，視差越小；反之，視差越大(dà)。視差的(de)大(dà)小對(duì)應著(zhe)物(wù)體與眼睛之間距離的(de)遠(yuǎn)近。

2. 雙攝像頭可(kě)以做(zuò)光(guāng)學變焦：若兩個(gè)攝像頭的(de)FOV 不一樣，一個(gè)大(dà)FOV ，一個(gè)小FOV ，再通(tōng)過算(suàn)法實現兩個(gè)光(guāng)學鏡頭之間的(de)效果，就可(kě)以輕松做(zuò)到光(guāng)學變焦。

雙目攝像頭原理(lǐ)

知道了(le)雙目攝像頭是什(shén)麽，有什(shén)麽用(yòng)，那麽它的(de)原理(lǐ)自然也(yě)就能夠明(míng)白了(le)，實際上雙目攝像頭的(de)原理(lǐ)并不難理(lǐ)解。

雙目攝像頭就是模拟人(rén)眼的(de)應用(yòng)。簡單的(de)說，測距離的(de)話(huà)，就是通(tōng)過算(suàn)法算(suàn)出，被拍(pāi)攝物(wù)體與左/右攝像頭的(de)角度θ₁和(hé)θ₂，再加上固定的(de)y 值（即兩個(gè)攝像頭的(de)中心距），就非常容易算(suàn)出z 值（即物(wù)體到攝像頭的(de)距離）。

但是，任何事物(wù)都不是輕易就能夠完成的(de)，雙目攝像頭自然也(yě)是，它也(yě)有自身的(de)難點。

雙目系統的(de)一個(gè)難點在于計算(suàn)量非常大(dà)，對(duì)計算(suàn)單元的(de)性能要求非常高(gāo)，這(zhè)使得(de)雙目系統的(de)産品化(huà)、小型化(huà)的(de)難度較大(dà)。所以在芯片或FPGA 上解決雙目的(de)計算(suàn)問題難度比較大(dà)。

其次，雙目攝像頭對(duì)ISP 的(de)性能比較高(gāo)。雙攝像頭的(de)算(suàn)法，不得(de)不提到ISP ，ISP 主要作用(yòng)是對(duì)前端圖像傳感器輸出的(de)信号做(zuò)後期處理(lǐ)，主要功能有線性糾正、噪聲去除、壞點去除、内插、白平衡、自動曝光(guāng)控制等，依賴于ISP 才能在不同的(de)光(guāng)學條件下(xià)都能較好的(de)還(hái)原現場(chǎng)細節，ISP 技術在很大(dà)程度上決定了(le)攝像機成像質量。

機器視覺 · 系統

了(le)解了(le)雙目攝像機的(de)一些知識以後，我們向更深的(de)領域探索，接下(xià)來(lái)，就讓我們一起來(lái)看看，自動駕駛涉及的(de)技術之一——機器視覺系統

機器視覺系統簡介

視覺系統就是用(yòng)機器代替人(rén)眼來(lái)做(zuò)測量和(hé)判斷。

視覺系統是指通(tōng)過機器視覺産品（即圖像攝取裝置，分(fēn) CMOS 和(hé)CCD 兩種）将被攝取目标轉換成圖像信号，傳送給專用(yòng)的(de)圖像處理(lǐ)系統，根據像素分(fēn)布和(hé)亮度、顔色等信息，轉變成數字化(huà)信号。

圖像系統對(duì)這(zhè)些信号進行各種運算(suàn)來(lái)抽取目标的(de)特征，進而根據判别的(de)結果來(lái)控制現場(chǎng)的(de)設備動作。是用(yòng)于生産、裝配或包裝的(de)有價值的(de)機制。它在檢測缺陷和(hé)防止缺陷産品被配送到消費者的(de)功能方面具有不可(kě)估量的(de)價值。

機器視覺系統的(de)特點是提高(gāo)生産的(de)柔性和(hé)自動化(huà)程度。

在一些不适合于人(rén)工作業的(de)危險工作環境或人(rén)工視覺難以滿足要求的(de)場(chǎng)合，常用(yòng)機器視覺來(lái)替代人(rén)工視覺。

同時(shí)在大(dà)批量工業生産過程中，用(yòng)人(rén)工視覺檢查産品質量效率低且精度不高(gāo)，用(yòng)機器視覺檢測方法可(kě)以大(dà)大(dà)提高(gāo)生産效率和(hé)生産的(de)自動化(huà)程度。而且機器視覺易于實現信息集成，是實現計算(suàn)機集成制造的(de)基礎技術。可(kě)以在最快(kuài)的(de)生産線上對(duì)産品進行測量、引導、檢測、和(hé)識别，并能保質保量的(de)完成生産任務。

基本構造

一個(gè)典型的(de)工業機器視覺系統包括：光(guāng)源、鏡頭（定焦鏡頭、變倍鏡頭、遠(yuǎn)心鏡頭、顯微鏡頭）、相機（包括CCD相機和(hé)COMS相機）、圖像處理(lǐ)單元（或圖像捕獲卡）、圖像處理(lǐ)軟件、監視器、通(tōng)訊 / 輸入輸出單元等。

系統可(kě)再分(fēn)爲：

一、采集和(hé)分(fēn)析分(fēn)開的(de)系統。

主端電腦(nǎo)（Host Computer)、影(yǐng)像撷取卡（Frame Grabber)與影(yǐng)像處理(lǐ)器、影(yǐng)像攝影(yǐng)機、定焦鏡頭鏡頭、顯微鏡頭、照(zhào)明(míng)設備、Halogen光(guāng)源LED光(guāng)源、高(gāo)周波螢光(guāng)燈源、閃光(guāng)燈源、其他(tā)特殊光(guāng)源、影(yǐng)像顯示器、LCD、機構及控制系統、PLC、PC-Base控制器、精密桌台、伺服運動機台。

二、采集和(hé)分(fēn)析一體的(de)系統

智能相機（圖像采集和(hé)分(fēn)析一體）

其他(tā)配套外圍設備：光(guāng)源、顯示、PLC控制系統等等。

圖像 · 采集

圖像采集卡隻是完整的(de)機器視覺系統的(de)一個(gè)部件，但是它扮演一個(gè)非常重要的(de)角色。圖像采集卡直接決定了(le)攝像頭的(de)接口：黑(hēi)白、彩色、模拟、數字等等。

比較典型的(de)是PCI或AGP兼容的(de)捕獲卡，可(kě)以将圖像迅速地傳送到計算(suàn)機存儲器進行處理(lǐ)。有些采集卡有内置的(de)多(duō)路開關。例如，可(kě)以連接8個(gè)不同的(de)攝像機，然後告訴采集卡采用(yòng)那一個(gè)相機抓拍(pāi)到的(de)信息。有些采集卡有内置的(de)數字輸入以觸發采集卡進行捕捉，當采集卡抓拍(pāi)圖像時(shí)數字輸出口就觸發閘門。

視覺處理(lǐ)器

視覺處理(lǐ)器集采集卡與處理(lǐ)器于一體。以往計算(suàn)機速度較慢(màn)時(shí)，采用(yòng)視覺處理(lǐ)器加快(kuài)視覺處理(lǐ)任務。由于采集卡可(kě)以快(kuài)速傳輸圖像到存儲器，而且計算(suàn)機也(yě)快(kuài)多(duō)了(le)，所以視覺處理(lǐ)器用(yòng)的(de)較少了(le)。

機器 · 選型

在機器視覺系統中，獲得(de)一張高(gāo)質量的(de)可(kě)處理(lǐ)的(de)圖像是至關重要。系統之所以成功，首先要保證圖像質量好，特征明(míng)顯。一個(gè)機器視覺項目之所以失敗，大(dà)部分(fēn)情況是由于圖像質量不好，特征不明(míng)顯引起的(de)。要保證好的(de)圖像，必須要選擇一個(gè)合适的(de)光(guāng)源。

光(guāng)源選型基本要素：

對(duì)比度：對(duì)比度對(duì)機器視覺來(lái)說非常重要。機器視覺應用(yòng)的(de)照(zhào)明(míng)的(de)最重要的(de)任務就是使需要被觀察的(de)特征與需要被忽略的(de)圖像特征之間産生最大(dà)的(de)對(duì)比度，從而易于特征的(de)區(qū)分(fēn)。對(duì)比度定義爲在特征與其周圍的(de)區(qū)域之間有足夠的(de)灰度量區(qū)别。好的(de)照(zhào)明(míng)應該能夠保證需要檢測的(de)特征突出于其他(tā)背景。

亮度：當選擇兩種光(guāng)源的(de)時(shí)候，最佳的(de)選擇是選擇更亮的(de)那個(gè)。當光(guāng)源不夠亮時(shí)，可(kě)能有三種不好的(de)情況會出現。第一，相機的(de)信噪比不夠；由于光(guāng)源的(de)亮度不夠，圖像的(de)對(duì)比度必然不夠，在圖像上出現噪聲的(de)可(kě)能性也(yě)随即增大(dà)。其次，光(guāng)源的(de)亮度不夠，必然要加大(dà)光(guāng)圈，從而減小了(le)景深。另外，當光(guāng)源的(de)亮度不夠的(de)時(shí)候，自然光(guāng)等随機光(guāng)對(duì)系統的(de)影(yǐng)響會最大(dà)。

魯棒性：另一個(gè)測試好光(guāng)源的(de)方法是看光(guāng)源是否對(duì)部件的(de)位置敏感度最小。當光(guāng)源放置在攝像頭視野的(de)不同區(qū)域或不同角度時(shí)，結果圖像應該不會随之變化(huà)。方向性很強的(de)光(guāng)源，增大(dà)了(le)對(duì)高(gāo)亮區(qū)域的(de)鏡面反射發生的(de)可(kě)能性，這(zhè)不利于後面的(de)特征提取。

好的(de)光(guāng)源需要能夠使你需要尋找的(de)特征非常明(míng)顯，除了(le)是攝像頭能夠拍(pāi)攝到部件外，好的(de)光(guāng)源應該能夠産生最大(dà)的(de)對(duì)比度、亮度足夠且對(duì)部件的(de)位置變化(huà)不敏感。光(guāng)源選擇好了(le)，剩下(xià)來(lái)的(de)工作就容易多(duō)了(le)。具體的(de)光(guāng)源選取方法還(hái)在于試驗的(de)實踐經驗。

應用(yòng) · 類别

圖像識别處理(lǐ)時(shí)應采取相應的(de)算(suàn)法，提取雜(zá)質的(de)特征，進行模式識别，實現智能分(fēn)析。

Color檢測

一般而言，從彩色CCD相機中獲取的(de)圖像都是RGB圖像。也(yě)就是說每一個(gè)像素都由紅（R）綠（G）藍（B）三個(gè)成分(fēn)組成，來(lái)表示RGB色彩空間中的(de)一個(gè)點。問題在于這(zhè)些色差不同于人(rén)眼的(de)感覺。即使很小的(de)噪聲也(yě)會改變顔色空間中的(de)位置。所以無論我們人(rén)眼感覺有多(duō)麽的(de)近似，在顔色空間中也(yě)不盡相同。基于上述原因，我們需要将RGB像素轉換成爲另一種顔色空間CIELAB。目的(de)就是使我們人(rén)眼的(de)感覺盡可(kě)能的(de)與顔色空間中的(de)色差相近。

Blob檢測

根據上面得(de)到的(de)處理(lǐ)圖像，根據需求，在純色背景下(xià)檢測雜(zá)質色斑，并且要計算(suàn)出色斑的(de)面積，以确定是否在檢測範圍之内。因此圖像處理(lǐ)軟件要具有分(fēn)離目标，檢測目标，并且計算(suàn)出其面積的(de)功能。

Blob分(fēn)析（Blob Analysis）是對(duì)圖像中相同像素的(de)連通(tōng)域進行分(fēn)析，該連通(tōng)域稱爲Blob。經二值化(huà)（Binary Thresholding）處理(lǐ)後的(de)圖像中色斑可(kě)認爲是blob。Blob分(fēn)析工具可(kě)以從背景中分(fēn)離出目标，并可(kě)計算(suàn)出目标的(de)數量、位置、形狀、方向和(hé)大(dà)小，還(hái)可(kě)以提供相關斑點間的(de)拓撲結構。在處理(lǐ)過程中不是采用(yòng)單個(gè)的(de)像素逐一分(fēn)析，而是對(duì)圖形的(de)行進行操作。圖像的(de)每一行都用(yòng)遊程長(cháng)度編碼(RLE）來(lái)表示相鄰的(de)目标範圍。這(zhè)種算(suàn)法與基于象素的(de)算(suàn)法相比，大(dà)大(dà)提高(gāo)處理(lǐ)速度。

機器視覺系統 · 工作原理(lǐ)

機器視覺檢測系統采用(yòng)CCD照(zhào)相機将被檢測的(de)目标轉換成圖像信号，傳送給專用(yòng)的(de)圖像處理(lǐ)系統，根據像素分(fēn)布和(hé)亮度、顔色等信息，轉變成數字化(huà)信号，圖像處理(lǐ)系統對(duì)這(zhè)些信号進行各種運算(suàn)來(lái)抽取目标的(de)特征，如面積、數量、位置、長(cháng)度，再根據預設的(de)允許度和(hé)其他(tā)條件輸出結果，包括尺寸、角度、個(gè)數、合格 / 不合格、有 / 無等，實現自動識别功能。

機器視覺系統 · 優點

1、非接觸測量，對(duì)于觀測者與被觀測者都不會産生任何損傷，從而提高(gāo)系統的(de)可(kě)靠性。

2、具有較寬的(de)光(guāng)譜響應範圍，例如使用(yòng)人(rén)眼看不見的(de)紅外測量，擴展了(le)人(rén)眼的(de)視覺範圍。

3、長(cháng)時(shí)間穩定工作，人(rén)類難以長(cháng)時(shí)間對(duì)同一對(duì)象進行觀察，而機器視覺則可(kě)以長(cháng)時(shí)間地作測量、分(fēn)析和(hé)識别任務。

機器視覺系統在應用(yòng)領域越來(lái)越廣泛，在醫療、交通(tōng)、工業、安全、金融等方面都有機器視覺系統的(de)出現，可(kě)以說，機器視覺系統出現在了(le)我們生活的(de)方方面面。

通(tōng)過今天的(de)學習(xí)，是不是又學到了(le)新的(de)關于自動駕駛的(de)知識了(le)？相信你對(duì)自動駕駛方面的(de)理(lǐ)解會越來(lái)越深刻的(de)。

聯系我們 Contact Us

探索無人(rén)車自動駕駛：視覺識别技術

相關閱讀

電話(huà)郵箱

在線客服