伴隨著經(jīng)濟增長和城市化進程的加快，新的城市交通基礎設施不斷興建，車流量快速增長，相應的智能交通綜合系統(tǒng)也需一再擴容。在監(jiān)控系統(tǒng)越來越龐大、監(jiān)控信息越來越多的情況下，單純依賴有限的交管人力資源或是在原有的系統(tǒng)基礎之上做擴充來實現(xiàn)，幾乎是不可能的事情。為了應對當前經(jīng)濟迅速增長和城市化進程加快過程中所凸顯出的道路擁堵、交通事故頻發(fā)、突發(fā)案件增多等狀況，借助于更便捷、更智能的科技手段，來加強安全防范和交通管理就顯得至關重要。

交通領域引進海量數(shù)據(jù)處理技術

針對交通行業(yè)的海量數(shù)據(jù)處理需求，北京博瑞凱誠等一批專注于智能交通領域的高科技企業(yè)紛紛利用當今最前沿的智能視頻技術，設計研制了智能交通綜合管理系統(tǒng)，解決了交通行業(yè)目前面臨的數(shù)據(jù)處理難題。本公司設計的智能交通管理系統(tǒng)可以在海量數(shù)據(jù)、惡劣網(wǎng)絡環(huán)境和復雜業(yè)務處理情況下，實現(xiàn)大量圖片、車輛數(shù)據(jù)、視頻數(shù)據(jù)的時時網(wǎng)絡傳輸和快速持久化存儲，同時對任意站點的圖像進行顯示，對任意站點的視頻進行流暢播放、實時進行比對報警，快速進行多條件檢索，并且將各類多媒體數(shù)據(jù)和車輛數(shù)據(jù)合二為一。系統(tǒng)實現(xiàn)對目前的城市道路交通中異常行為的智能識別和自動報警等，從而減輕了交管監(jiān)控人員的工作負擔，提高了監(jiān)測的準確度，使得交通管理工作更高效。

下面以博瑞凱誠智能交通管理系統(tǒng)（以下統(tǒng)稱“博瑞系統(tǒng)”）為例，介紹和分析海量數(shù)據(jù)處理技術在智能交通綜合管理系統(tǒng)上的應用。

博瑞系統(tǒng)設計應用

1、總體設計及其優(yōu)點

博瑞系統(tǒng)充分發(fā)揮了前端攝像機的潛力，同時通過提高傳統(tǒng)以太網(wǎng)的使用效率，實現(xiàn)了前端攝像機的功能多樣化，同時提高了大量并發(fā)的視頻和圖片數(shù)據(jù)的傳輸和存儲效率。

（1）提高前端設備在線率，通過改進前端設備的硬件軟件，提高了設備的可靠性，豐富前端設備的功能，前端攝像機除了具備視頻采集功能外，具備了車輛號牌識別，車型識別，車輛顏色識別，車輛超速檢測，視頻和圖片長時間存儲的功能。

（2）提高網(wǎng)絡傳輸?shù)男?，解決網(wǎng)絡傳輸瓶頸，傳統(tǒng)的以太網(wǎng)存在網(wǎng)絡帶寬利用率低的弊病，通過改進，使的網(wǎng)絡傳輸發(fā)生了本質的提升，保證時時的視頻和圖片傳輸，避免交通高峰期帶來的信息堆積和網(wǎng)絡阻塞問題。

（3）使用分布式數(shù)據(jù)存儲，增加存儲容量，提高存儲性能，通過使用分布式存儲，加快了存儲的速度，有效避免了存儲瓶頸帶來的存儲壓力，配合快速的網(wǎng)絡傳輸，實現(xiàn)了數(shù)據(jù)的最短時間持久化。

（4）平臺數(shù)據(jù)分流，使用分布式的存儲理念和分布式數(shù)據(jù)庫，加快數(shù)據(jù)庫的反應速度，避免了海量數(shù)據(jù)過度集中帶來的一系列數(shù)據(jù)庫問題。提高后端各個服務的反應速度，進而提升了整體平臺的反應速度和用戶的使用體驗。

（1）通過有效提高前端設備的各方面性能，增加更多的識別功能，增加數(shù)據(jù)庫記錄功能，實際上有效降低了用戶的采購成本，一個設備實現(xiàn)了多項功能，有效降低了平臺的數(shù)量，降低了一系列的采購、維護、運行和后續(xù)的成本。

（2）通過提高現(xiàn)有網(wǎng)絡設備的傳輸效率，在現(xiàn)有網(wǎng)絡上實現(xiàn)快速傳輸，解決網(wǎng)絡瓶頸，能夠帶來更加快速的應用體驗，提高整體基礎數(shù)據(jù)的服務質量。

（3）通過使用分布式存儲代替現(xiàn)有的中心節(jié)點存儲，分散存儲壓力，分散了數(shù)據(jù)風險，帶來的優(yōu)勢是延長了數(shù)據(jù)的保存時間，減小了數(shù)據(jù)丟失的風險，提高了每一個關鍵數(shù)據(jù)的訪問速度。

（4）通過使用新的數(shù)據(jù)庫Hbase1和嵌入式數(shù)據(jù)庫SDB，通過分布式數(shù)據(jù)庫，分流平臺數(shù)據(jù)，提高數(shù)據(jù)庫系統(tǒng)的性能，同時也提高了所有應用的服務質量，提供給用戶更加快捷的應用體驗，提高工作效率和服務水準。

2、應用實現(xiàn)

（1）增加前端設備的功能提高前端設備穩(wěn)定性。

由普清到高清的轉變過程中，大數(shù)據(jù)量的存儲是智能交通行業(yè)普遍面臨的難題。博瑞凱誠最新研制推出的新一代嵌入式高清智能相機，采用一體化設計模式，在每一個相機里面配置1T硬盤，用于存儲數(shù)據(jù)。前端機配置大硬盤解決存儲問題，不僅保證了數(shù)據(jù)的安全性同時保證了數(shù)據(jù)調(diào)取的高效性。

（2）在網(wǎng)絡傳輸算法中使用基于DNA包的網(wǎng)絡傳輸算法解決網(wǎng)絡瓶頸。

基于DNA包的網(wǎng)絡傳輸算法的優(yōu)勢：解決了基于傳統(tǒng)網(wǎng)絡帶寬占用(利用率)低的問題。傳統(tǒng)TCP采用了反復連接、慢啟動、動態(tài)滑動窗口、定時重傳、擁塞控制等技術以確保數(shù)據(jù)的可靠傳輸，但卻嚴重降低了帶寬的利用率和傳輸效率。對此，提出了基于DNA包傳輸算法，采用先進的傳輸機制，極大地提高了網(wǎng)絡帶寬利用率和傳輸效率。

博瑞系統(tǒng)改進了傳統(tǒng)TCP的Karn算法，引入了針對網(wǎng)絡數(shù)據(jù)的快速發(fā)送機制。獨特的網(wǎng)絡擁塞自動調(diào)節(jié)。有時網(wǎng)絡會很忙，因為它要發(fā)送大量的數(shù)據(jù)包，網(wǎng)絡設備會因為接收和處理大量的數(shù)據(jù)包而超負荷工作，通過DNA信令包進行設備間的命令傳遞，網(wǎng)絡設備以此為依據(jù)，采用高效的擁塞自動調(diào)節(jié)技術避免網(wǎng)絡擁塞。

（3）分布式存儲分擔中心存儲壓力、分布式數(shù)據(jù)庫分流中心數(shù)據(jù)。

中心存儲設備和分局存儲設備采用分布式微服務器。由公司自主研發(fā)獨創(chuàng)推出的分布式微服務器（見圖2），打破了目前整個業(yè)界普遍采用的高端服務器外掛磁盤陣列的架構模式，該服務器是將原來的大數(shù)據(jù)集中式處理，拆分成小模塊單獨處理，大大提高了數(shù)據(jù)調(diào)取和業(yè)務處理的效率，利用該服務器可以實現(xiàn)真正意義上的分布式。另外其體積小，存放方便；成本低，在原來高端服務器外掛磁盤陣列的架構模式上至少可降低30%的采購成本；外觀簡單，無需外掛存儲等設備。

中心數(shù)據(jù)庫Hbase1和SDB。圖片數(shù)據(jù)的增加，使傳統(tǒng)的單一服務器和高性能服務器方案，不能同時滿足高速讀，高速寫，高速檢索的要求，原因是由于單一服務器的磁盤io和cpu內(nèi)存資源，相對存在極限，即使是強悍的服務器配置，仍然存在性能方面的極限，并且該極限無法變動。海量數(shù)據(jù)庫使用分布式理念處理海量數(shù)據(jù)，分布式的核心思想是把一個巨大的問題拆分成若干小型問題，拆分完成后同時在不同計算機上處理各個小型問題，最終完成大型問題的計算。圖片數(shù)據(jù)存儲和圖片數(shù)據(jù)檢索符合分布式處理的原則，能夠使用分布式思想解決。

新數(shù)據(jù)庫方案中心使用Hbase1作為中心數(shù)據(jù)庫，使用前端設備嵌入式數(shù)據(jù)庫SDB(smalldatabase)作為備用檢索數(shù)據(jù)庫，通過分布式的讀寫和檢索，滿足高速讀、寫、檢索的需求，有效降低系統(tǒng)的整體負擔。

Hbase1針對過億條目的數(shù)據(jù)庫，進行分布式計算處理，分布式計算(云計算)有效的提高數(shù)據(jù)的安全性和數(shù)據(jù)的檢索速度，云計算的第一原則要求：可以進行云計算的問題必須是可以并行處理的，Hbase1的基礎是Hbase+hadoop+HDFS以及map_reduce模型，該架構完全支持并行處理，使用Hbase1分布式的處理問題，將大型的問題拆分成并行處理的小問題，將海量圖片數(shù)據(jù)的搜索，轉變成大量的子搜索處理，提高圖片數(shù)據(jù)庫的處理速度。

SDB是基于嵌入式系統(tǒng)的小型專用數(shù)據(jù)庫，前端設備具備存儲和計算能力，前端設備進行數(shù)據(jù)檢索，能有效利用前端設備剩余資源。基于該原則，我們在前端設備中植入嵌入式的數(shù)據(jù)庫系統(tǒng)SDB，SDB系統(tǒng)提供自身存儲的數(shù)據(jù)查詢，SDB查詢速度快，不消耗中心資源。

SDB是基于嵌入式系統(tǒng)的小型專用數(shù)據(jù)庫，前端設備具備存儲和計算能力，前端設備進行數(shù)據(jù)檢索，能有效利用前端設備剩余資源?；谠撛瓌t，我們在前端設備中植入嵌入式的數(shù)據(jù)庫系統(tǒng)SDB，SDB系統(tǒng)提供自身存儲的數(shù)據(jù)查詢，SDB查詢速度快，不消耗中心資源。