然后在下一幀采集的圖像中對(duì)目標(biāo)對(duì)象進(jìn)行特征提??;特征匹配的過程既是將提取出來的目標(biāo)對(duì)象的特征與我們事先已經(jīng)建立的特征模板進(jìn)行匹配,通過與特征模板的相似程度來確定被跟蹤的目標(biāo)對(duì)象,,實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤,?;谔卣鞯母櫵惴ǖ膬?yōu)點(diǎn)在于速度快、對(duì)運(yùn)動(dòng)目標(biāo)的尺度,、形變和亮度等變化不敏感,,能滿足特定場(chǎng)合的處理要求。但由于特征具有稀疏性和不規(guī)則性,,所以該算法對(duì)于噪聲,、遮擋、圖像模糊等比較敏感,,如果目標(biāo)發(fā)生旋轉(zhuǎn),,則部分特征點(diǎn)會(huì)消失,,新的特征點(diǎn)會(huì)出現(xiàn),因此需要對(duì)匹配模板進(jìn)行更新,。RK3399搭載AI智能算法,,實(shí)現(xiàn)目標(biāo)識(shí)別與跟蹤。國(guó)產(chǎn)化目標(biāo)跟蹤售后服務(wù)
用檢測(cè)器模型去解決跟蹤問題,,遇到的比較大問題是訓(xùn)練數(shù)據(jù)不足,。普通的檢測(cè)任務(wù)中,因?yàn)闄z測(cè)物體的類別是已知的,,可以收集大量數(shù)據(jù)來訓(xùn)練,。例如 VOC、COCO 等檢測(cè)數(shù)據(jù)集,,都有著上萬(wàn)張圖片用于訓(xùn)練,。而如果我們將跟蹤視為一個(gè)特殊的檢測(cè)任務(wù),檢測(cè)物體的類別是由用戶在首先幀的時(shí)候所指定的,。這意味著能夠用來訓(xùn)練的數(shù)據(jù)只是只是只有少數(shù)幾張圖片,。這給檢測(cè)器帶來了很大的障礙。而慧視光電定制的目標(biāo)跟蹤算法可以有效的解決這個(gè)問題,,通過AI自動(dòng)圖像標(biāo)注平臺(tái)SpeedDP的大量模型部署訓(xùn)練,,能夠有效解決數(shù)據(jù)訓(xùn)練不足的問題。國(guó)產(chǎn)化目標(biāo)跟蹤售后服務(wù)成都慧視開發(fā)的RK3588跟蹤板怎么樣???
目標(biāo)跟蹤(Target Tracking)是近年來計(jì)算機(jī)視覺領(lǐng)域比較活躍的研究方向之一,它包含從目標(biāo)的圖像序列中檢測(cè),、分類,、識(shí)別、跟蹤并對(duì)其行為進(jìn)行理解和描述,,屬于圖像分析和理解的范疇,。從技術(shù)角度而言,目標(biāo)跟蹤的研究?jī)?nèi)容相當(dāng)豐富,,主要涉及到模式識(shí)別,、圖像處理、計(jì)算機(jī)視覺,、人工智能等學(xué)科知識(shí),;同時(shí),動(dòng)態(tài)場(chǎng)景中運(yùn)動(dòng)的快速分割,、目標(biāo)的非剛性運(yùn)動(dòng),、目標(biāo)自遮擋和目標(biāo)之間互遮擋的處理等問題也為目標(biāo)跟蹤研究帶來了一定的挑戰(zhàn)。由于目標(biāo)跟蹤在視頻會(huì)議,、安全監(jiān)控,、導(dǎo)彈制導(dǎo),、醫(yī)療診斷、高級(jí)人機(jī)交互及基于內(nèi)容的圖像存儲(chǔ)與檢索等方面具有廣泛的應(yīng)用前景和潛在的經(jīng)濟(jì)價(jià)值,。
多目標(biāo)跟蹤是指在連續(xù)的圖像中,,通過目標(biāo)檢測(cè)算法識(shí)別出每一幀中的目標(biāo),并在時(shí)間上跟蹤它們的位置和狀態(tài),。但目標(biāo)會(huì)不斷發(fā)生尺度,、形變、遮擋等變化,,而且還會(huì)有目標(biāo)出現(xiàn)和消失的情況,,再加上視頻采集端的相機(jī)所處環(huán)境可能受到外界影響導(dǎo)致抖動(dòng)的情況(例如無(wú)人機(jī)高空檢測(cè)),就會(huì)給多目標(biāo)跟蹤造成一定的困難,。由于我們不能控制目標(biāo),,所以只能從視頻采集端維護(hù)跟蹤的穩(wěn)定性。因此,,成都慧視針對(duì)于多目標(biāo)檢測(cè)跟蹤抖動(dòng)丟失的優(yōu)化方法是:1.改進(jìn)目標(biāo)檢測(cè),使用更加魯棒的目標(biāo)檢測(cè)算法。2.增強(qiáng)特征描述,,利用深度學(xué)習(xí)提取更高級(jí)別的語(yǔ)義特征,,這些特征對(duì)于小范圍內(nèi)的視角變化具有更好的不變性3.改進(jìn)運(yùn)動(dòng)模型,在算法中加入對(duì)攝像頭運(yùn)動(dòng)的估計(jì),,通過補(bǔ)償攝像頭運(yùn)動(dòng)來減小目標(biāo)真實(shí)運(yùn)動(dòng)與預(yù)測(cè)之間的差距,。4.數(shù)據(jù)關(guān)聯(lián)策略,設(shè)計(jì)更靈活的數(shù)據(jù)關(guān)聯(lián)算法,,允許更大的距離閾值來匹配候選目標(biāo),。成都RV1126智能跟蹤板提供商。
RK3588作為瑞芯微國(guó)產(chǎn)化旗艦級(jí)芯片,,用在目標(biāo)跟蹤領(lǐng)域,,通常情況下跟蹤幀率都在50Hz左右,這已經(jīng)足夠滿足大多數(shù)應(yīng)用領(lǐng)域的需求,。但在許多特殊領(lǐng)域,,如軍備、邊防,,高幀頻的視頻輸出能夠在極短的時(shí)間內(nèi)捕捉到更多的畫面,,實(shí)現(xiàn)高速動(dòng)態(tài)場(chǎng)景的連續(xù)拍攝。高幀頻的目標(biāo)跟蹤則能夠獲得更多的目標(biāo)細(xì)節(jié),,便于做出下一步判斷,。許多中低端性能的由于算力等因素?zé)o法達(dá)到這樣的需求,但RK3588作為性能怪,,6.0TOPS的算力開發(fā)潛力無(wú)限,。成都慧視就針對(duì)于這樣的需求場(chǎng)景,,在硬件的支持下,定制開發(fā)出能夠支撐100Hz跟蹤算法,,從而打造出能夠穩(wěn)定實(shí)現(xiàn)100Hz目標(biāo)跟蹤的整合方案,。AI圖像處理板能實(shí)現(xiàn)24小時(shí)、無(wú)間隙信息化監(jiān)控,。無(wú)源目標(biāo)跟蹤性價(jià)比
成都RK3588智能跟蹤板提供商,。國(guó)產(chǎn)化目標(biāo)跟蹤售后服務(wù)
但這也遇到很多難點(diǎn),通常情況下,,視頻回傳的延遲大概在200ms左右,,隨著大量的彈打出,視頻傳輸所需帶寬就面臨壓力,,如何在通信帶寬有限的情況下,,保證視頻順暢、清晰,、無(wú)卡頓地傳輸,,是分析改進(jìn)這個(gè)工作需要解決的前期難點(diǎn)。針對(duì)于這個(gè)問題,,慧視光電利用GS弱網(wǎng)高清音視頻傳輸系統(tǒng)和RK3588打造的Viztra-HE030圖像處理板結(jié)合,,推出了低延遲低帶寬圖傳解決方案。在一個(gè)窄帶收發(fā)信道內(nèi),,例如在信道有效帶寬0.5Mb/s~2Mb/s內(nèi),,多路視頻和交互控制共用一對(duì)收發(fā)信道,信道支持?jǐn)?shù)據(jù)透?jìng)?,外部系統(tǒng)可以使用該信道,,傳輸任意格式的數(shù)據(jù);可實(shí)時(shí)調(diào)整視頻碼率,,在低至500K帶寬情況下依然可以回傳清晰流暢的圖像,。可以使設(shè)備飛的更遠(yuǎn),、走的更遠(yuǎn);可實(shí)現(xiàn)視頻中繼轉(zhuǎn)發(fā),;能夠基于H265實(shí)時(shí)視頻編碼;可實(shí)現(xiàn)基于視頻流的“人在回路低延遲控制”,?;谄胀?0幀相機(jī),實(shí)現(xiàn)15ms的低延遲編解碼,,加上數(shù)據(jù)鏈傳輸延遲時(shí)間在30ms左右,,目前業(yè)界前列。通用性強(qiáng),,使用更加靈活,,適用更多應(yīng)用場(chǎng)景,;支持多路SDI視頻在低至500K帶寬情況下的同時(shí)傳輸(1080P60FPS),徹底解決“帶寬苦惱”,;整體時(shí)延約60ms(含相機(jī),、編解碼、顯示,,不含傳輸),,實(shí)現(xiàn)實(shí)時(shí)控制、實(shí)時(shí)打擊,。國(guó)產(chǎn)化目標(biāo)跟蹤售后服務(wù)