如有錯(cuò)誤，懇請(qǐng)指出。

創(chuàng)新互聯(lián)自2013年起，先為洪雅等服務(wù)建站，洪雅等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為洪雅企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問(wèn)題。

---

文章目錄

• 1. 背景
• 2 網(wǎng)絡(luò)結(jié)構(gòu)
• • 2.1 3d Backbone
  • 2.2 Loss Compute
  • 2.3 Data Augment
• 3. 實(shí)驗(yàn)結(jié)果

paper：《SECOND: Sparsely Embedded Convolutional Detection》

1. 背景

鑒于VoxelNet等3d檢測(cè)算法中使用的3d卷積會(huì)導(dǎo)致計(jì)算量大且推理速度慢的問(wèn)題，所以這里提出了一種稀疏卷積(sparse convolution method)。在介紹VoxelNet中，也提及到由于其損失結(jié)構(gòu)采用直接回歸的方式，雖然簡(jiǎn)潔但可能會(huì)限制其網(wǎng)絡(luò)性能，在此基礎(chǔ)上，SECOND提出了一個(gè)新的損失函數(shù)與數(shù)據(jù)增強(qiáng)策略來(lái)對(duì)其進(jìn)行改進(jìn)。

---

2 網(wǎng)絡(luò)結(jié)構(gòu) 2.1 3d Backbone

整體的SECOND結(jié)構(gòu)與VoxelNet機(jī)構(gòu)是一樣的，結(jié)構(gòu)圖如下所示。但是，在VoxelNet中使用的3d卷積，這里SECOND提出了稀疏卷積對(duì)其進(jìn)行替換，大大提高了推理速度。

稀疏卷積有兩種：
1）正常稀疏卷積層：沒(méi)有相關(guān)的輸入點(diǎn)就不用計(jì)算輸出點(diǎn)。該方法在僅基于LiDAR的方法上有益。
2）子流型卷積：限制當(dāng)且僅當(dāng)相應(yīng)的輸入位置處于活動(dòng)狀態(tài)時(shí)，輸出位置才處于活動(dòng)狀態(tài)。這避免了生成過(guò)多的活動(dòng)點(diǎn)，因?yàn)榛顒?dòng)點(diǎn)過(guò)多會(huì)導(dǎo)致后續(xù)卷積層的速度下降。

稀疏中間層特征提取如上圖所示，其中黃色框表示稀疏卷積，白色框表示子流形卷積，紅色框表示稀疏到密集層?？梢园l(fā)現(xiàn)其有兩個(gè)稀疏卷積階段，每個(gè)階段有多個(gè)子流型卷積層和一個(gè)正常稀疏卷積層對(duì)z軸進(jìn)行下采樣。在z軸維度下采樣到1或2時(shí)將稀疏數(shù)據(jù)轉(zhuǎn)化為稠密特征圖，reshape成2D數(shù)據(jù)。

ps：對(duì)于稀疏卷積的具體原理，可以參考：稀疏卷積 Sparse Convolution Net，對(duì)于稀疏卷積的代碼實(shí)現(xiàn)可以查看參考資料3和5.

2.2 Loss Compute

對(duì)于損失部分，SECOND對(duì)位置信息xyz以及尺寸信息whl都采用了和VoxelNet一樣的方法，也就是直接回歸預(yù)測(cè)，但是對(duì)于角度預(yù)測(cè)進(jìn)行了改進(jìn)。這是由于VoxelNet直接預(yù)測(cè)弧度偏移，但在0和π的情況下會(huì)遇到一個(gè)對(duì)立的問(wèn)題，因?yàn)檫@兩個(gè)角度對(duì)應(yīng)的是同一個(gè)盒子，但當(dāng)其中一個(gè)被誤認(rèn)為是另一個(gè)時(shí)，會(huì)產(chǎn)生很大的損失。這里SECOND對(duì)于角度的損失函數(shù)設(shè)置為：Lθ = SmoothL1(sin(θp ? θt))。

現(xiàn)在對(duì)此損失函數(shù)進(jìn)行分析。SmoothL1函數(shù)是偶函數(shù)，而Sin函數(shù)是奇函數(shù)。假設(shè)有兩個(gè)對(duì)稱的anchor對(duì)ground truth的角度偏移為-20與20。那么，先經(jīng)過(guò)了奇函數(shù)再經(jīng)過(guò)一個(gè)偶函數(shù)，這兩個(gè)框與ground truth所得到的損失是一致的。也就是 SmoothL1(sin(20)) = SmoothL1(sin(-20))。這樣就可以解決對(duì)立情況損失較大的問(wèn)題，現(xiàn)在可以將對(duì)立損失改為一致，同時(shí)還可以根據(jù)角度偏移函數(shù)模擬出iou。但是由于兩個(gè)相反方向的損失一致，如何判別正負(fù)方向。SECOND的解決方案是再輸出一個(gè)direction head（方向分類(lèi)器）來(lái)判別，如果anchor繞GT的z軸旋轉(zhuǎn)大于0，則結(jié)果為正；否則為負(fù)。

SECOND的RPN結(jié)構(gòu)如下所示，由于新增加了一個(gè)方向分類(lèi)器，所以總共有三個(gè)head：score map(類(lèi)別分類(lèi)器)、regression map(回歸預(yù)測(cè))、direction map(框方向分類(lèi)器)。這里同樣使用了多尺度融合的策略，進(jìn)行兩個(gè)尺寸的下采樣再上采樣到相同尺寸進(jìn)行拼接融合。后續(xù)再對(duì)融合的特征圖進(jìn)行1x1卷積降維構(gòu)建3個(gè)head。

2.3 Data Augment

此外，SECOND還提出了一種類(lèi)似copystate的數(shù)據(jù)增強(qiáng)策略。將GT及其包含的點(diǎn)提取出來(lái)， 做成一個(gè)數(shù)據(jù)庫(kù)，當(dāng)訓(xùn)練的時(shí)候，隨機(jī)取出幾個(gè)GT放到正在訓(xùn)練的場(chǎng)景中。但是為了避免重疊，所以會(huì)進(jìn)行一個(gè)碰撞測(cè)試，思想是類(lèi)似的，只是實(shí)現(xiàn)的方法不一樣。其他的數(shù)據(jù)增強(qiáng)策略就不多說(shuō)了，就是和VoxelNet類(lèi)似的隨機(jī)縮放，隨機(jī)旋轉(zhuǎn)等。

---

3. 實(shí)驗(yàn)結(jié)果

SECOND就是在VoxelNet的基礎(chǔ)上提出了稀疏卷積來(lái)提高推理速度，同時(shí)還設(shè)計(jì)了一種新穎的角度損失解決了對(duì)立情況(0與π)損失較大的問(wèn)題，但需要direction map來(lái)進(jìn)行輔助處理。測(cè)試集結(jié)果如下所示，推理速度上達(dá)到了SOTA水平。

驗(yàn)證集結(jié)果如下所示：

---

參考資料：

1. 論文閱讀 SECOND:Sparsely Embedded Convolutional Detection
2. SECOND筆記
3. 基于pytorch簡(jiǎn)單實(shí)現(xiàn)稀疏3d卷積（SECOND）
4. 稀疏卷積 Sparse Convolution Net
5. 優(yōu)化版-基于pytorch簡(jiǎn)單實(shí)現(xiàn)稀疏3d卷積（SECOND）

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級(jí)流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級(jí)服務(wù)器適合批量采購(gòu)，新人活動(dòng)首月15元起，快前往官網(wǎng)查看詳情吧

文章標(biāo)題：論文閱讀筆記|三維目標(biāo)檢測(cè)——SECOND算法-創(chuàng)新互聯(lián)
標(biāo)題網(wǎng)址：http://jinyejixie.com/article20/hiejo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應(yīng)式網(wǎng)站、動(dòng)態(tài)網(wǎng)站、網(wǎng)站制作、網(wǎng)站內(nèi)鏈、標(biāo)簽優(yōu)化、App設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)