雷霆万钧 杜兰特

OpenCV中文網站

 找回密碼
 立即注冊

QQ登錄

只需一步,快速開始

搜索
熱搜: 安裝 配置
查看: 1163|回復: 1
打印 上一主題 下一主題

CVPR 2019丨華為方舟實驗室關于親和性知識蒸餾語義分割論文

[復制鏈接]
跳轉到指定樓層
1#
發表于 2019-6-6 17:13:03 | 只看該作者 |只看大圖 回帖獎勵 |倒序瀏覽 |閱讀模式
語義分割是計算機視覺領域的關鍵問題之一,更是圖像、場景理解的基石性技術,在自動駕駛、無人機及穿戴計算設備應用中舉足輕重,甚至在很大程度上直接影響了實際應用的效果,任何舊方法的優化、新方法的提出,都將對相關產業產生積極作用。正因如此,相關從業者對國際上重大CV峰會中關于語義分割的論文格外看重。

在本次的CVPR 2019峰會論文評選中,來自于全球知名高校、實驗室、科技巨頭的50余篇語義分割相關論文被CVPR 2019接受,其中來自華為方舟實驗室的《Knowledge Adaptation for Efficient Semantic Segmentation》為我們提供了一種新的知識蒸餾和高效語義分割新方法。

方法亮點

提出了一個為高效語義分割設計的知識蒸餾方法幫助教師網絡輸出重新解釋到新表達的潛在域,使緊湊型學生網絡更容易學習。

提出了一個親和性知識蒸餾模塊,幫助學生網絡從教師網絡捕獲長期依賴。

驗證了本方法在各種設置下的有效性,在不引入額外參數設置或計算量的情況下,本方法的學生模型性能提升2%;與大分辨率輸出的模型相比,本方法在使用它們8%的FLOPS的情況下便可得到相同或更好的效果。

方法解析


本方法框架包含兩個獨立的網絡:一個是輸出大分辨特征的教師網絡,另一個是輸出較小分辨率特征的學生網絡。知識轉化的定義分為兩個部分:一是通過自動編碼將知識壓縮成緊湊格式實現從教師網絡到更具信息的壓縮空間的知識轉化遷移;二是從教師網絡獲取長期的依賴關系,這是比較困難的,具體做法如下:

1. 知識轉化與自適應

得益于卷積計算,FCNs能在獲取大量信息的同時維護信息視覺感受野,雖然性能有所提升,但計算成本也隨之增長,并且隨著輸出步幅變小時,計算成本還將繼續增加,具體如下圖所示:


因此,作者團隊建議使用具有高特征分辨率的大型教師模型來教授具有低特征分辨率的輕量級學生網絡,并重新訓練一個自動編碼器來挖掘隱含的結構信息,將知識轉換成更容易被學生網絡理解和復制的格式。自動編碼器將教師模型的最后一個卷積特征輸入,由三層卷積層和對稱反褶層組成。

2. 親和蒸餾模塊

通過從大型教師模型中提取大范圍非本地依賴性,提出了一個新的親和蒸餾模塊。通過直接計算任意兩個位置之間的互相關系來定義網絡中的親和力,而不管它們之間空間距離。結果,具有不同標簽的像素將對具有相同標簽的像素產生低響應和高響應。在實際測試中,沒有親和蒸餾模塊的(b)列明顯沒有帶有親和蒸餾模塊的(c)列對語義的響應敏感。


3. 訓練過程

提出的方法設計教師和學生網絡,教師網絡經過預先訓練,參數在訓練過程中保持固定狀態(如下圖),學生網絡則由標注信息的交叉熵損失、自適應損失以及親和力損失三個損失函數加權后訓練。


方法驗證

為了驗證提出方法的有效性,作者團隊選擇Pascal VOC、Cityscapes和Pascal Context三個數據集作為測試集,具體結果如下:

注:T為教師模型;S為學生模型;KA代表知識自適應;affinit代表親和知識蒸餾模塊。

1. 知識自適應和親和知識蒸餾模塊測試


2. 不同學生、教師網絡結構測試


3. 不同知識蒸餾測試


結論

論文中提出的通過將高級特征轉化為學生網絡更容易理解學習的格式,提高了學生模型的性能,通過上述實驗測試可以看出,在采用同標準的對比測試方法,本文論中提出的方法在不引入額外參數設定或計算的情況下,實現了大幅度提高學生模型的性能的同時大幅降低了計算成本。



分享到:  QQ好友和群QQ好友和群
收藏收藏
回復

使用道具 舉報

2#
發表于 2019-6-6 18:09:54 | 只看該作者
非常感謝,學習了
回復 支持 反對

使用道具 舉報

您需要登錄后才可以回帖 登錄 | 立即注冊

本版積分規則

手機版|OpenCV中文網站  

GMT+8, 2019-10-23 22:05 , Processed in 0.042305 second(s), 18 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回復 返回頂部 返回列表
雷霆万钧 杜兰特