不完美場景下的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法

近幾年，騰訊優(yōu)圖不斷迭代數(shù)據(jù)和模型缺陷情況下神經(jīng)網(wǎng)絡(luò)的有效訓(xùn)練方法，相關(guān)技術(shù)已經(jīng)在眾多業(yè)務(wù)場景上（行人重識別，內(nèi)容審核等）落地。本文整理自騰訊優(yōu)圖、騰訊云大學(xué)、AICUG和AI科技評論聯(lián)合主辦的「優(yōu)Tech沙龍」，分享嘉賓為騰訊優(yōu)圖實驗室高級研究員Louis。

01 定義帶噪學(xué)習(xí)目標(biāo)

現(xiàn)實數(shù)據(jù)中存在的標(biāo)簽噪音（label noise）根據(jù)Feature可以分成兩種：Feature independent noise和 Feature dependent noise。Feature independent noise是與特征無關(guān)的，比如將一只狗的圖片誤標(biāo)記成汽車，狗和汽車沒有什么相似特征，所以屬于這類。Feature independent noise是與特征有關(guān)的，比如說狗和狼具有很多相似特征屬性，標(biāo)注人員可能把狗誤標(biāo)記成狼，那就屬于這類。其實現(xiàn)實場景更多存在都是feature dependent noise。

噪音普遍存在，所以我們需要訓(xùn)練神經(jīng)網(wǎng)絡(luò)進行帶噪學(xué)習(xí)，并且要能實現(xiàn)比較好的性能。那么noise label learning的目標(biāo)是設(shè)計一個loss function，使得在noisy labels下訓(xùn)練得到的解，在性能上接近在clean labels下訓(xùn)練得到的解。