多尺度圖卷積神經(jīng)網(wǎng)絡(luò)：有效統(tǒng)一三維形狀離散化特征表示

近年來(lái)，基于這種三維不規(guī)則數(shù)據(jù)的深度學(xué)習(xí)發(fā)展迅速，而圖卷積神經(jīng)網(wǎng)絡(luò)應(yīng)對(duì)三維不規(guī)則數(shù)據(jù)的表現(xiàn)尤為突出[2]。

在計(jì)算機(jī)圖形學(xué)中，為了虛擬化真實(shí)世界的物體(如人或者動(dòng)物等)，三維形狀通常需要離散化為網(wǎng)格（mesh），用于真實(shí)感渲染。但是，因?yàn)樵O(shè)備的差異或采集方式的不同，很難針對(duì)單個(gè)三維形狀得到的相同的離散化方式（固定的分辨率和連接關(guān)系）。這種同一個(gè)形狀具有不同的離散化方式是計(jì)算機(jī)圖形學(xué)有別于其他學(xué)科的一個(gè)重要特點(diǎn)，而現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)無(wú)法有效統(tǒng)一不同離散化下的特征，這極大地限制了圖神經(jīng)網(wǎng)絡(luò)在圖形學(xué)領(lǐng)域的發(fā)展。

那么，如何解決這一問(wèn)題呢？

自動(dòng)化所團(tuán)隊(duì)提出了一種新穎的多尺度圖卷積神經(jīng)網(wǎng)絡(luò)，重點(diǎn)解決了傳統(tǒng)圖卷積神經(jīng)網(wǎng)絡(luò)中圖節(jié)點(diǎn)學(xué)習(xí)到的特征對(duì)圖分辨率和連接關(guān)系敏感的問(wèn)題。該方法可以實(shí)現(xiàn)在低分辨率的三維形狀上學(xué)習(xí)特征，在高低分辨率形狀之上進(jìn)行測(cè)試，并且保持不同分辨率特征的一致性。

01 研究背景

傳統(tǒng)的圖卷積神經(jīng)網(wǎng)絡(luò)通常聚集1-鄰域（GCN），k-環(huán)鄰域（ChebyGCN）或k-近鄰鄰域（DGCNN）的信息，所以其感受野與分辨率或者圖連接關(guān)系是相關(guān)的。也就是說(shuō)，在三維形狀的不同離散化下，卷積的感受野對(duì)應(yīng)的形狀語(yǔ)義范圍產(chǎn)生了較大的變化。如何解決這種卷積方式未考慮到針對(duì)不同離散化情況所產(chǎn)生的問(wèn)題，存在較大的挑戰(zhàn)。

02 方法簡(jiǎn)述

為解決現(xiàn)有圖卷積神經(jīng)網(wǎng)絡(luò)的問(wèn)題，團(tuán)隊(duì)設(shè)計(jì)了一種多尺度圖卷積神經(jīng)網(wǎng)絡(luò)（multiscale graph convolutional network，MGCN）。如圖1所示，我們發(fā)現(xiàn)，針對(duì)不同分辨率和連接關(guān)系的離散化，三維圖譜小波函數(shù)表現(xiàn)出極佳的魯棒性，并且不需要計(jì)算測(cè)地距離。因此，我們?cè)O(shè)計(jì)將多尺度的小波函數(shù)嵌入到圖卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)當(dāng)中。