近日，騰訊優(yōu)圖實驗室在人體2D姿態(tài)估計任務(wù)中獲得創(chuàng)新性技術(shù)突破，其提出的基于語義對抗的數(shù)據(jù)增強算法Adversarial Semantic Data Augmentation ASDA，刷新了人體姿態(tài)估計國際權(quán)威榜單。相關(guān)論文Adversarial Semantic Data Augmentation for Human Pose Estimation已被計算機視覺頂尖會議EUROPEAN CONFERENCE ON COMPUTER VISION ECCV2020收錄。

作為計算機視覺領(lǐng)域的基礎(chǔ)技術(shù)之一，人體姿態(tài)可以理解為對“人體”的姿態(tài)關(guān)鍵點，比如頭、左手、右腳等的位置估計，其中2D人體姿態(tài)估計在多種視覺應(yīng)用中發(fā)揮著重要作用。不過盡管該技術(shù)研究的時間歷程較長，相關(guān)創(chuàng)新方法也層出不窮，但在很多場景下，其效果依然不盡人意。

如圖1所示，對于對稱性較強的人體、遮擋比較嚴(yán)重的場合以及多人場景，2D姿態(tài)估計的表現(xiàn)普遍比較差。解決上述問題的一種有效的方法是對數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強，然而現(xiàn)有的數(shù)據(jù)增強算法比如圖片的翻轉(zhuǎn)、旋轉(zhuǎn)或者圖片色度的改變，都是全局尺度上的數(shù)據(jù)增強，無法解決圖中所示的挑戰(zhàn)性案例。

圖1. 二維人體姿態(tài)估計的挑戰(zhàn)性案例

為解決上述提及的難點，優(yōu)圖提出了基于語義對抗的數(shù)據(jù)增強算法Adversarial Semantic Data Augmentation ASDA。該算法的整體pipeline如圖2所示，輸入圖片經(jīng)過生成網(wǎng)絡(luò)，進(jìn)行語義粒度上的數(shù)據(jù)增強;增強后的圖片作為姿態(tài)估計網(wǎng)絡(luò)的輸入，進(jìn)行姿態(tài)估計，得到二維人體姿態(tài)。生成網(wǎng)絡(luò)生成增強樣本，提升姿態(tài)估計網(wǎng)絡(luò)的預(yù)測難度，姿態(tài)估計網(wǎng)絡(luò)則試圖預(yù)測增強后圖片。

圖2. ASDA算法流程圖

與其他算法相比，騰訊優(yōu)圖的算法有三點創(chuàng)新。創(chuàng)新之一，提出了一種基于局部變換的數(shù)據(jù)增強方式，有效填補了全局?jǐn)?shù)據(jù)增強的缺陷。創(chuàng)新之二設(shè)計了一種基于人體語義部件的數(shù)據(jù)增強算法SDA, Semantic Data Augmentation，通過語義粒度上的圖像替換以及變換來有效模擬之前網(wǎng)絡(luò)無法處理的挑戰(zhàn)案例。

第三點創(chuàng)新便是提出了ASDA算法，該算法在MPII、COCO、LSP等主流二維人體姿態(tài)估計Benchmark上均超過了state-of-the-art方法，達(dá)到第一名水平，將人體2D姿態(tài)估計的準(zhǔn)確度推進(jìn)到全新高度。ASDA作為一種通用的數(shù)據(jù)增強方法，可以便捷地用在二維人體姿態(tài)估計的不同數(shù)據(jù)集以及不同網(wǎng)絡(luò)結(jié)構(gòu)上。

實踐結(jié)果表明，優(yōu)圖的算法在COCO、MPII、LSP三個姿態(tài)估計的benchmark達(dá)到了最高的水平，圖4-7展示了在以上三個權(quán)威數(shù)據(jù)集上優(yōu)圖的方法與其他SOTA算法在準(zhǔn)確度上的差距。為了方便展示ASDA算法的效果，在COCO測試集進(jìn)行可視化得到圖3，可以看到優(yōu)圖的算法能夠有效的解決圖1中的挑戰(zhàn)性案例。

圖3. ASDA的可視化結(jié)果展示

圖4. ASDA的數(shù)值指標(biāo)展示-LSP

圖5. ASDA的數(shù)值指標(biāo)展示-MPII

圖6. 本文方法對應(yīng)MPII官方榜單結(jié)果

圖7. ASDA的數(shù)值指標(biāo)展示-COCO

作為騰訊旗下頂尖的人工智能實驗室之一，優(yōu)圖聚焦計算機視覺，專注人臉識別、圖像識別、OCR、機器學(xué)習(xí)、數(shù)據(jù)挖掘等領(lǐng)域開展技術(shù)研發(fā)和行業(yè)落地，在推動產(chǎn)業(yè)數(shù)字化升級過程中，始終堅持基礎(chǔ)研究、產(chǎn)業(yè)落地兩條腿走路的發(fā)展戰(zhàn)略，與騰訊云與智慧產(chǎn)業(yè)深度融合，挖掘客戶痛點，切實為行業(yè)降本增效。

在未來，騰訊優(yōu)圖也將繼續(xù)深耕于人體2D姿態(tài)估計技術(shù)，并將持續(xù)探索更多的應(yīng)用場景和應(yīng)用空間，讓更多的用戶享受到科技帶來的紅利。