SoC設(shè)計(jì)與應(yīng)用技術(shù)領(lǐng)導(dǎo)廠商Socionext Inc.以下“Socionext”,或“公司”宣布,聯(lián)合大阪大學(xué)數(shù)據(jù)能力科學(xué)研究所長(zhǎng)原教授研究小組共同開(kāi)發(fā)新型深度學(xué)習(xí)算法,該算法無(wú)需制作龐大的數(shù)據(jù)集,只需通過(guò)融合多個(gè)模型便可在極度弱光的條件下進(jìn)行精準(zhǔn)檢測(cè)物體及圖像識(shí)別。Socionext笹川幸宏先生和大阪大學(xué)長(zhǎng)原教授在8月23日至28日英國(guó)夏令時(shí)間舉辦的歐洲計(jì)算機(jī)視覺(jué)國(guó)際會(huì)議ECCV 2020上報(bào)告了這一研究成果。

近年來(lái)盡管計(jì)算機(jī)視覺(jué)技術(shù)取得了飛速發(fā)展,但在低照度環(huán)境下車(chē)載攝像頭、安防系統(tǒng)等獲取的圖像質(zhì)量仍不理想,圖像辨識(shí)性能較差。不斷提升低照度環(huán)境下圖像識(shí)別性能依舊是目前計(jì)算機(jī)視覺(jué)技術(shù)面臨的主要課題之一。CVPR2018中一篇名為《Learning to See in the Dark》[1]的論文曾介紹過(guò)利用圖像傳感器的RAW圖像數(shù)據(jù)的深度學(xué)習(xí)算法,但這種算法需要制作超過(guò)200,000張圖像和150多萬(wàn)個(gè)批注 [2]數(shù)據(jù)集才能進(jìn)行端到端學(xué)習(xí),既費(fèi)時(shí)又費(fèi)錢(qián),難以實(shí)現(xiàn)商業(yè)化落地如下圖1。

?

?

圖1:《Learning to See in the Dark》及RAW?圖像識(shí)別課題

為解決上述課題,Socionext與大阪大學(xué)聯(lián)合研究團(tuán)隊(duì)通過(guò)遷移學(xué)習(xí)Transfer Learning和知識(shí)蒸餾Knowledge Distillation等機(jī)器學(xué)習(xí)方法,提出采用領(lǐng)域自適應(yīng)Domain Adaptation的學(xué)習(xí)方法,即利用現(xiàn)有數(shù)據(jù)集來(lái)提升目標(biāo)域模型的性能,具體內(nèi)容如下如圖2:

1使用現(xiàn)有數(shù)據(jù)集構(gòu)建推理模型;

2通過(guò)遷移學(xué)習(xí)從上述推理模型中提取知識(shí);

3利用Glue layer合并模型;

4通過(guò)知識(shí)蒸餾建立并生成模型。

?

?

圖2:本次開(kāi)發(fā)的領(lǐng)域適應(yīng)方法Domain Adaptation Method

此外,結(jié)合領(lǐng)域自適應(yīng)方法和物體檢測(cè)YOLO模型[3],并利用在極端弱光條件下拍攝的RAW圖像還可構(gòu)建“YOLO in the Dark”檢測(cè)模型。YOLO in the Dark模型可僅通過(guò)現(xiàn)有數(shù)據(jù)集實(shí)現(xiàn)對(duì)RAW圖像的對(duì)象檢測(cè)模型的學(xué)習(xí)。針對(duì)那些通過(guò)使用現(xiàn)有YOLO模型,校正圖像亮度后仍無(wú)法檢測(cè)到圖像的如下圖a,則可以通過(guò)直接識(shí)別RAW圖像確認(rèn)到物體被正常檢測(cè)如下圖b。同時(shí)測(cè)試結(jié)果發(fā)現(xiàn),YOLO in the Dark模型識(shí)別處理時(shí)所需的處理量約為常規(guī)模型組合如下圖c的一半左右。

?

?

圖3:《YOLO in the Dark》效果圖

本次利用領(lǐng)域自適應(yīng)法所開(kāi)發(fā)的“直接識(shí)別RAW圖像”可不僅應(yīng)用于極端黑暗條件下的物體檢測(cè),還可應(yīng)用于車(chē)載攝像頭、安防系統(tǒng)和工業(yè)等多個(gè)領(lǐng)域。未來(lái),Socionext還計(jì)劃將該技術(shù)整合到公司自主研發(fā)的圖像信號(hào)處理器ISP中開(kāi)發(fā)下一代SoC,并基于此類(lèi)SoC開(kāi)發(fā)全新攝像系統(tǒng),進(jìn)一步提升公司產(chǎn)品性能,助力產(chǎn)業(yè)再升級(jí)。

歐洲計(jì)算機(jī)視覺(jué)國(guó)際會(huì)議ECCV 2020

日期:8月23~28日英國(guó)夏令時(shí)間

地點(diǎn):線上會(huì)議

演講主題:YOLO in the Dark - Domain Adaptation Method for Merging Multiple Models -

演講人:Socionext Inc. ?笹川幸宏先生 ? ? ? ?大阪大學(xué) ?長(zhǎng)原教授

注釋:

[1]“Learning to See in the Dark” : CVPR2018, Chen et al.

[2] MS COCO dataset as an example https://cocodataset.org/

[3] YOLO You Only Look Once: One of the deep learning object detection methods

關(guān)于Socionext

Socionext Inc.是一家全球性創(chuàng)新型企業(yè),其業(yè)務(wù)內(nèi)容涉及片上系統(tǒng)System-on-chip的設(shè)計(jì)、研發(fā)和銷(xiāo)售。公司專(zhuān)注于以消費(fèi)、汽車(chē)和工業(yè)領(lǐng)域?yàn)橹行牡氖澜缦冗M(jìn)技術(shù),不斷推動(dòng)當(dāng)今多樣化應(yīng)用發(fā)展。Socionext集世界一流的專(zhuān)業(yè)知識(shí)、經(jīng)驗(yàn)和豐富的IP產(chǎn)品組合,致力于為客戶提供高效益的解決方案和客戶體驗(yàn)。公司成立于2015年,總部設(shè)在日本橫濱,并在日本、亞洲、美國(guó)和歐洲設(shè)有辦事處,領(lǐng)導(dǎo)其產(chǎn)品開(kāi)發(fā)和銷(xiāo)售。

本新聞稿中提及的所有公司或產(chǎn)品名稱(chēng)均為其各自所有者的商標(biāo)或注冊(cè)商標(biāo)。以上發(fā)布的信息為截止發(fā)稿時(shí)的信息,日后若發(fā)生變更,恕不另行通知,敬請(qǐng)諒解。