原標(biāo)題：北京小伙用AI修復(fù)100年前的京城老視頻爆火網(wǎng)絡(luò)，作者：7天完成，顏色還有不足

大數(shù)據(jù)文摘出品

作者：劉俊寰、牛婉楊

昨天，一個(gè)“修復(fù)老北京街道”的視頻刷屏全網(wǎng)。一段由加拿大攝影師在100年前的北京被AI修復(fù)后，活靈活現(xiàn)地展現(xiàn)在人們面前，一百年前人們打招呼的方式、使用的樂器、交通工具，在這段視頻中，都清晰可見。配上頗合時(shí)宜的音樂，24小時(shí)內(nèi)，已經(jīng)有了將近50萬(wàn)的點(diǎn)贊量，10萬(wàn)多次的轉(zhuǎn)發(fā)，接近3萬(wàn)的留言，看來(lái)周六大家也有在好好工作啊。

這個(gè)視頻來(lái)自一位名叫“大谷Spitzer”的博主，據(jù)他所說(shuō)，接觸老片修復(fù)是一個(gè)偶然，整個(gè)項(xiàng)目也只花了7天時(shí)間就順利完成了。

先來(lái)一起看看這驚人的修復(fù)效果。

老視頻

修復(fù)后效果

修復(fù)后的視頻把當(dāng)時(shí)的北京城演繹的活靈活現(xiàn)，下邊的片段中，左下角小哥呆呆的看著鏡頭，連細(xì)微的表情都清晰可見，青澀中帶有一點(diǎn)可愛，想象一下這位憨厚的小哥來(lái)自一百年前，還是讓文摘菌感慨萬(wàn)千。

怪不得網(wǎng)友們紛紛贊嘆。有網(wǎng)友表示，不僅整體氛圍沒話說(shuō)，連細(xì)節(jié)部分也分毫畢顯，“每個(gè)人臉上都是新奇又不敢接近的表情”。

甚至有網(wǎng)友留言表示，“博物館應(yīng)該收藏你的作品”！

鏈接指路：

https://weibo.com/tv/v/J0ZsQnP6a?fid=1034:4502352820895785

博主在視頻最開始就說(shuō)道，想用技術(shù)為社會(huì)做一些有意義的事情，懷著仰慕的心情，文摘菌聯(lián)系到了這位“大谷Spizer”，來(lái)看看他是怎么說(shuō)的吧~

7天完工，難在顯卡！整體滿意，顏色上還有不足

自稱將AI視為業(yè)余愛好的大谷如今身在紐約，接受文摘菌采訪的時(shí)候，他感嘆道，自己做AI科普視頻做了七年，沒想到一下子火了，現(xiàn)在完全處于“被信息淹沒”的狀態(tài)。

大谷透露道，其實(shí)這次接觸老片修復(fù)純屬偶然，在搜索其他資料時(shí)候，偶然間在YouTube看到了人民日?qǐng)?bào)上傳的一段老北京視頻，對(duì)其中對(duì)視鏡頭的部分十分有感觸，“有一種穿越時(shí)空的感覺”。同時(shí)，一想到一百年前的人們有那個(gè)年代的思想，看問題的角度和現(xiàn)代有所差別，是很有趣的體驗(yàn)，自己恰好了解相關(guān)技術(shù)，為何不將老片上色補(bǔ)幀，做成活靈活現(xiàn)的60幀，和大家分享呢？

具體到操作上，根據(jù)大谷介紹，可以大致分為補(bǔ)幀、擴(kuò)分辨率、上色三個(gè)環(huán)節(jié)，每個(gè)環(huán)節(jié)也都用了不同的工具，整體框架的流程則主要參考了DenisShiryaev在社交媒體上分享的經(jīng)驗(yàn)貼。

大谷說(shuō)道，整個(gè)項(xiàng)目只用了7天時(shí)間，大部分都是硬性的時(shí)間消耗，比如補(bǔ)幀需要一到兩天，擴(kuò)分辨率至少一天，上色也需要花費(fèi)一天時(shí)間，再加上要做到4K60fps，渲染速度很慢。多方考量之下，他把人民日?qǐng)?bào)14分鐘的原片剪到了10分鐘。

相比而言，去年國(guó)慶164分鐘修復(fù)版《開國(guó)大典》讓人們親眼目睹三次戰(zhàn)役勝利到開國(guó)大典的歷史過(guò)程。除了借助AI，膠片的撕裂、劃痕等都是專業(yè)的修復(fù)師一幀一幀地修補(bǔ)?！靶迯?fù)過(guò)程中，我們70%的時(shí)間都在完成資料片鏡頭的修復(fù)工作?！必?fù)責(zé)本片修復(fù)工作的三維六度公司的首席技術(shù)官周蘇岳說(shuō)道，雖然修復(fù)時(shí)間只用了40天，但這卻是600人每天工作20小時(shí)的奮戰(zhàn)結(jié)果！

除了硬性的時(shí)間消耗，大谷還笑稱，最大的問題就是自己筆記本電腦的顯卡不夠好，“要1070的顯卡才帶得動(dòng)，否則會(huì)outofmemory”，迫不得已之下向女朋友求了助。

再困難的部分，大谷選擇了谷歌的ColabNotebook在線系統(tǒng)，通過(guò)遠(yuǎn)端分配一臺(tái)帶顯卡的電腦，就無(wú)需在本地操作了，“這也是選擇開源AI的原因”，“很多開源的AI都會(huì)把代碼上傳上去”。

對(duì)于最后的結(jié)果，大谷表示，“還是比較滿意的”，不過(guò)在顏色上還存在可以改進(jìn)的地方。

在視頻中，相信大家也會(huì)看到時(shí)不時(shí)會(huì)出現(xiàn)顏色跳來(lái)跳去的情況，大谷表示，在補(bǔ)幀之前用工具把老電影中經(jīng)常出現(xiàn)的畫面閃爍去掉了，否則會(huì)更嚴(yán)重，整體的色彩上，AI的渲染效果也明顯偏淡。

除此之外，大谷這次利用的是國(guó)外的一套模型，顯然無(wú)法直接將其套用到100年前的中國(guó)影片修復(fù)上，在顏色上就無(wú)法做到歷史性的準(zhǔn)確，視頻中的上色都是AI學(xué)習(xí)的成果，雖然膚色大致還原了，但是在紅綠服裝等方面的真實(shí)性還有待商榷。

也正是考慮到這些不足，大谷對(duì)去年參與《開國(guó)大典》修復(fù)的工作人員表達(dá)了敬意，“AI沒辦法做到藝術(shù)家那么準(zhǔn)確，尤其是在歷史方面，而《開國(guó)大典》對(duì)歷史準(zhǔn)確性的要求更高”，隨后他也打趣地說(shuō)道，或許可以“讓AI看看清宮劇，提升一下準(zhǔn)確率”。

就像大谷在視頻開頭所說(shuō)，他想用技術(shù)做一些對(duì)社會(huì)有意義的事，在這次視頻爆紅之后，他表現(xiàn)得相當(dāng)豁達(dá)，“太深刻的大意義倒也說(shuō)不上”，主要是想借此讓人們對(duì)歷史有所反思。不少網(wǎng)友指出，視頻中幾乎看不到女性，這正是歷史生動(dòng)性的體現(xiàn)，既有光鮮也有不足，讓大家意識(shí)到現(xiàn)在的生活是多么來(lái)之不易。

同時(shí)，作為老北京人，大谷也想通過(guò)視頻分享他的切身感受，讓更多人看到一百年前的民俗，尤其是上了色幀數(shù)提高之后，“感覺確實(shí)不一樣，也感慨這一百年的變化”。

對(duì)于目前收到得反饋，大谷表示“完全沒想到”，他看了很多評(píng)論，也受感觸于一些留言，還有人私信向他表示，給太姥姥看后，也很懷念那個(gè)年代。

大谷透露道，這其實(shí)是他第一次嘗試做視頻修復(fù)，后續(xù)或許會(huì)出一期視頻介紹一下具體的操作。對(duì)于后續(xù)的視頻更新計(jì)劃，他想要介紹一下國(guó)內(nèi)已經(jīng)成熟的語(yǔ)音修復(fù)技術(shù)。

目前，大谷在研究一款換衣AI，通過(guò)把模特導(dǎo)入系統(tǒng)，在Photoshop里換好衣服，就能生成模特穿上衣服的各種姿勢(shì)，聽上去是淘寶賣家會(huì)喜歡的AI。不過(guò)，大谷介紹道，這個(gè)AI目前還處于“嬰兒狀態(tài)”，精度上不是很樂觀，未來(lái)需要大量的訓(xùn)練，以后或許也會(huì)做個(gè)視頻介紹一下。

AI助力，老片修復(fù)一直在路上

對(duì)于這次用到的技術(shù)，大谷表示，上色主要還是應(yīng)用在黑白照片和電影上，補(bǔ)幀技術(shù)就可以遍地開花了，比如修復(fù)像素動(dòng)畫的跳幀問題，或者在動(dòng)畫領(lǐng)域加以應(yīng)用，因?yàn)閯?dòng)畫很多是12幀/秒，甚至6幀/秒，補(bǔ)幀之后效果很好，也終于可以看更流暢的EVA了。

作為一名獨(dú)立游戲開發(fā)者，大谷透露道，因?yàn)橐粋€(gè)人做游戲開發(fā)，接觸到AI是想要了解AI能否為他節(jié)省時(shí)間，后來(lái)發(fā)現(xiàn)AI能做的不止這些，在社會(huì)公益上也有不少應(yīng)用，比如老片修復(fù)。

正如大谷所說(shuō)，這次的視頻修復(fù)“技術(shù)管線參考自DenisShiryae的影像修復(fù)教程”，針對(duì)Denis的歐美老片修復(fù)，大谷也做過(guò)漢化視頻進(jìn)行了專門的介紹。

視頻鏈接：

https://www.bilibili.com/video/BV1Uf4y1m72n

DenisShiryaev通過(guò)神經(jīng)網(wǎng)絡(luò)修復(fù)老視頻的內(nèi)容今年在油管爆紅了一陣子，他使用TopazLabs的GigapixelAI和DAIN圖像編輯應(yīng)用程序?qū)?896膠片縮放到4K分辨率，不僅將素材增加到4K，還將幀率提高到每秒60幀。

Shiryaev最火的作品是用GigapixelAI將1896年拍攝的50秒無(wú)聲短片《火車進(jìn)站》(theArrivalofaTrainatLaCiotatStation)做成了4K格式，把模糊的原片做成了高清畫質(zhì)，完全符合當(dāng)下的高清視頻標(biāo)準(zhǔn)！

盡管存在一些缺陷，如圖像會(huì)出現(xiàn)跳躍或某些細(xì)節(jié)依舊模糊，但已經(jīng)很棒了！為了使這一作品更加完整，Shiryaev還為這部無(wú)聲電影添加了聲音。

這些圖像是通過(guò)生成對(duì)抗網(wǎng)絡(luò)(GANs)得來(lái)的。

科普一下，GANs是由兩個(gè)相反的神經(jīng)網(wǎng)絡(luò)組成的。第一個(gè)網(wǎng)絡(luò)基于訓(xùn)練對(duì)象的數(shù)據(jù)生成對(duì)象，而第二個(gè)的作用是確定對(duì)象的真實(shí)性。第一個(gè)網(wǎng)絡(luò)通過(guò)不斷嘗試，直到它的作品完美到足以欺騙第二個(gè)網(wǎng)絡(luò)。通過(guò)這種方式，才得以生成最有可能的圖像。

GigapixelAI軟件使用一種專有的插值算法來(lái)分析圖像，它可以使圖像更清晰，甚至在放大了600%之后。

再來(lái)說(shuō)說(shuō)DAIN(深度感知視頻幀插值)，它可以將幀想象并插入現(xiàn)有視頻剪輯的關(guān)鍵幀之間。換句話說(shuō)，DAIN首先分析并映射視頻片段，然后插入在現(xiàn)有圖像之間生成填充圖像。這與4K電視的運(yùn)動(dòng)平滑功能是同一個(gè)概念。為了在這段1896年的視頻中達(dá)到同樣的效果，Shiryaev添加了足夠多的圖像來(lái)將速度提高到60幀每秒。因此，DAIN自動(dòng)生成，然后在最初記錄的24張圖像之外，每秒添加36張額外的圖像。

Shiryaev的“火車”的視頻修復(fù)版本看起來(lái)像是一部使用智能手機(jī)或GoPro拍攝的最新電影。與原始視頻相比，效果非常驚人，尤其是在新版本中獲得了流暢性。列車上的陽(yáng)光反射和月臺(tái)上的女士珠寶都被記錄的很完整，也許是最顯著的改進(jìn)之一。

Shiryaev也用神經(jīng)網(wǎng)絡(luò)對(duì)這一修復(fù)視頻進(jìn)行了著色：從一堆彩色照片開始，將它們轉(zhuǎn)換為黑白，然后訓(xùn)練神經(jīng)網(wǎng)絡(luò)以重建彩色原稿。

修復(fù)后的視頻傳送門：

https://youtu.be/EqbOhqXHL7E

Shiryaev的新技術(shù)也因此在技術(shù)圈火了起來(lái)，激發(fā)了包括大谷在內(nèi)的更多技術(shù)人，修復(fù)珍貴的影像文獻(xiàn)。

除了上文提到的《開國(guó)大典》，在老片修復(fù)上，“中影·神思”的開發(fā)，能縮短修復(fù)電影所需時(shí)間的四分之三，成本可以減少一半，目前已成功應(yīng)用于《厲害了，我的國(guó)》《血色浪漫》《亮劍》等多部影視劇的圖像修復(fù)與增強(qiáng)當(dāng)中。

愛奇藝也推出了其自主研發(fā)的視頻增強(qiáng)技術(shù)ZoomAI，為電影修復(fù)提出解決方案，這是業(yè)內(nèi)第一個(gè)利用較低成本、將深度學(xué)習(xí)技術(shù)應(yīng)用在視頻畫質(zhì)增強(qiáng)場(chǎng)景中的方案。

但不可否認(rèn)的是，這種技術(shù)如果被有惡意的人使用，例如，可以用于制作“偽造品”并允許視頻中的身份盜用，也會(huì)導(dǎo)致巨大的社會(huì)問題。

遍地開花的大谷：AI在游戲領(lǐng)域完全可以大展拳腳

往前翻翻大谷的微博會(huì)發(fā)現(xiàn)，他做了很多有趣的小項(xiàng)目，比如AI足球隊(duì)，大谷介紹道，他用了Unity的AI系統(tǒng)MLagent來(lái)訓(xùn)練球員，這些球員從最開始什么都不會(huì)到最后互相配合，到現(xiàn)在他已經(jīng)打不過(guò)了。大谷感嘆道，“AI在游戲領(lǐng)域完全可以大展拳腳”。

大谷想用AI把這款游戲做得更具體，比如做成回合制。大谷相信，如果訓(xùn)練時(shí)間足夠，可以讓AI學(xué)會(huì)怎么包抄、怎么做戰(zhàn)術(shù)防略，以往的游戲AI很傻，玩家操作好就能贏，但如果用AI訓(xùn)練AI，它就會(huì)狡猾很多，什么戰(zhàn)術(shù)都能用上，會(huì)有很神奇的化學(xué)反應(yīng)。

大谷還介紹到，Unity最近推出了一個(gè)新的AI系統(tǒng)Artengine，主要是做游戲帖圖的，在生還者、戰(zhàn)神一類的游戲中，草、巖石等貼圖之前還需要人去畫，或者用照片修剪，但是Artengine可以復(fù)制不同的巖石圖片，在花紋上會(huì)顯示出差別，或者接合圖片時(shí)，對(duì)圖片中間的接縫可以憑經(jīng)驗(yàn)把接縫涂掉。“有了AI，就可以做很多以前一個(gè)人難以實(shí)現(xiàn)的高分辨率的游戲場(chǎng)景”。

自稱“程序員里最會(huì)畫畫的作曲家”，大谷也介紹了一些繪畫和音樂領(lǐng)域上的AI應(yīng)用。

在游戲音樂上，大谷表示，OpenAI的MuseNet十分強(qiáng)大，只需自己作前兩小節(jié)曲子，就可以讓AI自動(dòng)補(bǔ)完后續(xù)，而且風(fēng)格可以自選，莫扎特、巴特，都不在話下。

在繪畫上，大谷之前專門做了一期節(jié)目介紹繪畫AI，比如英偉達(dá)的GauGAN，不少原畫師都用這個(gè)來(lái)畫背景；再比如Artbreeder，這個(gè)網(wǎng)站能“雜交”輸入模型，生成超現(xiàn)實(shí)主義風(fēng)格的離奇圖案，但同時(shí)又十分寫視，很多藝術(shù)家在網(wǎng)站上進(jìn)行創(chuàng)作，生成的作品可以商用也可以開源。

比如大谷透露道，之前他用Artbreeder合成了諸葛亮和滅霸，效果很棒。心癢的文摘菌也去試了一下，不過(guò)在這里先賣個(gè)關(guān)子，大家可以猜猜這是怎么“雜交”出來(lái)的。

現(xiàn)在，大谷正在開發(fā)一款叫作漫展模擬器的游戲，以模擬經(jīng)營(yíng)漫展為核心企畫，其中游客如果用AI來(lái)訓(xùn)練的話就會(huì)智能很多，“讓他們自己逛漫展、買東西，這樣會(huì)更自然”?，F(xiàn)在游客都是用狀態(tài)機(jī)控制的，必須告訴他們餓了就得去吃東西，想上廁所就得去找?guī)?，否則就得尿地上。

大谷介紹道，從17年底開始正式做這款游戲，B站會(huì)負(fù)責(zé)發(fā)行。玩家進(jìn)入游戲后化身主播或者coser等身份成為漫展主辦方，通過(guò)搭建電競(jìng)舞臺(tái)、招租攤位、邀請(qǐng)明星嘉賓等方式，讓患上肥宅綜合征的人們來(lái)參加漫展，以促進(jìn)虛擬世界的經(jīng)濟(jì)發(fā)展。

在眾多網(wǎng)友催更之下，大谷說(shuō)道，年底前這款游戲終于會(huì)出搶先體驗(yàn)版了，到時(shí)候文摘菌一定要玩爆它！