12月20日，在騰訊2020 Techo Park開發(fā)者大會(huì)大數(shù)據(jù)專場(chǎng)上，騰訊云大數(shù)據(jù)產(chǎn)品總經(jīng)理聶晶對(duì)數(shù)據(jù)倉(cāng)庫(kù)近30年發(fā)展歷程做出總結(jié)，并分享了他對(duì)目前行業(yè)的認(rèn)知以及未來發(fā)展的判斷。聶晶表示，在當(dāng)前技術(shù)環(huán)境變化飛速，單一主體企業(yè)難以應(yīng)對(duì)數(shù)據(jù)倉(cāng)領(lǐng)域爆發(fā)式發(fā)展挑戰(zhàn)，騰訊云希望通過開放開源的生態(tài)給用戶帶來更為透明和精細(xì)化的技術(shù)和產(chǎn)品服務(wù)，助力企業(yè)生產(chǎn)力加速提升。

據(jù)倉(cāng)庫(kù)從1991年被正式提出，歷經(jīng)近30年的發(fā)展歷程，企業(yè)對(duì)數(shù)據(jù)倉(cāng)庫(kù)的重要性感知愈加強(qiáng)烈，同時(shí)數(shù)據(jù)倉(cāng)庫(kù)在企業(yè)端越來越走向成熟和理性。

“企業(yè)不再停留在數(shù)據(jù)集合的高效存儲(chǔ)和運(yùn)算，越來越聚焦于數(shù)據(jù)的場(chǎng)景化應(yīng)用創(chuàng)新和數(shù)據(jù)價(jià)值釋放的最終目的,這也是數(shù)據(jù)倉(cāng)庫(kù)的真正目的所在”聶晶強(qiáng)調(diào)。

隨著企業(yè)關(guān)注價(jià)值點(diǎn)的變化及構(gòu)建主體趨向于一線業(yè)務(wù)團(tuán)隊(duì)的趨勢(shì)，也帶來了企業(yè)數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建敏捷度的更高要求。基于云計(jì)算實(shí)現(xiàn)分鐘級(jí)構(gòu)建和擴(kuò)展的云原生數(shù)據(jù)倉(cāng)庫(kù)設(shè)施，因?yàn)槠浼夹g(shù)先進(jìn)性和交付模式的先進(jìn)性，成為了當(dāng)前數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的技術(shù)核心。

在這一過程中，伴隨當(dāng)前技術(shù)持續(xù)爆炸式演進(jìn)，僅依賴企業(yè)自有IT能力已經(jīng)越來越難于應(yīng)對(duì)當(dāng)前和未來的挑戰(zhàn)，如何有效借助于外部資源高效的迎接未來的技術(shù)挑戰(zhàn)，成為企業(yè)IT技術(shù)團(tuán)隊(duì)長(zhǎng)期而持續(xù)的技術(shù)難點(diǎn)。

聶晶介紹，作為一個(gè)開放的云廠商，騰訊云結(jié)合騰訊數(shù)據(jù)技術(shù)實(shí)踐、開源技術(shù)組織和商業(yè)化技術(shù)合作伙伴能力，在云端提供了涵蓋Hadoop、ES、MPP數(shù)倉(cāng)在內(nèi)的，豐富易用、開源開放的開箱即用數(shù)據(jù)基礎(chǔ)設(shè)施和數(shù)據(jù)工具，可以幫助企業(yè)快速構(gòu)建安全、穩(wěn)定、可擴(kuò)展、可高效運(yùn)營(yíng)的數(shù)據(jù)IT架構(gòu)。

同時(shí)，聶晶判斷在未來五年內(nèi)，將會(huì)有85以上的企業(yè)將會(huì)把企業(yè)數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)移到云端，數(shù)據(jù)倉(cāng)庫(kù)的云端構(gòu)建將會(huì)成為企業(yè)的第一優(yōu)選。他表示，面對(duì)需求爆發(fā)式的增長(zhǎng)，騰訊云更希望是以一個(gè)開放開源的生態(tài)，從技術(shù)、產(chǎn)品和市場(chǎng)的開放來服務(wù)好用戶。

在技術(shù)上的開源開放方面，騰訊云協(xié)同開源社區(qū)提供開放的技術(shù)體系，并通過開源的方式將自己的技術(shù)反哺給社區(qū)。通過數(shù)據(jù)產(chǎn)品和市場(chǎng)開源開放做到數(shù)據(jù)商業(yè)化公司的產(chǎn)品與原廠的產(chǎn)品同等市場(chǎng)地位。同時(shí)，騰訊也希望將服務(wù)市場(chǎng)開放更合作伙伴和開發(fā)者，讓大家都能發(fā)揮自己的能力。

最后他總結(jié)，“我們也希望基于這樣更開源開放的生態(tài)，用戶可以享受更為透明和精細(xì)化的產(chǎn)品和服務(wù)的能力，帶來更大的生產(chǎn)紅利?！?/p>

以下為騰訊云大數(shù)據(jù)產(chǎn)品總經(jīng)理聶晶演講實(shí)錄：

大家好，我是來自騰訊云大數(shù)據(jù)團(tuán)隊(duì)的聶晶。北京今天天很冷，非常感謝大家花費(fèi)寶貴的周末時(shí)間來到我們techo的大數(shù)據(jù)專場(chǎng)。也非常希望大家在這樣一個(gè)平臺(tái)上暢所欲言，能有所收獲。

今天咱們回歸到數(shù)倉(cāng)這個(gè)發(fā)展接近30年的話題，這算是一個(gè)老話題，但今年突然大家討論非常多。在海外有近千億美金市值的數(shù)倉(cāng)技術(shù)公司成功上市、在國(guó)內(nèi)也有越來越多的新創(chuàng)技術(shù)公司和實(shí)力雄厚的技術(shù)公司進(jìn)入到這個(gè)領(lǐng)域。

除開行業(yè)和資本的熱度之外，我們也看到從1991年數(shù)倉(cāng)正式被提出以來，經(jīng)過接近30年的發(fā)展歷程，企業(yè)對(duì)數(shù)據(jù)倉(cāng)庫(kù)的重要性感知也愈加強(qiáng)烈。在當(dāng)前, 95成熟型企業(yè)已經(jīng)構(gòu)建了完備的企業(yè)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)，并且在持續(xù)依托云計(jì)算技術(shù)和大數(shù)據(jù)技術(shù)進(jìn)行技術(shù)架構(gòu)演進(jìn)；80的云端初創(chuàng)型企業(yè)開始把數(shù)倉(cāng)決策業(yè)務(wù)前置，作為初創(chuàng)期與業(yè)務(wù)平臺(tái)同期構(gòu)建，以提升初創(chuàng)型企業(yè)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的敏捷度。甚至，我們看到部分企業(yè)在數(shù)倉(cāng)這里的投入最高可以達(dá)到30以上，這在1991年的數(shù)倉(cāng)史前時(shí)代是幾乎不可以想象的景象。

在過去30年的數(shù)據(jù)倉(cāng)庫(kù)發(fā)展之路中，數(shù)據(jù)規(guī)模和價(jià)值密度的變化激發(fā)了數(shù)倉(cāng)產(chǎn)業(yè)的本質(zhì)性革新。

隨著30年的行業(yè)演進(jìn)，小型機(jī)為代表的第一代單一傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)技術(shù)已經(jīng)無法適應(yīng)這個(gè)時(shí)代；因此，在技術(shù)領(lǐng)域持續(xù)涌現(xiàn)出了MPP數(shù)倉(cāng)、SQL On Hadoop、ELK這樣的優(yōu)秀新興技術(shù)，組成了第二代數(shù)倉(cāng)技術(shù)的百花齊放時(shí)代，這個(gè)階段中，我們也看到他們的發(fā)展歷程中呈現(xiàn)了融合式演進(jìn)趨勢(shì)，催生著數(shù)倉(cāng)技術(shù)的劇烈化學(xué)反應(yīng)；隨著數(shù)據(jù)倉(cāng)庫(kù)在企業(yè)端越來越走向成熟和理性，企業(yè)不再停留在數(shù)據(jù)集合的高效存儲(chǔ)和運(yùn)算，更越來越聚焦于數(shù)據(jù)的場(chǎng)景化應(yīng)用創(chuàng)新和數(shù)據(jù)價(jià)值釋放的最終目的，因?yàn)檫@才是數(shù)據(jù)倉(cāng)庫(kù)的真正目的之所在。

隨著企業(yè)關(guān)注價(jià)值點(diǎn)的變化及構(gòu)建主體趨向于一線業(yè)務(wù)團(tuán)隊(duì)的趨勢(shì)，也帶來了企業(yè)數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建敏捷度的更高要求。傳統(tǒng)數(shù)倉(cāng)耗時(shí)數(shù)月的構(gòu)建效能在數(shù)倉(cāng)發(fā)展30年后的今天，越來越成為企業(yè)的瓶頸；基于云計(jì)算實(shí)現(xiàn)分鐘級(jí)構(gòu)建和擴(kuò)展的云原生數(shù)據(jù)倉(cāng)庫(kù)設(shè)施，因?yàn)槠浼夹g(shù)先進(jìn)性和交付模式的先進(jìn)性，成為了當(dāng)前數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的技術(shù)核心。

如何高效構(gòu)建與運(yùn)營(yíng)一個(gè)穩(wěn)定、可擴(kuò)展的數(shù)據(jù)倉(cāng)庫(kù)是當(dāng)前企業(yè)在構(gòu)建數(shù)倉(cāng)中遇到的第一個(gè)初始挑戰(zhàn)，這是對(duì)企業(yè)當(dāng)前IT技術(shù)能力和運(yùn)營(yíng)能力的初始挑戰(zhàn)，以前更多客戶會(huì)采用商業(yè)化產(chǎn)品和服務(wù)來應(yīng)對(duì)這個(gè)挑戰(zhàn)，但隨著云計(jì)算的發(fā)展，當(dāng)前更多客戶會(huì)愿意用云所提供的開箱即用的數(shù)倉(cāng)產(chǎn)品和服務(wù)來應(yīng)對(duì)第一個(gè)階段的挑戰(zhàn)。

隨著數(shù)據(jù)每年三倍，甚至五倍的高速增長(zhǎng)下，企業(yè)發(fā)現(xiàn)當(dāng)前急待通過新技術(shù)、新商業(yè)模式解決當(dāng)下和未來的成本挑戰(zhàn)，在傳統(tǒng)IT架構(gòu)下降低IT綜合的效果較為局限；如何消減倍增數(shù)據(jù)規(guī)模下的成本增速，成為一個(gè)精細(xì)化運(yùn)營(yíng)企業(yè)無法回避的話題。云端數(shù)據(jù)IT設(shè)施的新技術(shù)、新產(chǎn)品、新服務(wù)模式越來越成為企業(yè)數(shù)據(jù)IT成本節(jié)約的新動(dòng)能。

接下來，企業(yè)進(jìn)入到數(shù)據(jù)價(jià)值獲取階段，部分企業(yè)鑒于對(duì)數(shù)據(jù)業(yè)務(wù)的場(chǎng)景化理解力局限性，難于有效結(jié)合自有企業(yè)數(shù)據(jù)業(yè)務(wù)進(jìn)行數(shù)據(jù)價(jià)值創(chuàng)新探索；在構(gòu)建完數(shù)據(jù)基礎(chǔ)架構(gòu)的企業(yè)，越來越希望向企業(yè)組織提供到平民化的數(shù)據(jù)創(chuàng)新力，讓企業(yè)全員都能夠參與到無限制探索數(shù)據(jù)業(yè)務(wù)創(chuàng)新，讓數(shù)據(jù)資產(chǎn)真正成為成熟業(yè)務(wù)的助推劑。事實(shí)上，企業(yè)更容易忽視的是，在當(dāng)前技術(shù)持續(xù)爆炸式演進(jìn)中的，僅依賴企業(yè)自有IT能力，已經(jīng)越來越難于應(yīng)對(duì)當(dāng)前和未來的挑戰(zhàn)，如何有效借助于外部資源高效的迎接未來的技術(shù)挑戰(zhàn)，成為企業(yè)IT技術(shù)團(tuán)隊(duì)長(zhǎng)期而持續(xù)的技術(shù)難點(diǎn)。

單一主體的企業(yè)難于應(yīng)對(duì)數(shù)倉(cāng)領(lǐng)域的爆發(fā)式發(fā)展挑戰(zhàn)；但我們也深知，一個(gè)脫離于生態(tài)的云廠商也難于有效幫助到云端的企業(yè)客戶應(yīng)對(duì)這樣的未知挑戰(zhàn)。

作為一個(gè)開放的云廠商，騰訊云結(jié)合騰訊數(shù)據(jù)技術(shù)實(shí)踐、開源技術(shù)組織和商業(yè)化技術(shù)合作伙伴能力，在云端提供了涵蓋Hadoop、ES、MPP數(shù)倉(cāng)在內(nèi)的，豐富易用、開源開放的開箱即用數(shù)據(jù)基礎(chǔ)設(shè)施和數(shù)據(jù)工具，可以幫助企業(yè)快速構(gòu)建安全、穩(wěn)定、可擴(kuò)展、可高效運(yùn)營(yíng)的數(shù)據(jù)IT架構(gòu)。同時(shí)開放云生態(tài)的技術(shù)能力也將有足夠能力保障好企業(yè)未來數(shù)據(jù)技術(shù)演進(jìn)中的技術(shù)安全性問題。

同時(shí)，在云端提供的數(shù)據(jù)產(chǎn)品帶有極強(qiáng)的云特性，越來越多企業(yè)通過大數(shù)據(jù)存算分離、算力融合、負(fù)載彈性擴(kuò)展等產(chǎn)品/技術(shù)策略來持續(xù)不斷的優(yōu)化數(shù)據(jù)倍速增長(zhǎng)中的綜合IT成本。開放云生態(tài)中的客戶技術(shù)實(shí)踐、解決方案合作伙伴的商業(yè)化服務(wù)都將能將數(shù)據(jù)價(jià)值創(chuàng)新的技術(shù)、經(jīng)驗(yàn)、商業(yè)模式，通過騰訊云培訓(xùn)及技術(shù)沙龍平臺(tái)，傳導(dǎo)到生態(tài)中的每一位參與者，云端企業(yè)可以以此作為數(shù)據(jù)價(jià)值創(chuàng)新過程中的催化劑，真正實(shí)現(xiàn)企業(yè)的數(shù)據(jù)價(jià)值轉(zhuǎn)換。我們也認(rèn)為，在未來五年內(nèi)，將會(huì)有85以上的企業(yè)將會(huì)把企業(yè)數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)移到云端，數(shù)據(jù)倉(cāng)庫(kù)的云端構(gòu)建將會(huì)成為企業(yè)的第一優(yōu)選。

今天，我們?cè)谶@里發(fā)布一個(gè)重磅的開源開放的數(shù)據(jù)生態(tài)戰(zhàn)略。這個(gè)數(shù)據(jù)生態(tài)戰(zhàn)略包含三個(gè)層面的內(nèi)容。

第一個(gè)是我們技術(shù)上的開源開放。包含騰訊自有技術(shù)與商業(yè)化公司和開源組織的技術(shù)共享與協(xié)同。其中有類似Angle這樣的優(yōu)秀技術(shù)貢獻(xiàn)到社區(qū)，也有類似Ozone這樣的開源技術(shù)的騰訊側(cè)深度技術(shù)參與。

第二個(gè)是我們產(chǎn)品生態(tài)上的開放。我們將會(huì)為新創(chuàng)公司和商業(yè)化公司的臻選數(shù)據(jù)產(chǎn)品和服務(wù)提供到與自研產(chǎn)品同等的市場(chǎng)地位。讓我們的客戶享受到更為豐富和優(yōu)秀的數(shù)據(jù)產(chǎn)品和服務(wù)。

第三個(gè)是我們服務(wù)生態(tài)的開放。我們希望服務(wù)市場(chǎng)也開放給我們的合作伙伴和開發(fā)者，讓大家都能發(fā)揮自己的能力服務(wù)好我們的用戶。我們的用戶也能因?yàn)檫@個(gè)開源開放的生態(tài)，享受到更為透明和精細(xì)化的產(chǎn)品和服務(wù)能力所帶來的的生產(chǎn)力極大提升的紅利。