┊文章閱讀:次
大數(shù)據(jù)分為大數(shù)據(jù)存儲和大數(shù)據(jù)分析,屬于兩種截然不同的計算機技術領域,大數(shù)據(jù)存儲用于大數(shù)據(jù)分析。大數(shù)據(jù)存儲重點在于研發(fā)可以擴展至PB甚至EB級別的數(shù)據(jù)存儲平臺;大數(shù)據(jù)分析關注在最短時間內(nèi)處理大量不同類型的數(shù)據(jù)集。目前無論是大數(shù)據(jù)存儲還是大數(shù)據(jù)分析,都已經(jīng)成為幫助企業(yè)主業(yè)務的關鍵應用。在智能家居領域,例如家庭數(shù)字網(wǎng)絡攝像頭的云端存儲,音視頻設備背后的云端流媒體,家庭電量實施云端監(jiān)測等等,都在大規(guī)模使用云存儲和分析技術。
智能家居云存儲方式
高度智能化的智能家居涉及數(shù)據(jù)量非常龐大,傳統(tǒng)存儲技術無法滿足,所有云存儲技術的逐漸發(fā)展與應用也為智能家居的發(fā)展迎來了廣泛的關注。
下面舉例其中一種云存儲方式:
新一代的面向智能家居大數(shù)據(jù)云存儲系統(tǒng)主要由邏輯控制模塊、用戶訪問模塊、存儲模塊、文件讀/寫模塊和面向智能家居的大數(shù)據(jù)云存儲模塊。
邏輯控制模塊:是整個面向智能家居大數(shù)據(jù)云存儲系統(tǒng)的核心,是邏輯處理的樞紐,各業(yè)務請求均在該模塊中被處理。
用戶訪問模塊是智能家居中的用戶和云儲存系統(tǒng)交互的紐帶,利用該模塊可以透明地為用戶提供底層實現(xiàn)的各項功能。
存儲模塊為新一代智能家居云存儲系統(tǒng)提供了透明的存取功能。文件讀/寫模塊主要負責將上層邏輯處理和底層存儲進行隔離。
邏輯結構:請求處理后傳輸至存儲模塊,再由存儲模塊發(fā)送到面向智能家居的大數(shù)據(jù)云存儲模塊,在該模塊中實現(xiàn)大數(shù)據(jù)云存儲。
每個數(shù)據(jù)的處理流程:
每一個數(shù)據(jù)都有一個ETL,就是抽取、轉(zhuǎn)化,然后去加載,包括做數(shù)據(jù)的清洗。如果數(shù)據(jù)大批量進來,有些數(shù)據(jù)可能是有問題的。比如說,好多地址會寫得比較模糊,如果要搜索北京這個詞的時候,數(shù)據(jù)倉庫里可能只有一個京字,這些都要統(tǒng)一整理成一個,比如說北京,這樣后面分析就會簡單,比如山東,有人會輸入“魯”字來進行搜索,而不是山東,這就需要在大數(shù)據(jù)分析前期做好數(shù)據(jù)清理工作,做規(guī)范化,這樣后面的數(shù)據(jù)分析起來就方便很多。
大數(shù)據(jù)的分布式計算:
通常用于數(shù)據(jù)分析平臺的分布式計算平臺內(nèi)的存儲不是我們以往面對的網(wǎng)絡附加存儲(NAS)和存儲區(qū)域網(wǎng)絡(SAN),而通常是內(nèi)置的直連存儲(NAS)以及組成集群的分布式計算節(jié)點,無論是數(shù)據(jù)部署安全、保護和保存流程都非常復雜。但大數(shù)據(jù)分析中包含各種快速成長中的技術,簡單用分布式技術對其定義也并不準確。
Copyright @ 2013-2018 中國福建網(wǎng) 版權所有
聯(lián)系我們
免責聲明:本站為非營利性網(wǎng)站,部分圖片或文章來源于互聯(lián)網(wǎng)如果無意中對您的權益構成了侵犯,我們深表歉意,請您聯(lián)系,我們立即刪除。