隨著信息技術的高速發展,大數據的應用越來越廣泛,數以千計的企業從事與大數據相關的工作,企業的數據每隔1~2年就增加一倍,呈現出數據量大、產生速度快、數據來源復雜、潛在價值高等特性。Hadoop(分布式系統基礎架構)作為大數據時代存儲和處理海量數據的最熱門技術,基于Hadoop技術,建設大數據基礎平臺,對大數據應用提供對海量數據的存儲及處理。但是,各行業在建設大數據平臺、開展大數據應用的同時也面臨一系列安全問題:
?大數據平臺基于開源生態環境,各組件分別由不同的開源項目獨立設計、開發,缺乏整體的基礎平臺安全框架,使用戶或應用程序繞過權限控制,惡意節點加入等方式,利用開源平臺安全漏洞,危及基礎平臺安全;
?大數據平臺“積木”式搭建,不同機構按需采用不同組件實現,缺乏整體的安全防護技術手段,使各組件基于自身安全機制,重復認證與鑒權控制,效率低下,影響基礎平臺業務操作與安全;
?大量的數據集中存儲、關聯分析將有可能產生更大的商業價值,這將會吸引黑色產業鏈各方帶來潛在的、更嚴峻的安全威脅。
基于基礎平臺各組件,圍繞接入、存儲、計算、服務等方面都有相應風險,如圖所示:
▲大數據基礎平臺安全風險
針對以上問題,明朝萬達提出了大數據基礎平臺安全防護解決思路,圍繞設施安全、采集安全、存儲安全、處理安全、接口安全,構建整體的基礎平臺安全框架,如圖所示:
▲明朝萬達基礎平臺安全框架
基于基礎平臺安全框架,對平臺組件安全進行研究,明朝萬達提出圍繞準入控制、認證、鑒權、脫敏、加密等手段進行安全防護,如圖所示:
▲明朝萬達基礎平臺安全防護手段
準入控制基于IP、端口對終端用戶或應用程序進行準入控制,進行源IP控制、目的IP控制、IP時效性控制。
認證支持Kerberos、用戶名/密碼進行身份認證,保證訪問用戶或應用程序的合法性。
鑒權支持DAC、MAC、RBAC等多種授權模型進行鑒權,避免非法用戶或應用程序接入及訪問控制。
加密支持大數據進行分類分級,敏感數據基于國密標準算法對數據進行加密存儲。
脫敏敏感數據處理基于脫敏規則(正則替換、字符亂序)及脫敏策略,對數據進行脫敏。
基于大數據基礎平臺安全框架,圍繞大數據安全防護手段,明朝萬達研發大數據安全防護平臺(ChinaSec BDSafe)產品及解決方案,部署于網絡邊界,從接入、存儲、計算、接口等方面進行全方位安全防護,保障大數據平臺安全,推動大數據應用發展。
▲明朝萬達ChinaSec BDSafe產品