在大數(shù)據(jù)背景下，隨著企業(yè)用戶、業(yè)務(wù)數(shù)據(jù)量的日益增長(zhǎng)，數(shù)據(jù)處理場(chǎng)景日趨復(fù)雜，且企業(yè)內(nèi)部數(shù)據(jù)具備多樣性，包含結(jié)構(gòu)化/半結(jié)構(gòu)化、文本數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)。面對(duì)海量且形式多樣的數(shù)據(jù)，急需具備高可用和高性能的存儲(chǔ)方案支持業(yè)務(wù)發(fā)展。數(shù)據(jù)采集作為數(shù)據(jù)生命周期安全管理的第一階段，采集分布在各業(yè)務(wù)應(yīng)用、硬件設(shè)備的數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行集中存儲(chǔ)從而打破數(shù)據(jù)孤島，減少企業(yè)用戶在數(shù)據(jù)信息梳理過(guò)程產(chǎn)生的資源浪費(fèi)，同時(shí)對(duì)數(shù)據(jù)的一致性、完整性進(jìn)行梳理，提升企業(yè)內(nèi)部信息共享能力。而數(shù)據(jù)存儲(chǔ)作為數(shù)據(jù)安全生命周期中承上啟下的重要環(huán)節(jié)，需為數(shù)據(jù)安全合規(guī)檢查、數(shù)據(jù)安全態(tài)勢(shì)分析、敏感數(shù)據(jù)溯源以及異常事件感知等多個(gè)場(chǎng)景提供強(qiáng)有力的數(shù)據(jù)支撐。
明朝萬(wàn)達(dá)Chinasec（安元）安全集中監(jiān)控與審計(jì)系統(tǒng)以大數(shù)據(jù)技術(shù)為基礎(chǔ)技術(shù)架構(gòu)，針對(duì)采集階段收集的海量數(shù)據(jù)，提供日志倉(cāng)庫(kù)作為一站式日志數(shù)據(jù)存儲(chǔ)，具有日志統(tǒng)一存儲(chǔ)、實(shí)時(shí)檢索、查詢和分析的能力，滿足用戶在不同場(chǎng)景下的數(shù)據(jù)存儲(chǔ)需求。
通過(guò)探針、代理采集多源數(shù)據(jù)，并經(jīng)過(guò)數(shù)據(jù)預(yù)處理后將數(shù)據(jù)進(jìn)行存儲(chǔ)，產(chǎn)品提供三種不同存儲(chǔ)方式。三種模式均支持PB級(jí)數(shù)存儲(chǔ)，且支持?jǐn)?shù)據(jù)高可用、靈活水平擴(kuò)展能力：
實(shí)時(shí)分析型：
支持海量數(shù)據(jù)秒級(jí)實(shí)時(shí)檢索、多維分析查詢；支持實(shí)時(shí)高并發(fā)寫(xiě)入，同時(shí)數(shù)據(jù)更新立即可見(jiàn)。
關(guān)聯(lián)分析型：
支持聯(lián)機(jī)分析處理，針對(duì)大數(shù)據(jù)量下的聯(lián)機(jī)分析有較好的處理性能；兼容關(guān)系型、支持標(biāo)準(zhǔn)SQL，低范式要求；支持負(fù)責(zé)的聚合、多源數(shù)據(jù)關(guān)聯(lián)查詢。
文本分析型：
支持全文搜索，支持分詞器；支持檢索結(jié)果匹配度，支持高亮顯示；支持?jǐn)?shù)據(jù)冷熱分離。
安全集中監(jiān)控與審計(jì)系統(tǒng)提供日志倉(cāng)庫(kù)存儲(chǔ)采集的數(shù)據(jù)，支持對(duì)元數(shù)據(jù)進(jìn)行管理。同時(shí)產(chǎn)品支持對(duì)倉(cāng)庫(kù)副本、留檔期限、分區(qū)規(guī)則等不同維度進(jìn)行管理配置，滿足不同場(chǎng)景下的數(shù)據(jù)存儲(chǔ)訴求。
為確保在數(shù)據(jù)安全生命周期的管理過(guò)程中對(duì)日志倉(cāng)庫(kù)進(jìn)行有效監(jiān)控，產(chǎn)品支持對(duì)倉(cāng)庫(kù)的數(shù)據(jù)存儲(chǔ)總量、磁盤空間占用進(jìn)行實(shí)時(shí)監(jiān)控，更好的為數(shù)據(jù)分析等不同的場(chǎng)景提供數(shù)據(jù)支撐。
借助日志倉(cāng)庫(kù)的能力，產(chǎn)品支持對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行基礎(chǔ)數(shù)據(jù)分析?？蓪?duì)采集的數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，并支持通過(guò)兩種不同日志模式進(jìn)行查看。同時(shí)提供快速檢索、檢索視圖等方式對(duì)數(shù)據(jù)進(jìn)行多維條件檢索，減輕安全管理員在數(shù)據(jù)審計(jì)過(guò)程中的工作量。
明朝萬(wàn)達(dá)憑借在數(shù)據(jù)安全行業(yè)豐富的經(jīng)驗(yàn)，總結(jié)出對(duì)不同種類數(shù)據(jù)存儲(chǔ)量進(jìn)行計(jì)算、評(píng)估的方法，有效、合理的對(duì)硬件資源進(jìn)行評(píng)估。同時(shí)在實(shí)施過(guò)程中對(duì)所需要的資源進(jìn)行階段性的檢查、評(píng)估，確保系統(tǒng)正常、高效的運(yùn)行。
