安全日志記錄著企業(yè)服務(wù)器、云基礎(chǔ)設(shè)施、應(yīng)用程序等的全部執(zhí)行過程，對日志數(shù)據(jù)進(jìn)行追溯分析，可以準(zhǔn)確清晰地了解企業(yè)IT設(shè)施狀況、排查安全隱患、檢索故障源頭等。

隨著企業(yè)規(guī)模增長、數(shù)字化程度加深和安全設(shè)備的增加，安全日志數(shù)量呈指數(shù)級增長，而企業(yè)現(xiàn)行的日志處理平臺在應(yīng)對今天動輒PB級別的安全日志時，要么是需要支付非常高昂的授權(quán)費(fèi)和專業(yè)人力成本，要么是性能瓶頸無法支撐PB級別體量的日志處理。

如何采用一套新的架構(gòu)，能支撐企業(yè)在PB級別的數(shù)據(jù)里實現(xiàn)秒級查詢，同時成本又可控？

9月20日，騰訊安全發(fā)布全新一代云原生安全數(shù)據(jù)湖，專注海量日志數(shù)據(jù)分析，助力企業(yè)構(gòu)建一體化云原生數(shù)據(jù)湖平臺，邁向主動安全。據(jù)悉，在同等數(shù)據(jù)規(guī)模下，該產(chǎn)品的硬件成本僅為同類開源軟件的1/10，此外在查詢性能特別是聚合查詢性能方面有了成倍的提升，能實現(xiàn)PB級日志的秒級查詢。

“目前企業(yè)的日志處理平臺普通使用開源大數(shù)據(jù)ELK等組件快速搭建，以收集告警數(shù)據(jù)為主，分析數(shù)據(jù)不全，而且執(zhí)行長周期數(shù)據(jù)查詢需要分鐘級甚至小時級等待，而網(wǎng)絡(luò)安全是實時對抗的，任何以‘小時’為單位的數(shù)據(jù)分析產(chǎn)品肯定都不適用?！彬v訊安全大數(shù)據(jù)實驗室高級研究員楊浚宇表示。

兩年前，騰訊安全在服務(wù)客戶過程中發(fā)現(xiàn)，客戶普遍反應(yīng)遇到日志存儲成本攀升、查詢效率低下的問題，因此騰訊安全大數(shù)據(jù)實驗室基于多年的大數(shù)據(jù)分析處理能力，前后花費(fèi)兩年時間自主研發(fā)了一款面向云原生的安全數(shù)據(jù)湖產(chǎn)品。

騰訊云原生安全數(shù)據(jù)湖是基于云原生的自研數(shù)據(jù)分析平臺，利用日志數(shù)據(jù)無需修改、大量字段重復(fù)、有時間戳等特性進(jìn)行了幾大創(chuàng)新：

l  架構(gòu)領(lǐng)先：MPP架構(gòu)，采用Rust語言開發(fā)，針對日志及安全場景進(jìn)行專項優(yōu)化

l  極致降本：使用列存儲實現(xiàn)極致壓縮比，無索引架構(gòu)避免索引開銷

l  一體化引擎：通過原子能力實現(xiàn)數(shù)據(jù)處理、查詢、存儲、分析一體化

l  插件式擴(kuò)展：通過SQL/SPL語句支持不同分析場景，支持“插件式”擴(kuò)容

l  易運(yùn)維：面向云原生架構(gòu)實現(xiàn)存算分離、讀寫分離、從而實現(xiàn)一鍵彈性擴(kuò)容，故障秒級切換

 

依托上述技術(shù)創(chuàng)新，騰訊云原生安全數(shù)據(jù)湖實現(xiàn)了極致的壓縮比和數(shù)據(jù)處理效率，能將企業(yè)的安全運(yùn)營存儲成本降低90%；在底層架構(gòu)上面向云原生設(shè)計，支撐多實例、多用戶，能根據(jù)企業(yè)的實際需求實現(xiàn)彈性擴(kuò)容。

此外，騰訊云原生安全數(shù)據(jù)湖支持泛安全數(shù)據(jù)接入、加工、存儲、分析、告警、可視化等服務(wù)，還具備“插件化”應(yīng)用開發(fā)能力，企業(yè)用戶可根據(jù)需求定制上層應(yīng)用，并通過平臺+APP+合作伙伴構(gòu)建完整的日志應(yīng)用生態(tài)體系，全面賦能各類安全場景。

目前，該數(shù)據(jù)湖已經(jīng)集成在騰訊安全SOC+產(chǎn)品下，為企業(yè)安全運(yùn)營管理提供基座。未來，騰訊安全還會對外提供獨(dú)立產(chǎn)品，助力企業(yè)構(gòu)建云原生數(shù)據(jù)湖平臺。

面向智能化時代，安全運(yùn)營與管理是企業(yè)的安全免疫中樞系統(tǒng)，而安全大數(shù)據(jù)的智能分析能力將成為企業(yè)邁向智能安全的基礎(chǔ)。騰訊安全的安全運(yùn)營產(chǎn)品矩陣始終圍繞一件事情，就是如何為客戶創(chuàng)造價值。未來，騰訊安全將持續(xù)開放技術(shù)原子能力，把騰訊領(lǐng)先的技術(shù)融合在企業(yè)現(xiàn)有的安全能力中，為千行百業(yè)的安全實踐注入數(shù)字安全免疫力。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。