近期,火山引擎DataLeap上線“動態探查”能力,為用戶提供全局數據視角、完善的抽樣策略,提高數據探查的靈活度以及響應速率。
傳統的數據探查是基于庫表的全量探查,由后端引擎執行,通過自動化檢查數據成分、關系、格式等,以報告形式展示探查后列的統計分布結果,避免數據質量導致項目開發、上線出現問題,主要應用于元數據管理、數據研發、數倉開發以及數據治理等環節,滿足使用者對數據質量初探的需求。
【資料圖】
但在數據量級大、用戶需要探查數據明細或需要數據預處理操作時,由于傳統的數據探查要對全量表進行檢測,導致無法實時產出報告、等待時間變長,靈活度低,且無法跟蹤數據明細。
針對上述痛點,火山引擎DataLeap在傳統數據探查基礎能力上,進一步增強了動態探查能力。其特點在于:
● 基于大數據預覽探查,支持對數據進行函數級別預處理。
● 數據探查結果秒級更新、實時響應。
● 與數據監控聯動,有效打通數據探查到質量分析閉環。
據介紹,DataLeap動態探查的對象是抽樣數據,支持連續抽樣(按照默認順序連續抽樣前x條數據)、過濾抽樣(使用where過濾語句過濾)、隨機抽樣(隨機抽樣x條數據)3種模式,用戶可對數據進行預處理,實時、動態獲得統計分布結果,具備靈活度高、實效性強的特點。
火山引擎DataLeap數據探查報告
目前,DataLeap動態探查可以應用在以下三個場景中:
● 場景1:用于分析型探查場景,用戶可利用hive基本函數,如get_json_object,將列進行數據提取。
● 場景2:與探查報告打通,用戶點擊探查報告中的統計值,即可跳轉到數據表格,并應用具體行過濾函數。
● 場景3:用于數據過濾后的探查場景,用戶通過過濾和分組條件進行寫條件探查,例如校驗status=0時current_price為0的占比。
DataLeap是火山引擎數智平臺旗下產品,提供數據集成、開發、運維、治理、資產、安全等能力,幫助用戶提升數據研發效率、降低管理成本,加速推動企業的數字化轉型,目前已經應用于泛互聯網、制造、新零售、汽車等領域。(作者:姚元宇)