1,線下收購:
工具:ETL;
在數據倉庫的背景下,ETL基本上是數據收集的代表,包括數據提取、轉換和加載。在轉換過程中,需要根據具體的業務場景對數據進行管理,比如非法數據的監控和過濾、格式轉換和數據標準化、數據替換、保證數據完整性等。
2.實時采集:
工具:水槽/卡夫卡;;
實時采集主要用於考慮流處理的業務場景,例如,用於記錄數據源的各種操作活動,如網絡監控的流量管理、金融應用的股票核算、web服務器記錄的用戶訪問行為等。在流處理場景下,數據采集會成為卡夫卡的消費者,就像水壩攔截來自上遊的連續數據,然後做相應的處理(比如去重、去噪、中間計算等。)根據業務場景,再寫入相應的數據存儲中。這個過程類似於傳統的ETL,但它是壹個流處理模式,而不是壹個預定的批處理作業。這些工具都采用分布式架構,可以滿足每秒數百MB的日誌數據采集和傳輸要求。
3.互聯網收藏:
工具:爬蟲、DPI等。
Scribe是由臉書開發的數據(日誌)收集系統。又稱網絡蜘蛛、網絡機器人,是按照壹定規則從萬維網上自動抓取信息的程序或腳本,它支持圖片、音頻、視頻等文件或附件的收集。
除了網絡中包含的內容之外,網絡流量的收集還可以通過帶寬管理技術(如DPI或DFI)來處理。
4.其他數據采集方法
對於客戶數據、財務數據等對企業生產經營數據保密要求較高的數據,可以通過與數據技術服務提供商合作,利用特定的系統接口進行數據采集。比如八度雲計算的數字化企業BDSaaS,在數據采集技術、BI數據分析、數據安全保密等方面做得很好。
數據采集是挖掘數據價值的第壹步。當數據量增加時,可以提取更多有用的數據。只要利用好數據處理平臺,就能保證數據分析結果的有效性,幫助企業實現數據驅動~