數據中臺項目建設方案

數據中臺的建設能夠把企業海量的死/活數據變成資產并有效利用，使數據持續地服務于業務，實現春風化雨、潤物無聲的目標

探碼數據中臺方法論

方案概述

客戶對象： 垂直門戶平臺，行業營銷中心，數據信息化部門

典型描述：客戶作為專業的行業門戶平臺，為商業用戶提供及時、全面、準確、權威的行業新聞、產品、設計、應用和市場信息，同時也為產品的最終消費者提供集交易 、生活 、娛樂于一體的綜合服務，是上下游企業推廣商務應用、產品及方案、進行市場調查、提升品牌形象的專業首選平臺。
解決目標： 探碼科技結合客戶在垂直行業領域的深刻理解及沉淀，利用技術手段，設計出一款能夠解決客戶當前在內部各部門數據孤立、數據清理工作困難、數據分析能力薄弱的問題，降低服務成本，提升服務效率。

項目需求

需要貴公司提供的完整的數據應用服務，涵蓋企業數據管理全流程：數據采集、數據清理、數據存儲、數據計算框架、數據分析報表輸出、管理儀表盤等可視化應用、數據挖掘模型設計開發與維護等，幫助企業建立“以數據還原歷史，以數據管理現在，以數據預測未來”的數據驅動機制，提高企業運營效率和效能、市場快速響應能力和產品開發能力，提高投入產出比。

項目需求

解決方案

這是一個通用的大數據平臺項目：首先部署一套大數據平臺，幫助收集、歸納、整理數據。把數據集中以后，基于一個統一的分析平臺，數據工程師可以去分析它，商業智能實驗， 得到一些決策信息（這里如果是有用的決策信息，那么就可以反推給企業帶來了什么收益，也有可能得到一些無用的決策洞察）。

數據中臺

探碼數據中臺-圍繞著大數據開發、大數據應用兩個核心階段展開為用戶搭建了一個強大的數據清洗、存儲、分析的平臺。支持多元異構數據的存儲，支持不同字符的數據集成。強大的模型算法支持數據的實時多維分析，并且根據檢索的元素生成對應的數據畫像，支持營銷決策。通過有形的產品支撐和實施方法論，解決企業面臨的數據孤島、數據維護混亂、數據價值利用低的問題。

探碼科技基于云計算研發的探碼Web大數據集成系統，利用眾多的云計算服務器協同工作，能快速采集大量的多源異構數據，從而解決了客戶內部數據零散，且數據清洗繁瑣的問題。數據整合分為7個子系統，分別為大數據集群系統、數據調研、數據清洗、數據合并、任務調度、搜索引擎系統、數據分析。

1. 大數據集群系統：本系統可以儲存TB級數據，實現數據持久化。數據存儲采用MongoDB集群方案。
2. 數據源調研：本系統是在“數據集成系統”開始之前，必不可少的一個環節，經過調研，得出客戶內部需要集成的數據、過濾的關鍵字、需要提取的內容等。
3. 數據清洗系統：通過Web前端展示出集合的數據，對數據進行直觀分析，得出哪些條件的數據需要刪除，哪些條件的數據需要修改。我們把這種模式記錄在程序里，將來的數據只要匹配這種模式，數據將來會被自動清洗，不再需要人工清洗。
4. 數據合并系統：本系統通過微服務技術框架，實現Web前端展示，對數據進行合并。數據被清洗之后，數據合并系統會自動匹配大數據集群中的數據，通過相識度評分，關聯可能相識的數據。通過Web前端展示匹配結果，可以人工或自動合并數據。
5. 任務調度系統：本系統通過Sidekiq隊列調度，Redis調度數據持久化，實現Web前端任務調度系統。通過任務調度系統，可以動態開啟、關閉，定時啟動數據整合的程序。
6. 搜索引擎系統：本系統通過ElasticSearch集群，實現搜索引擎服務。搜索引擎是PC端檢索系統能夠從大數據集群中、快速地檢索數據的必要工具。
7. 數據分析：數據分析處理中心含概了二大核心功能：一種是用于構建數據流程，另一種是用于在整個組織中共享和管理流程的。

總結

在數字化轉型的關鍵時期，以客戶為中心的理念將會持續地影響企業的商業決策，而以數據中臺為核心的洞察系統，將會通過建立數據技術、數據體系和數據服務的全流程平臺，驅動企業穩健行動，并且支持大規模商業模式創新，幫助企業構筑堅實壁壘以保持持續領先的競爭優勢。