銀行業(yè)務數(shù)據(jù)庫導入的探析與規(guī)劃范文

本站小編為你精心準備了銀行業(yè)務數(shù)據(jù)庫導入的探析與規(guī)劃參考范文，愿這些范文能點燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

1加載策略

源數(shù)據(jù)的獲取將依賴于數(shù)據(jù)的生成和更新周期，目前與源數(shù)據(jù)層約定的獲取接口為規(guī)定的數(shù)據(jù)庫接口，由DataStage通過數(shù)據(jù)庫接口，從各個源系統(tǒng)獲取源數(shù)據(jù)，在ETL服務器上，以數(shù)據(jù)文件或命名管道文件的形式，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中央數(shù)據(jù)庫中。

在經(jīng)過初步的轉換處理后，數(shù)據(jù)將首先加載進入數(shù)據(jù)倉庫臨時數(shù)據(jù)區(qū)，在臨時數(shù)據(jù)區(qū)的基礎上完成數(shù)據(jù)的進一步清洗、匯總計算和轉換處理，并最終生成數(shù)據(jù)倉庫的物理模型數(shù)據(jù)，相關的數(shù)據(jù)集市和OLAP立方體，以及其他為數(shù)據(jù)輸出而準備的中間數(shù)據(jù)。在整個ETL過程中，需要自動化管理ETL任務調度和控制以及必要的數(shù)據(jù)質量檢查模塊。

2相關層次

數(shù)據(jù)導入是在源數(shù)據(jù)中經(jīng)確認的數(shù)據(jù)進入數(shù)據(jù)倉庫數(shù)據(jù)服務的數(shù)據(jù)獲取和數(shù)據(jù)處理的中間層，是重要的數(shù)據(jù)處理環(huán)節(jié)。以下將結合ETL過程的幾個重點步驟，對數(shù)據(jù)導入的數(shù)據(jù)處理過程進行詳細的描述：

（1）確認源數(shù)據(jù)的確認是指根據(jù)針對本系統(tǒng)的業(yè)務需求，來定義包含相應的數(shù)據(jù)源的物理表/數(shù)據(jù)結構的過程，這些表在進行信息需求分析時需要確定下來，即確定需要使用源系統(tǒng)的哪些數(shù)據(jù)來滿足業(yè)務需求。

（2）映射數(shù)據(jù)的映射(Mapping)是指確定操作源數(shù)據(jù)和數(shù)據(jù)倉庫數(shù)據(jù)庫中數(shù)據(jù)存儲之間的物理映射關系，簡單的說就是將已確認的源數(shù)據(jù)與本系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)相對應起來，供ETL參考。

（3）獲取為了把源數(shù)據(jù)加載到數(shù)據(jù)倉庫數(shù)據(jù)庫中，首先需要先獲取這些數(shù)據(jù)。一般來講，數(shù)據(jù)獲取包括兩種方式：數(shù)據(jù)源主動(PUSH)：即數(shù)據(jù)源主動定時將相關數(shù)據(jù)吐到ETL服務器上。再由ETL服務器對數(shù)據(jù)進行必要處理（轉換、清洗）后加載到數(shù)據(jù)庫；ETL服務器主動(PULL)：即ETL服務器主動到數(shù)據(jù)源中獲取數(shù)據(jù)。考慮到本系統(tǒng)的主要數(shù)據(jù)源是業(yè)務系統(tǒng)的鏡像系統(tǒng)或Snapshot，數(shù)據(jù)獲取過程將采用ETL服務器主動(PULL)的方式，即業(yè)務系統(tǒng)完成Snapshot或鏡像處理后，由ETL服務器主動到業(yè)務系統(tǒng)的鏡像系統(tǒng)或Snapshot中獲取數(shù)據(jù)，而后直接加載入數(shù)據(jù)倉庫數(shù)據(jù)庫中。

（4）轉換轉換工作主要分為兩部分：加載前的轉換：主要是針對數(shù)據(jù)格式、代碼映射以及數(shù)據(jù)類型轉換等。加載后的清洗和轉換：主要是針對明細數(shù)據(jù)進行匯總計算以及異常數(shù)據(jù)的過濾。

（5）加載數(shù)據(jù)加載是將完成抽取、轉換后的源數(shù)據(jù)加載到數(shù)據(jù)倉庫中央數(shù)據(jù)庫中，數(shù)據(jù)加載過程需保證加載的快速、穩(wěn)定，并且考慮到數(shù)據(jù)加載的維護，本次源數(shù)據(jù)向數(shù)據(jù)庫加載將僅采用DataStage的Teradata專用組件TeradataEnterprise來完成，數(shù)據(jù)后續(xù)處理（產(chǎn)生匯總表，多表關聯(lián)等）的工作將使用TeradataSQL來完成。

3數(shù)據(jù)質量管理

數(shù)據(jù)質量對任何數(shù)據(jù)倉庫來說都是非常重要的，決策支持的質量往往是取決于查詢所選擇的數(shù)據(jù)本身的質量。一般地，數(shù)據(jù)質量問題主要來源于以下幾種情況：

1）源數(shù)據(jù)質量問題：源系統(tǒng)中的數(shù)據(jù)信息不真實、不符合業(yè)務規(guī)則或數(shù)據(jù)約束條件，或者源系統(tǒng)導出的接口數(shù)據(jù)文件不符合接口標準或格式等；因此在數(shù)據(jù)倉庫建設中仍要采用多種手段進行數(shù)據(jù)質量的檢查和管理。

2）數(shù)據(jù)從源系統(tǒng)到數(shù)據(jù)倉庫的抽取、傳輸過程中造成數(shù)據(jù)失真、丟失，或在整合過程中對數(shù)據(jù)的取舍存在誤判；這類問題主要來自于ETL體系本身，可以通過各類技術手段進行避免。

3）從數(shù)據(jù)倉庫到前端展現(xiàn)存在的問題，包括代碼錯誤、算法錯誤，或者對業(yè)務問題的理解錯誤等。這部分主要是業(yè)務邏輯與統(tǒng)計口徑不準確所致，并不能代表數(shù)據(jù)本身的質量問題。數(shù)據(jù)質量管理包括：檢查規(guī)則管理、數(shù)據(jù)質量檢查模塊以及數(shù)據(jù)質量檢查結果展示與管理。檢查規(guī)則管理是通過數(shù)據(jù)庫中建立一個數(shù)據(jù)檢查的規(guī)則庫，用于各數(shù)據(jù)質量檢查模塊進行數(shù)據(jù)檢查的依據(jù)。

數(shù)據(jù)質量檢查模塊是分散在數(shù)據(jù)導入即ETL的各個環(huán)節(jié)中，數(shù)據(jù)質量檢查包括文件級檢查、記錄級檢查以及業(yè)務指標檢查。文件級檢查的主要內容包括：文件大小檢驗：確保數(shù)據(jù)在傳輸過程中沒有缺失、損壞，在本系統(tǒng)中，就是保證數(shù)據(jù)由數(shù)據(jù)源到數(shù)據(jù)加載機（ETL服務器）傳輸?shù)耐暾浴Ｎ募袷綑z驗：接口數(shù)據(jù)文件的格式是否是按照約定的格式進行，如定長或變長、分割符的約定等。

記錄級檢查的主要內容包括：數(shù)據(jù)類型與格式檢查主外鍵及關聯(lián)檢查編碼映射檢查數(shù)據(jù)值域檢查基本業(yè)務規(guī)則檢查記錄集合檢查，數(shù)據(jù)倉庫臨時數(shù)據(jù)區(qū)數(shù)據(jù)與一期ODS的數(shù)據(jù)比較；業(yè)務指標檢查的主要內容包括：比較同一業(yè)務指標在臨時數(shù)據(jù)區(qū)、數(shù)據(jù)區(qū)及OLAP的計算值，判斷數(shù)據(jù)在轉換過程中是否遺漏；利用來自其他渠道的業(yè)務指標參考值，與該指標在數(shù)據(jù)區(qū)或OLAP的計算值相比較，判斷數(shù)據(jù)的正確性；在數(shù)據(jù)質量檢查過程中，如果發(fā)生了數(shù)據(jù)異常和錯誤現(xiàn)象，則需及時通知相關人員進行相應處理，甚至包括數(shù)據(jù)文件的二次生成或重新傳輸?shù)倪^程；如果確定源數(shù)據(jù)本身有誤，則需要通知源數(shù)據(jù)方進行修改或更正，對數(shù)據(jù)倉庫系統(tǒng)來說，不得修改任何記錄。

作者：王彥慈單位：河南商業(yè)高等專科學校