數據遷移二三事

最近做項目上線的準備工作，剛好接手了財務數據遷移的活，正好總結下財務數據遷移的工作項。

凡事預則立，不預則廢。數據遷移工作是一件繁瑣而龐雜的工程，沒有一個合理的規劃，工作只會拖沓而混亂，最後拖了整個項目的後腿。因此，在前期工作中，遷移計劃必不可少。

那如何制定遷移計劃呢？

確定五個「H」：what、who、when、where、how

What：數據範圍

數據範圍是數據遷移工作的基礎，其完整性和準確性都決定了項目上線的質量。需確認以下範圍：

①上線組織的範圍，需考慮上線組織的架構是否包含所有需上線的公司

②時間範圍，考慮是否需要所有歷史數據，還是選擇某個時間段的數據

③數據範圍，包含了靜態數據和動態數據。靜態數據一般指常用的不怎麼變化的數據，比如會計科目、國家或幣種名稱等；動態數據一般指經常變化的業務數據，比如單據信息、科目餘額等。

Who：數據確認

數據的準確性需要業務部門進行確認。經歷歲月摧殘的舊系統中，往往存在數據冗雜、數據無效的情況。我們常說「取其精華，棄其糟粕」同樣可以運用在數據確認的工作中。那麼誰來確認數據的精華和糟粕呢？那麼就需要熟悉業務的業務部門進行數據的梳理，包括清除業財系統的數據差異、刪除重複數據以及確認數據的真實性和可靠性。

When：遷移時間

數據貫穿了整個項目，包括了業務調研、藍圖設計、功能實現和測試工作，每個環節都離不開數據。因此合理有效的時間設計可以為各個項目階段添磚加瓦。數據遷移工作時間包括了數據清理時間、數據確認時間以及數據上線時間。時間節點把握需要抓緊不抓松，緊前不緊後。

Where：遷移地點

數據遷移無非是從舊系統遷移到新系統，不過需要考慮其他的配套系統，不同系統中間的數據交互關係需要提前進行確認。

How：遷移方式

數據遷移方式基本就是舊系統的導出到新系統的導入，工具從手工配置、EXCEL、LSMW、萬能工具導入、到資料庫導入等不勝枚舉，關鍵是看哪種工具能實現簡便高效地導入導出數據。如果兩個或多個系統之間有介面關聯，還可以通過介面傳輸的方式遷移數據。

雖然說，好的計劃是成功的一半，但是在執行過程中總會遇到各類問題，在這個過程中就要根據需要對計划進行合理的調整，比如時間調整、數據導入方式的調整等。

計劃定好了，數據工作又需要如何開展呢？

數據遷移簡單說來也只有三步動作：數據收集、數據轉換、數據導入。

數據收集常出現的問題是，數據存在差異且信息混亂。

這個問題通常出現在動態數據的收集上。由於前端業務的不規範操作，導致原系統中存在業財數據不一致的情況。所以在收集數據之前，要做到以下幾步：

1. 提前定好數據規則，通知財務人員清理數據差異
2. 設定單據凍結期，在凍結期間不允許發起單據，對於歷史數據要提前清理完畢，避免在數據切換過渡期間仍存在差異
3. 業務數據和財務數據要進行一一比對，避免將數據差異帶入新系統

數據收集上來後，並不能立即就導入新系統，因為新舊系統之間也存在著規則差異，所以數據遷移的工作還需要進行數據轉換。

數據轉換包括了數據編碼的轉換、欄位邏輯的轉換。新系統總是有自己的一套規則，可能與舊的系統制定同樣的邏輯，但也可能完全變了個樣。所以在數據轉換之前，需要先了解舊系統與新系統之間數據邏輯的區別，以及舊規則與新規則之間的聯繫。只有找到這個聯繫點，才能進行準確的轉換。

由於轉換工作比較麻煩，建議在收集數據前，先確定好導入系統的模板欄位及欄位的定義，便於提前做好準備，比如從舊系統導出的模板可先按導入模板做好整理，減少後期的轉換量。除此以外，一定要確認好編碼的轉換規則是否正確且唯一。一個項目的開展往往是持續且不斷調整的，編碼的規則也可能隨之變化，尤其是處於跨系統、跨模塊的項目，更需要對編碼規則進行統一，只有完全確認規則是無誤的，才能進行數據轉換，否則到頭來也只是做無用功。

當所有需要的數據都按新規則進行轉換了之後，數據轉換工作就結束了嗎？並不是。目前的轉換還只是基於模板和規則的轉換，我們並不清楚是否真的轉換正確了，是否真的能在新系統中進行應用。所以在導入新系統之前，我們要對數據進行測試環境的模擬導入。

模擬導入就跟照妖鏡一樣，一照就能暴露導入數據的問題：格式有誤、編碼錯誤、表間數據缺失等情況，這個時候數據就得「回爐重造」了。當數據調整之後再次模擬導入時，系統沒再報錯也不能掉以輕心。成功導入只是第一步，我們還需要考驗導入的數據是否真的能應用。

拿未清的借款單來說，我們將借款單導入新系統是為了用戶在新系統中能夠將借款單沖銷掉。首先，未清借款單是已經結算完且已生成憑證的，那麼在測試系統中就需要驗證這些單據是否已經結算完成，是否還會出現支付的情況；其次，未清借款是用於沖銷的單據，那在測試系統中還需要測試這些單據是否可做沖銷，包括現金返納和發票返納的業務場景都需要進行驗證。簡單來說，動態數據的導入，需要驗證其準確性和應用性，提前了解數據的應用場景，經過上下游驗證的數據才能真正導入正式系統。

綜上為一點，其實就是一句話：提前計劃，周密準備，多多了解，完整驗證。