500GB 的資料庫怎麼發送給客戶?

想了幾個辦法都不靠譜:

A 上傳到伺服器,需要300小時,而且也沒有那麼大的伺服器。

B 刻DVD光碟,需要100多張光碟,我的刻錄機要冒煙了。。。

C 買個1TB的硬碟,拷好了順風快遞給客戶,擔心摔壞了。。。


《計算機網路》第一章就說了:不要低估一輛載滿磁帶飛奔的貨車的帶寬。


本答案僅從野戰派角度描述了大數據傳輸的一種方式

如果希望看到技術方面的答案,強烈推薦@田競 和@kinglon 的答案

@田競:http://www.zhihu.com/question/20541947/answer/15453338

@kinglon:http://www.zhihu.com/question/20541947/answer/15467145

------推薦分隔線

我們公司的資料庫很大,因為客戶是國企,壟斷行業的頭把交椅,按照不同省份不同地市做數據,每年的預算編製表、竣工決算表都非常非常多。一套資料庫備份下來以 TB 計算。

所以在集中預算編製這種非常時期,網路傳輸就是個菜……一般我們都是派兩個高 Level 的同事,簽下責任書和保密協議,帶著至少兩套裝數據的硬碟,用最安全的方式去帝都,一般就是飛機了

anyway

別用快遞,丟了之後,責任你理不清,並且快遞一套資料庫,也太不專業了吧?

走網路的可以歇歇了,先不說南北互聯的速度問題,光是傳遞後的數據校驗就麻煩得一B,不考慮

光碟那個,刻錄起來你自己覺得麻煩是吧?最後拿到客戶手裡,恢復資料庫更麻煩,這純屬找抽

------補充分隔線

數據安全並非單純的硬體安全,是否有安全感完全取決於客戶的主觀感受,技術上的方案很多,很 geek ,但說真的,都比不上親手送到的那種踏實和信任


加密放進移動硬碟然後走快遞即可。冗餘備份的意義很小,因為只要妥善包裝,硬碟在郵寄中損壞的概率極低極低。。。

各位同學都是太過於低估硬碟的抗震能力了。如果硬碟真的不抗震,難道每個人都只能使用當地生產的硬碟么?各位手頭上購買的硬碟又都是怎麼運輸過來的?

信不過自己包裝的人,可以用一個簡單的辦法:

1,到淘寶網購一塊硬碟。

2,商家用什麼包裝給你寄過來的,就原樣包裝寄給你的客戶。

註:硬碟僅僅在開機通電工作狀態才脆弱。在斷電狀態的硬碟抗震能力不低於大多數其他電子產品。


工包的藍光刻錄機現在300塊淘寶就能淘一個,

要是想用得長久些600塊買行貨。

50G的BD-R行貨14塊不到,淘一桶。

全下來450~750左右成本。

10張盤,基本杜絕快遞傳遞時的折損可能。

要麼就600塊買一個1TB的移動硬碟(東芝或者西數的小黑,不要買廉價品牌的)。

拷好數據後按原包裝方式裝回盒子里。

本身移動硬碟就更禁得住折騰,外包裝里的保護/固定/緩衝插件也能二次降低風險成本。


以下是目前為止,經過多次論證的最安全,最可靠,成本最低的方法了。

其中成本最高的部分是移動硬碟和快遞費用。

1、新建一個PGPKEY,用此KEY建立一個600GB的PGP加密盤,把資料庫存進去。(第一重加密)

2、把該盤使用中文密碼,用RAR壓縮。(第二重加密)

3、準備1塊以上的移動硬碟(移動硬碟防震效果好些),各存到每塊硬碟裡面.(雙備份保險)

4、用泡泡紙包好,裝在小盒子里,叫順豐或聯邦快遞寄過去。

5、使用剛才的中文密碼把PGPKEY加密後,通過郵件發給對方。

6、使用簡訊把中文密碼發給對方。

FAQ:

1、用順豐或聯邦的快遞是比較安全可靠的,兩塊移動硬碟同時損壞的可能性很低,就算你非常不走運,兩塊硬碟同時壞了,你重複一次上面的步驟,再寄一次,也就幾百塊錢,加一天的功夫,性價比非常高。

2、光碟是非常不可靠的一種方式,處理起來麻煩,而且容易壞。

3、TO@曹夢迪的買倆硬碟加快遞的錢夠買張機票自己過去了……

(1)、以當前希捷1TB硬碟 460元為例,兩塊硬碟,也就920

(2)、快遞費用,我算他100元跑國內吧,加起來也就1020元。

(3)、以當前深圳飛北京機票均價1400,來回2800來算。

(4)、以你月薪只有3000元來算,來回從公車,住1晚上7天來算,那麼工資就是3000/22.5*2,坐四次機場大吧,加公車來回至少也要100塊左右。

(5)、以以上的硬碟可以重複使用來說。

(6)、……

綜上所述,買倆硬碟加快遞的錢絕對不夠你買張機票來回自己過去。


這麼大的數據量,限於成本考慮或者其它限制,無法臨時/長期租用高帶寬的上行和下行電子線路,只剩下傳統存儲設備的物理傳遞了。

大學時的計算機網路課程的老師,打過一個粗糙的比方,大概意思是帶寬最大的網路,是一搜裝滿大容量硬碟的集裝箱運輸船。雖然這個網路的缺陷是延時巨大,但確實,帶寬優勢無與倫比。

所有的回答中,只有 @劉佳 和 @Thyme 順帶提到了加密。這其實是一個如何利用非可靠(傳輸介質可靠和信息安全可靠)網路傳遞信息的問題。對於這個問題,冗餘和加密都是使用了很久的解決思路了。

這條思路的前提是,儘可能排除非穩定的人的因素,所以也無法考慮在一些評論中提到的,用高級別人員親自上門,作為體現對客戶重視的服務行為等因素。

具體到措施,綜合考慮性價比後,無礙乎:

  1. 大容量移動硬碟3塊,存儲資料庫。移動硬碟本身使用文件系統層證書加密(Windows的NTFS,Linux的EXT,OSX的HFS都支持,本身說明這個需求是很普遍的),或者像 @劉佳 和 @Thyme提到的,利用壓縮工具的密碼保護。對數據安全非常憂慮的,還可以配合文件簽名,用來進一步校驗數據完整性。

  2. 秘鑰文件或者密碼在組織授權,鑒定過對方接收人員的身份/組織信息後,利用網路中的各種加密傳輸技術(VPN,HTTPS等等),交到接收方那裡。

  3. 每塊移動硬碟,或走不同的快遞服務商,或分批次,或兼而有之,用快件發出。
  4. 接收到移動硬碟後,使用密鑰或者密碼取出文件,有文件簽名的,再校驗簽名。全部通過後,就算傳輸完成了。


看了一下該問題下的所有答案,發現俺也許還能補充兩句,不習慣寫短答案,那麼就仔細說說吧:

500G的數據不算很大,家用帶寬下載下來也就一兩周的事兒,所以用網路傳輸並非不可行。

1 資料庫文件在平時使用雲盤同步功能,隨時隨地上傳,而且支持增量上傳,只要平時工作做到了,雲端資料庫隨時都是最新的。

2 平時不同步,上傳速度會非常慢,所以直接找一家帶寬大的網吧上傳更合適。現在很多城市都有千兆帶寬的網吧了,500G的數據可以在兩個小時內上傳完畢,一小時內下載完成。如果能用兩個人去兩家網吧分別上傳一半,那效率就更高了。

3 很多人都說用快遞,但沒說清楚這塊硬碟要怎麼辦,難道1T的硬碟就直接給人家了?實際操作可以這樣:買一塊新硬碟(目前主流容量1-2T),然後把單位的舊硬碟(160-1000G)清空了裝好東西,裝進新硬碟的包裝盒裡給人家郵過去。皆大歡喜。512G的固態硬碟還比較貴,跟機票差不多了,不值。

4 磁帶是個好東西,安全性比較高,如果對方可以讀那可以考慮。不過如果自己單位沒有磁帶機那成本(主要是財務行政所導致的時間成本,經濟成本可能反而並不高)就不划算了。可以找有磁帶機的地方現灌磁帶(兄弟單位、電腦城等場所),免去重新購置設備的煩勞。

5 如果想用快遞,但又想再快一些怎麼辦?也有辦法,你可以去機場、火車站找這些地方的乘務人員幫你攜帶,給人家接頭人的電話和少許好處費,一般都會幫這個忙。缺點是雙方的人都得到對點的車站或飛機場。當然在這些單位如果有認識的人那就更完美了。

6 如果需要經常性的傳輸同步數據,而且保密級別較高,可以找電信企業開通一根VPN專線,隨時同步,方便可靠。甚至比派人親自帶過去安全性還高。


有一種東西叫做 Truck-based Replication

別說 1T, 1E 都沒問題。


異地同時聯繫當地的 IDC,請他們幫忙發送,收錢給錢,收禮給禮。這麼做相當於按需購買帶寬,目前沒有成熟的業務,但有好處的事 IDC 也不會拒絕的。所需交通費也是市內交通費用。風險嘛,肯定比介質不在身邊的方案安全。

強烈反對派人去的做法。現在交通住宿都是實名的,一旦人員變動行程取消,違約金都開不了發票報不了銷,只能讓員工吃啞巴虧。


我不會告訴你,用磁帶。不是硬碟


資料庫大小 不等於 數據大小。。

一個運行了一段時間的資料庫,會產品諸如碎片、空間申請了不用、不用的空間不釋放等空間利用問題,這種現象在業務頻繁的資料庫上尤為明顯。

根據以往的經驗,一個500G的資料庫,經導出、壓縮後不會超過200G。。

如果是這種情況,跟機房提供商、管理者打聲招呼,申請臨時加大帶寬,提個十倍、幾十倍的,文件刷一下就過去了。

還有,如果是走網路,建議將大文件分成若干份,這樣既靈活又方便驗證、加密。


首先……

500G=500*1024M

=500*1048576KB

=500*1073741824B

=500*1073741824*8b

=4294967296000b

也就是說,如果將500G的數據以二進位連續的形式寫下來,這會是一個擁有4294967296000位的常數。

那麼,首先將這個二進位數記下來。

然後,找一張白色的定長紙條,在這個紙條上畫上等分刻度以方便計量,第一個刻度為0,最後一個刻度為0.2

第三步,將那個4294967296000位的二進位數當作一個十進位數來看待,在其之前添加一個0和小數點。那麼這個十進位要麼是0.0xxxxxx要麼是0.1xxxxxx,也就是說一定在0到0.2區間之內。

最後,拿出你的尺子精確測量紙條並將紙條當作數軸,在上面點出以十進位計算的那個4294967296000位數的精確位置。

於是,你可以把這張紙條平郵給你的用戶了。對方只要測量出第一刻度線到標記點的精確位置,去掉頭部的小數點和零,然後手工輸入這個4294967296000位數即可。


其實買個SSD順豐過去就能解決了


試試這個新技術?30秒傳24GB。不過我看了半天沒看懂怎麼實現的……

IBM將收購大文件傳輸技術公司Aspera 布局大數據

Aspera的技術能讓較大規模的文檔數據以較快速率傳輸——如通常需要26小時將一份體積為24GB的文檔傳輸至世界的另一端,而Aspera能做到只需30秒。Aspera將其技術命名為fasp,旨在解決當前寬頻網路的瓶頸問題。Aspera當前客戶也包括了視頻服務商,如Netflix和環球影業等。


題主,我給你講個故事吧:

一個外星人偶然來到了地球,覺得地球很有意思,想帶資料回去。但是因為是偶然來的,自己的飛船不夠大,不可能放下很多樣本。於是外星人找到了一套大英百科全書,覺得這個很好,準備帶回去。但是發現那還不行,因為那一套太多了,還是太重了。外星人就把字母全部用數字代替,於是外星人得到了一串長長的數字,通過飛船的計算機全部按照百科全書順序排列好後準備帶走,但是外星人又發現飛船上的計算機還要存儲很多畫面和視頻,那串大英百科全書數字太長了,佔了很多硬碟空間——我們假設外星技術也需要硬碟。那怎麼辦呢?外星人就測量了自己飛船精確的長度後,把飛船假設為1。又把那串長長的『大英百科數字』按照小數點後的模式,參照飛船長度,在飛船外殼上某處刻了很小的一個點。於是外星人回去了,他只刻了一個點,卻帶走了大英百科全書。回去只要測量出飛船的長度,再找到那個點在飛船上的位置……

——《天才在左 瘋子在右》高銘


7-8年前經常攜帶100G數據全國跑的人路過。人帶著放著數據的硬碟是最值得信賴的。


還是用硬碟最合適,怕摔壞可以買個512G的固態盤。

其實現在常見的防震移動硬碟一般摔不壞,包裝的時候注意點就好了。


參與策划過一個類似項目,某網盤業務的數據遷移到近用戶的地方,18TB數據。

拷貝到6*2塊3Tb的硬碟里,然後某產品經理親自帶著一箱硬碟坐飛機過去然後直接奔機房……

話說到最後都不知道他出海關的時候怎麼被認為不是走私硬碟……


1T移動硬碟+加密+抗震包裝+順豐 if 客戶不在乎

移動硬碟天生為了移動, 快遞一般不會損壞。

winrar用20位的密碼估計誰也破解不了。

選winrar是因為簡單而且安全, 壓縮可以選"僅存儲", 這樣速度就快了.

其他加密軟體如果客戶會用當然也可以.


買個硬碟,copy數據,

再買一個三防硬碟保護殼

真擔心摔壞,買4個128GB的u盤………


推薦閱讀:

冰咖啡是直接在濃縮咖啡裡面加水加冰塊嗎?
古人能夠通過內功逼毒,若此為真,是否可通過內功排除宿便?
為什麼用食指指著一個人的額頭中心,那個人會感覺到不適?即使被指的人閉著眼睛?
有什麼關於天津的冷知識?
眼睛 總能看到的漂浮物(線狀的) 到底是什麼?

TAG:資料庫 | 冷知識 | 硬碟 |