500GB 的資料庫怎麼發送給客戶?
想了幾個辦法都不靠譜:
A 上傳到伺服器,需要300小時,而且也沒有那麼大的伺服器。B 刻DVD光碟,需要100多張光碟,我的刻錄機要冒煙了。。。C 買個1TB的硬碟,拷好了順風快遞給客戶,擔心摔壞了。。。
《計算機網路》第一章就說了:不要低估一輛載滿磁帶飛奔的貨車的帶寬。
本答案僅從野戰派角度描述了大數據傳輸的一種方式
如果希望看到技術方面的答案,強烈推薦@田競 和@kinglon 的答案@田競:http://www.zhihu.com/question/20541947/answer/15453338@kinglon:http://www.zhihu.com/question/20541947/answer/15467145------推薦分隔線
我們公司的資料庫很大,因為客戶是國企,壟斷行業的頭把交椅,按照不同省份不同地市做數據,每年的預算編製表、竣工決算表都非常非常多。一套資料庫備份下來以 TB 計算。
所以在集中預算編製這種非常時期,網路傳輸就是個菜……一般我們都是派兩個高 Level 的同事,簽下責任書和保密協議,帶著至少兩套裝數據的硬碟,用最安全的方式去帝都,一般就是飛機了
anyway
別用快遞,丟了之後,責任你理不清,並且快遞一套資料庫,也太不專業了吧?走網路的可以歇歇了,先不說南北互聯的速度問題,光是傳遞後的數據校驗就麻煩得一B,不考慮
光碟那個,刻錄起來你自己覺得麻煩是吧?最後拿到客戶手裡,恢復資料庫更麻煩,這純屬找抽------補充分隔線
數據安全並非單純的硬體安全,是否有安全感完全取決於客戶的主觀感受,技術上的方案很多,很 geek ,但說真的,都比不上親手送到的那種踏實和信任加密放進移動硬碟然後走快遞即可。冗餘備份的意義很小,因為只要妥善包裝,硬碟在郵寄中損壞的概率極低極低。。。
各位同學都是太過於低估硬碟的抗震能力了。如果硬碟真的不抗震,難道每個人都只能使用當地生產的硬碟么?各位手頭上購買的硬碟又都是怎麼運輸過來的?
信不過自己包裝的人,可以用一個簡單的辦法:
1,到淘寶網購一塊硬碟。2,商家用什麼包裝給你寄過來的,就原樣包裝寄給你的客戶。註:硬碟僅僅在開機通電工作狀態才脆弱。在斷電狀態的硬碟抗震能力不低於大多數其他電子產品。工包的藍光刻錄機現在300塊淘寶就能淘一個,
要是想用得長久些600塊買行貨。50G的BD-R行貨14塊不到,淘一桶。全下來450~750左右成本。10張盤,基本杜絕快遞傳遞時的折損可能。要麼就600塊買一個1TB的移動硬碟(東芝或者西數的小黑,不要買廉價品牌的)。拷好數據後按原包裝方式裝回盒子里。本身移動硬碟就更禁得住折騰,外包裝里的保護/固定/緩衝插件也能二次降低風險成本。以下是目前為止,經過多次論證的最安全,最可靠,成本最低的方法了。
其中成本最高的部分是移動硬碟和快遞費用。1、新建一個PGPKEY,用此KEY建立一個600GB的PGP加密盤,把資料庫存進去。(第一重加密)
2、把該盤使用中文密碼,用RAR壓縮。(第二重加密)3、準備1塊以上的移動硬碟(移動硬碟防震效果好些),各存到每塊硬碟裡面.(雙備份保險)4、用泡泡紙包好,裝在小盒子里,叫順豐或聯邦快遞寄過去。5、使用剛才的中文密碼把PGPKEY加密後,通過郵件發給對方。6、使用簡訊把中文密碼發給對方。FAQ:
1、用順豐或聯邦的快遞是比較安全可靠的,兩塊移動硬碟同時損壞的可能性很低,就算你非常不走運,兩塊硬碟同時壞了,你重複一次上面的步驟,再寄一次,也就幾百塊錢,加一天的功夫,性價比非常高。2、光碟是非常不可靠的一種方式,處理起來麻煩,而且容易壞。
3、TO@曹夢迪的買倆硬碟加快遞的錢夠買張機票自己過去了……
(1)、以當前希捷1TB硬碟 460元為例,兩塊硬碟,也就920
(2)、快遞費用,我算他100元跑國內吧,加起來也就1020元。(3)、以當前深圳飛北京機票均價1400,來回2800來算。(4)、以你月薪只有3000元來算,來回從公車,住1晚上7天來算,那麼工資就是3000/22.5*2,坐四次機場大吧,加公車來回至少也要100塊左右。(5)、以以上的硬碟可以重複使用來說。(6)、……綜上所述,買倆硬碟加快遞的錢絕對不夠你買張機票來回自己過去。這麼大的數據量,限於成本考慮或者其它限制,無法臨時/長期租用高帶寬的上行和下行電子線路,只剩下傳統存儲設備的物理傳遞了。
大學時的計算機網路課程的老師,打過一個粗糙的比方,大概意思是帶寬最大的網路,是一搜裝滿大容量硬碟的集裝箱運輸船。雖然這個網路的缺陷是延時巨大,但確實,帶寬優勢無與倫比。
所有的回答中,只有 @劉佳 和 @Thyme 順帶提到了加密。這其實是一個如何利用非可靠(傳輸介質可靠和信息安全可靠)網路傳遞信息的問題。對於這個問題,冗餘和加密都是使用了很久的解決思路了。
這條思路的前提是,儘可能排除非穩定的人的因素,所以也無法考慮在一些評論中提到的,用高級別人員親自上門,作為體現對客戶重視的服務行為等因素。
具體到措施,綜合考慮性價比後,無礙乎:- 大容量移動硬碟3塊,存儲資料庫。移動硬碟本身使用文件系統層證書加密(Windows的NTFS,Linux的EXT,OSX的HFS都支持,本身說明這個需求是很普遍的),或者像 @劉佳 和 @Thyme提到的,利用壓縮工具的密碼保護。對數據安全非常憂慮的,還可以配合文件簽名,用來進一步校驗數據完整性。
- 秘鑰文件或者密碼在組織授權,鑒定過對方接收人員的身份/組織信息後,利用網路中的各種加密傳輸技術(VPN,HTTPS等等),交到接收方那裡。
- 每塊移動硬碟,或走不同的快遞服務商,或分批次,或兼而有之,用快件發出。
- 接收到移動硬碟後,使用密鑰或者密碼取出文件,有文件簽名的,再校驗簽名。全部通過後,就算傳輸完成了。
看了一下該問題下的所有答案,發現俺也許還能補充兩句,不習慣寫短答案,那麼就仔細說說吧:
500G的數據不算很大,家用帶寬下載下來也就一兩周的事兒,所以用網路傳輸並非不可行。
1 資料庫文件在平時使用雲盤同步功能,隨時隨地上傳,而且支持增量上傳,只要平時工作做到了,雲端資料庫隨時都是最新的。
2 平時不同步,上傳速度會非常慢,所以直接找一家帶寬大的網吧上傳更合適。現在很多城市都有千兆帶寬的網吧了,500G的數據可以在兩個小時內上傳完畢,一小時內下載完成。如果能用兩個人去兩家網吧分別上傳一半,那效率就更高了。
3 很多人都說用快遞,但沒說清楚這塊硬碟要怎麼辦,難道1T的硬碟就直接給人家了?實際操作可以這樣:買一塊新硬碟(目前主流容量1-2T),然後把單位的舊硬碟(160-1000G)清空了裝好東西,裝進新硬碟的包裝盒裡給人家郵過去。皆大歡喜。512G的固態硬碟還比較貴,跟機票差不多了,不值。
4 磁帶是個好東西,安全性比較高,如果對方可以讀那可以考慮。不過如果自己單位沒有磁帶機那成本(主要是財務行政所導致的時間成本,經濟成本可能反而並不高)就不划算了。可以找有磁帶機的地方現灌磁帶(兄弟單位、電腦城等場所),免去重新購置設備的煩勞。
5 如果想用快遞,但又想再快一些怎麼辦?也有辦法,你可以去機場、火車站找這些地方的乘務人員幫你攜帶,給人家接頭人的電話和少許好處費,一般都會幫這個忙。缺點是雙方的人都得到對點的車站或飛機場。當然在這些單位如果有認識的人那就更完美了。
6 如果需要經常性的傳輸同步數據,而且保密級別較高,可以找電信企業開通一根VPN專線,隨時同步,方便可靠。甚至比派人親自帶過去安全性還高。有一種東西叫做 Truck-based Replication別說 1T, 1E 都沒問題。
異地同時聯繫當地的 IDC,請他們幫忙發送,收錢給錢,收禮給禮。這麼做相當於按需購買帶寬,目前沒有成熟的業務,但有好處的事 IDC 也不會拒絕的。所需交通費也是市內交通費用。風險嘛,肯定比介質不在身邊的方案安全。
強烈反對派人去的做法。現在交通住宿都是實名的,一旦人員變動行程取消,違約金都開不了發票報不了銷,只能讓員工吃啞巴虧。我不會告訴你,用磁帶。不是硬碟
資料庫大小 不等於 數據大小。。
一個運行了一段時間的資料庫,會產品諸如碎片、空間申請了不用、不用的空間不釋放等空間利用問題,這種現象在業務頻繁的資料庫上尤為明顯。根據以往的經驗,一個500G的資料庫,經導出、壓縮後不會超過200G。。
如果是這種情況,跟機房提供商、管理者打聲招呼,申請臨時加大帶寬,提個十倍、幾十倍的,文件刷一下就過去了。
還有,如果是走網路,建議將大文件分成若干份,這樣既靈活又方便驗證、加密。首先……
500G=500*1024M=500*1048576KB=500*1073741824B=500*1073741824*8b=4294967296000b也就是說,如果將500G的數據以二進位連續的形式寫下來,這會是一個擁有4294967296000位的常數。那麼,首先將這個二進位數記下來。然後,找一張白色的定長紙條,在這個紙條上畫上等分刻度以方便計量,第一個刻度為0,最後一個刻度為0.2
第三步,將那個4294967296000位的二進位數當作一個十進位數來看待,在其之前添加一個0和小數點。那麼這個十進位要麼是0.0xxxxxx要麼是0.1xxxxxx,也就是說一定在0到0.2區間之內。最後,拿出你的尺子精確測量紙條並將紙條當作數軸,在上面點出以十進位計算的那個4294967296000位數的精確位置。於是,你可以把這張紙條平郵給你的用戶了。對方只要測量出第一刻度線到標記點的精確位置,去掉頭部的小數點和零,然後手工輸入這個4294967296000位數即可。其實買個SSD順豐過去就能解決了
試試這個新技術?30秒傳24GB。不過我看了半天沒看懂怎麼實現的……
IBM將收購大文件傳輸技術公司Aspera 布局大數據
Aspera的技術能讓較大規模的文檔數據以較快速率傳輸——如通常需要26小時將一份體積為24GB的文檔傳輸至世界的另一端,而Aspera能做到只需30秒。Aspera將其技術命名為fasp,旨在解決當前寬頻網路的瓶頸問題。Aspera當前客戶也包括了視頻服務商,如Netflix和環球影業等。
題主,我給你講個故事吧:
一個外星人偶然來到了地球,覺得地球很有意思,想帶資料回去。但是因為是偶然來的,自己的飛船不夠大,不可能放下很多樣本。於是外星人找到了一套大英百科全書,覺得這個很好,準備帶回去。但是發現那還不行,因為那一套太多了,還是太重了。外星人就把字母全部用數字代替,於是外星人得到了一串長長的數字,通過飛船的計算機全部按照百科全書順序排列好後準備帶走,但是外星人又發現飛船上的計算機還要存儲很多畫面和視頻,那串大英百科全書數字太長了,佔了很多硬碟空間——我們假設外星技術也需要硬碟。那怎麼辦呢?外星人就測量了自己飛船精確的長度後,把飛船假設為1。又把那串長長的『大英百科數字』按照小數點後的模式,參照飛船長度,在飛船外殼上某處刻了很小的一個點。於是外星人回去了,他只刻了一個點,卻帶走了大英百科全書。回去只要測量出飛船的長度,再找到那個點在飛船上的位置……
——《天才在左 瘋子在右》高銘
7-8年前經常攜帶100G數據全國跑的人路過。人帶著放著數據的硬碟是最值得信賴的。
還是用硬碟最合適,怕摔壞可以買個512G的固態盤。其實現在常見的防震移動硬碟一般摔不壞,包裝的時候注意點就好了。
參與策划過一個類似項目,某網盤業務的數據遷移到近用戶的地方,18TB數據。
拷貝到6*2塊3Tb的硬碟里,然後某產品經理親自帶著一箱硬碟坐飛機過去然後直接奔機房……
話說到最後都不知道他出海關的時候怎麼被認為不是走私硬碟……1T移動硬碟+加密+抗震包裝+順豐 if 客戶不在乎
移動硬碟天生為了移動, 快遞一般不會損壞。
winrar用20位的密碼估計誰也破解不了。選winrar是因為簡單而且安全, 壓縮可以選"僅存儲", 這樣速度就快了.其他加密軟體如果客戶會用當然也可以.買個硬碟,copy數據,
再買一個三防硬碟保護殼真擔心摔壞,買4個128GB的u盤………推薦閱讀:
※冰咖啡是直接在濃縮咖啡裡面加水加冰塊嗎?
※古人能夠通過內功逼毒,若此為真,是否可通過內功排除宿便?
※為什麼用食指指著一個人的額頭中心,那個人會感覺到不適?即使被指的人閉著眼睛?
※有什麼關於天津的冷知識?
※眼睛 總能看到的漂浮物(線狀的) 到底是什麼?