小文件複製與刪除有什麼快速方法?
01-05
上百萬的文件分布在數百個文件夾中,如何快速的複製,刪除?
目前刪除約60萬文件,右鍵刪除提示是7個小時左右,使用rmdir /s /q c:foldername命令需要數十分鐘。
1、確保整塊硬碟只有你要複製的小文件,可用尺寸盡量縮小為02、準備另一塊硬碟3、複製image
方法一:
換固態盤方法二:
用ramdisk把內存映射為磁碟存儲小文件內存檔還可以在關機時將其持久化到硬碟上,開機時復原。這樣就解決所有問題了,還不用換ssd方法三:優化下輪子哥的方法,只需要建一個專門用來存這批東西的分區,需要複製時ghost整個分區,需要刪除時直接快速格式化…我用fuse寫過一個用戶態文件系統,底層的存儲引擎用的TerarkDB。就是專門針對存儲這種大量小文件的。真正落實到磁碟上都是以大文件存儲的。而且壓縮率也很高,就是還沒經歷過工業界的實戰…
複製的話可以用ghost,不壓縮備份解壓嗷嗷快。
刪除考慮不可恢復的話都快不了。要方便還是刪了盤符重建分區刪除的話找到一個帖子linux刪除大量文件的6種方法 - CodeWeblog.com未測試,看起來挺可行的樣子。複製的話準備試一下Robocopy,聽說多線程複製挺快
打個不壓縮的包再拷貝算不
看題目應該是問windows平臺的快速文件操作,最快捷的思路自然是批量塊操作,而不是逐個文件的查找塊文件,所以才有人說整體複製。
但實際情況複雜,這並不靠譜,我的理解,indexing service能加速這類操作。
Using Indexing Service with File Systems
現在應該升級到了, windows search
https://msdn.microsoft.com/en-us/library/aa965362(v=vs.85).aspx和 Microsoft Search Server Express
Microsoft Search Server 2010 Expressvhd啊
備份的話:sysinternal 系列有個 disk2vhd ,不管大文件小文件,備份整個分區速度杠杠的。可以在內存檔裡面跑吧⊙︿⊙
naive 我有1億多個小文件,1k到10m不等。刪除嘛就寫代碼多線程擼了,沒有好辦法。
借一塊SSD,把硬碟完整鏡像過去。到SSD上把小文件的複製和刪除弄完,再鏡像回原硬碟。
用fastcopy
百萬種子可以解析成磁力鏈接,然後char格式存資料庫就行了
只有我好奇是什麼文件嗎?
你們都是一根筋么?為啥不逆向思維?
把大文件拷貝出來,格式化!分分鐘搞定!第一個想到的不應該是磁碟碎片整理嗎?
推薦閱讀:
※Windows 換行符為什麼設計成 CR+LF?
※為什麼 Windows 在刪除正在使用的文件時會提示「文件已在 XX 中打開」並拒絕刪除,而安卓不會?
※為什麼 Windows 10 計算器應用中含開方計算結果不準確?
※聽說很多微軟員工自己不用 Windows,是真的嗎?
TAG:程序員 | MicrosoftWindows | 數據刪除 | 深度學習DeepLearning |