小文件複製與刪除有什麼快速方法?

上百萬的文件分布在數百個文件夾中,如何快速的複製,刪除?

目前刪除約60萬文件,右鍵刪除提示是7個小時左右,使用rmdir /s /q c:foldername命令需要數十分鐘。


1、確保整塊硬碟只有你要複製的小文件,可用尺寸盡量縮小為0

2、準備另一塊硬碟

3、複製image


方法一:

換固態盤

方法二:

用ramdisk把內存映射為磁碟存儲小文件

內存檔還可以在關機時將其持久化到硬碟上,開機時復原。這樣就解決所有問題了,還不用換ssd

方法三:

優化下輪子哥的方法,只需要建一個專門用來存這批東西的分區,需要複製時ghost整個分區,需要刪除時直接快速格式化


…我用fuse寫過一個用戶態文件系統,底層的存儲引擎用的TerarkDB。就是專門針對存儲這種大量小文件的。真正落實到磁碟上都是以大文件存儲的。而且壓縮率也很高,就是還沒經歷過工業界的實戰…


複製的話可以用ghost,不壓縮備份解壓嗷嗷快。

刪除考慮不可恢復的話都快不了。要方便還是刪了盤符重建分區


刪除的話找到一個帖子

linux刪除大量文件的6種方法 - CodeWeblog.com

未測試,看起來挺可行的樣子。

複製的話準備試一下Robocopy,聽說多線程複製挺快


打個不壓縮的包再拷貝算不


看題目應該是問windows平臺的快速文件操作,最快捷的思路自然是批量塊操作,而不是逐個文件的查找塊文件,所以才有人說整體複製。

但實際情況複雜,這並不靠譜,我的理解,indexing service能加速這類操作。

Using Indexing Service with File Systems

現在應該升級到了, windows search

https://msdn.microsoft.com/en-us/library/aa965362(v=vs.85).aspx

和 Microsoft Search Server Express

Microsoft Search Server 2010 Express


vhd啊

備份的話:sysinternal 系列有個 disk2vhd ,不管大文件小文件,備份整個分區速度杠杠的。


可以在內存檔裡面跑吧⊙︿⊙


naive 我有1億多個小文件,1k到10m不等。刪除嘛就寫代碼多線程擼了,沒有好辦法。


借一塊SSD,把硬碟完整鏡像過去。到SSD上把小文件的複製和刪除弄完,再鏡像回原硬碟。


用fastcopy


百萬種子可以解析成磁力鏈接,然後char格式存資料庫就行了


只有我好奇是什麼文件嗎?


你們都是一根筋么?為啥不逆向思維?

把大文件拷貝出來,格式化!分分鐘搞定!


第一個想到的不應該是磁碟碎片整理嗎?


推薦閱讀:

Windows 換行符為什麼設計成 CR+LF?
為什麼 Windows 在刪除正在使用的文件時會提示「文件已在 XX 中打開」並拒絕刪除,而安卓不會?
為什麼 Windows 10 計算器應用中含開方計算結果不準確?
聽說很多微軟員工自己不用 Windows,是真的嗎?

TAG:程序員 | MicrosoftWindows | 數據刪除 | 深度學習DeepLearning |