$ ls ./dir_with_huge_amount_of_files/errors/
ディレクトリがUNIXタイムスタンプのある画像でいっぱいだとすると、多くの場合、多くのGBまたはそれ以上で測定されます。のようなシェルコマンドls
は、数百万(またはそれ以上)の画像で動作するように設計されていないため、オーバーフロースタイルの警告が表示されます。このような大量のファイルをどのように管理できますか?たとえば、(名前と作成時刻のタイムスタンプに基づいて)真ん中の画像を検索したい場合、組み込みの検索機能を提供するファイルシステムはありますか?どのコマンドを使用しますか?私は快適にしようとしたls
し、find
必要なフラグ付きですが、それらは非常に遅いか生成された警告のいずれかでした。基本的に、写真のiノードを時系列に配置するための配列が1つ必要です。どうやってするか?その後、unixタイムスタンプを含むメタデータを追加できます。
[更新]
現在の回答には深刻な欠陥があり、人々は経験的なテストなしに、ある種の回答を投稿するだけです。彼らが提案をテストした場合、おそらく失敗するでしょう。したがって、サンドボックスを作成して膨大な量のファイルを作成し、1e7の量のファイルのように提案をテストできるコマンドラインツールを作成しました。ファイルの生成には時間がかかることがありますので、しばらくお待ちください。誰かがこれを行うためのより速い方法を知っている場合は、コードを編集してください。入力python code.py --help
してヘルプを表示します。楽しんで!
多くのdirredファイルを作成するための使用例
$ ls ./data2
ls: ./data2: No such file or directory
$ python testFill.py -n 3 -d 7
$ tree data2/
data2/
|-- 0
| |-- 1302407302636973
| |-- 1302407302638022
| `-- 1302407302638829
|-- 1
| |-- 1302407302639604
| |-- 1302407302641652
| `-- 1302407302642399
|-- 2
| |-- 1302407302643158
| |-- 1302407302645223
| `-- 1302407302646026
|-- 3
| |-- 1302407302646837
| |-- 1302407302649110
| `-- 1302407302649944
|-- 4
| |-- 1302407302650771
| |-- 1302407302652921
| `-- 1302407302653685
|-- 5
| |-- 1302407302654423
| |-- 1302407302656352
| `-- 1302407302656992
`-- 6
|-- 1302407302657652
|-- 1302407302659543
`-- 1302407302660156
7 directories, 21 files
コードtestFill.py
# Author: hhh
# License: ISC license
import os, math, time, optparse, sys
def createHugeAmountOfFiles(fileAmount, dirAmount):
counter = 0
DENSITY = 1e7
dir = "./data/"
do = dir+str(counter)+"/"
while (os.path.exists(do)):
counter = counter+1
do = dir+str(counter)+"/"
os.mkdir(do)
for d in range(int(dirAmount)):
for f in range(int(fileAmount)):
timeIt = int(time.time()*1e6)
if (not os.path.exists(do)):
os.mkdir(do)
if (timeIt % DENSITY == 0):
counter = counter+1
do = dir+str(counter)+"/"
if (not os.path.exists(do)):
os.mkdir(do)
do = dir+str(counter)+"/"
if(not os.path.exists(do)):
os.mkdir(do)
f = open(do+str(timeIt), 'w')
f.write("Automatically created file to test Huge amount of files.")
f.close()
counter = counter +1
def ls(dir):
for root, dirs, files in os.walk("./data/"+dir):
print(files)
def rm(dir):
for root, dirs, files in os.walk("./data/"+dir):
for f in files:
os.remove("./data/"+dir+"/"+f)
def parseCli():
parser = optparse.OptionParser()
parser.add_option("-f", "--file", dest="filename",
help="Location to remove files only in ./Data.", metavar="FILE")
parser.add_option("-n", "--number", dest="number",
help="Number of files to generate", metavar="NUMBER")
parser.add_option("-r", "--remove", dest="remove",
help="Data -dir content to remove", metavar="NUMBER")
parser.add_option("-d", "--dir", dest="dir",
help="Amount of dirs to generate", metavar="NUMBER")
parser.add_option("-q", "--quiet",
action="store_false", dest="verbose", default=True,
help="don't print status messages to stdout")
return parser.parse_args()
def main():
(options, args) = parseCli()
if (options.filename):
ls(options.filename)
if (options.number and options.dir):
createHugeAmountOfFiles(options.number, options.dir)
if (options.remove):
rm(options.remove)
main()
a/b/abcdef.jpg