LUKSを使用したオンデマンドの暗号化ボリュームの作成


13

Linuxで、暗号化され、必要に応じて成長するファイルシステムを作成しようとしています。私はLUKSとcryptsetupに精通しています。

空のファイルを作成できます:

fallocate -l 512M /root/image

LUKSコンテナーを作成できます:

cryptsetup -y luksFormat /root/image

そしてそれを「開く」:

cryptsetup luksOpen /root/image luksvolume

この時点で、ファイルシステムを作成できます。

mkfs.ext4 -j /dev/mapper/luksvolume

これはすべてうまく、そしてダンディです。ただし、質問の「オンデマンドでの成長」の部分は扱いません。

アイデアは、暗号化されたファイルシステムで2Gbファイルをコピーすると、イメージを「拡張」して、ファイルを含めるのに十分な大きさになるというものです。

行うことも可能ですか?


そもそもファイルシステムを適切なサイズにして、解決しようとしている問題を教えてください。
Matthew Ife

3
ファイルシステムの大きさがどれほど必要かわからない場合があります。問題は、暗号化されたファイルシステム上に1つのファイルがあり、1)スペース不足を心配することなく、それにスタッフを追加できることです。2)大量の未使用スペースがあることです。さらに、その1つの暗号化されたファイルを別の場所にコピーして再マウントすることができます。
Merc

回答:


21

はい!それは可能であるように見えます。それがどのように達成できるかを確認してみましょう。ファイルシステムがスパースファイルの最大サイズに達したときに、さらにデータを書き込む必要がある場合は、「スペース不足」エラーが報告されるため、これは真のオンデマンドファイルシステムを作成しないことに注意してください。

最初は、仮想化シナリオでストレージスペースを節約するための有名なテクノロジーであるシンプロビジョニングを調査していました。残念ながら、一般的なLinuxの使用例では、LVMでのみ使用できるようです。これはあなたの質問の範囲から少し外れているようで、私は何か他のものを探しました。

私が調査した2番目の概念は、スパースファイルです。これはあなたの質問にぴったりです...私の最初の疑問は次のとおりでした:「OK。スパースファイルを作成できます。ただし、LUKSコンテナーとして初期化するとどうなりますか?そのような初期化により、使用可能なすべてのスペースが割り当てられますか?そうでない場合は、そのようなコンテナでファイルシステムを初期化するとどうなりますか?mkfs.ext4すべての使用可能なスペースが割り当てられますか? " 答えがなかったので、やってみることにしました。何が起こったのか見てみましょう。

ファイルシステム内に3.3Gの空き容量しかない現在のシステムから始めましょう/repository

root@iMac-Chiara:~# df -h /repository
File system     Dim. Usati Dispon. Uso% Montato su
/dev/sda3       275G  258G    3,3G  99% /repository

このようなファイルシステム内に10Gスパースファイルを作成してみましょう。

root@iMac-Chiara:~# dd of=/repository/file_container.img bs=1G count=0 seek=10
0+0 record dentro
0+0 record fuori
0 byte (0 B) copiati, 0,000119606 s, 0,0 kB/s

それを確認しましょう...それは本当にスパースファイルです:

root@iMac-Chiara:~# ls -lh /repository/file_container.img 
-rw-r--r-- 1 root root 10G dic 12 19:48 /repository/file_container.img

OK。したがって、以前は3.3Gの空き領域があったファイルシステムに10Gファイルがあります。まだどのくらいの空き容量がありますか?

root@iMac-Chiara:~# df -h /repository
File system     Dim. Usati Dispon. Uso% Montato su
/dev/sda3       275G  258G    3,3G  99% /repository

まだ3.3G。いいね。スパースファイルは本当に... sparse-file ;-)このような10Gファイル内にLUKSコンテナーを作成して、先に進みましょう。スペースが不足していないか確認してみましょう。

 root@iMac-Chiara:~# losetup /dev/loop0 /repository/file_container.img
 root@iMac-Chiara:~# cryptsetup -y luksFormat /dev/loop0

 WARNING!
 ========
 Ciò sovrascriverà i dati in /dev/loop0 in modo irreversibile.

 Are you sure? (Type uppercase yes): YES
 Inserire la passphrase LUKS: 
 Verify passphrase: 
 root@iMac-Chiara:~# cryptsetup luksOpen /dev/loop0 secretfs
 Inserire la passphrase per /dev/loop0: 
 root@iMac-Chiara:~#

これsecretsで、空きスペースが3.3Gしかないファイルシステムに保存されている10Gスパースファイルの上に、開かれたコンテナーが定義されました。

まだどのくらいの空き容量がありますか?

 root@iMac-Chiara:~# df -h /repository
 File system     Dim. Usati Dispon. Uso% Montato su
 /dev/sda3       275G  258G    3,3G  99% /repository

素晴らしい!まだ3.3GB。私たちの暗号化されたコンテナはほとんどスペースを必要としません!

すべてが問題ないかどうか、またはセットアップに異常があるかどうかを確認してみましょう。

root@iMac-Chiara:~# cryptsetup status secretfs
/dev/mapper/secretfs is active.
  type:    LUKS1
  cipher:  aes-cbc-essiv:sha256
  keysize: 256 bits
  device:  /dev/loop0
  loop:    /repository/file_container.img
  offset:  4096 sectors
  size:    20967424 sectors
  mode:    read/write

すべてが大丈夫のようですので、何かを保存するためにそのようなコンテナを使い始めましょう。その中にEXT4ファイルシステムを作成することから始めましょう:

root@iMac-Chiara:~# mkfs.ext4 /dev/mapper/secretfs 
mke2fs 1.42.5 (29-Jul-2012)
Etichetta del filesystem=
OS type: Linux
Dimensione blocco=4096 (log=2)
Dimensione frammento=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
655360 inodes, 2620928 blocks
131046 blocks (5.00%) reserved for the super user
Primo blocco dati=0
Maximum filesystem blocks=2684354560
80 gruppi di blocchi
32768 blocchi per gruppo, 32768 frammenti per gruppo
8192 inode per gruppo
Backup del superblocco salvati nei blocchi: 
    32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632

Allocating group tables: fatto                           
Scrittura delle tavole degli inode: fatto                           
Creating journal (32768 blocks): fatto
Scrittura delle informazioni dei superblocchi e dell'accounting del filesystem: fatto

root@iMac-Chiara:~#

「スペース不足」のトラックがなかったので、うまくいったようです。確認しよう:

root@iMac-Chiara:~# df -h /repository
File system     Dim. Usati Dispon. Uso% Montato su
/dev/sda3       275G  258G    3,2G  99% /repository

ええと…何かが起こった。EXT4ファイルシステムの作成:私たちは、それが期待される動作です....空間の100Mのようなものを失ったが、DOは、メタデータの多くの書き込みが必要です。したがって、作成プロセスで一部のスペースが使用されているのは正常です。

「機能する」EXT4ファイルシステムですか?

root@iMac-Chiara:~# tune2fs -l /dev/mapper/secretfs
tune2fs 1.42.5 (29-Jul-2012)
Filesystem volume name:   <none>
Last mounted on:          <not available>
Filesystem UUID:          e63321c3-cee7-478d-a6af-cbdcaf1be1f7
Filesystem magic number:  0xEF53
Filesystem revision #:    1 (dynamic)
Filesystem features:      has_journal ext_attr resize_inode dir_index filetype extent flex_bg sparse_super large_file huge_file uninit_bg dir_nlink extra_isize
Filesystem flags:         signed_directory_hash 
Default mount options:    user_xattr acl
Filesystem state:         clean
Errors behavior:          Continue
Filesystem OS type:       Linux
Inode count:              655360
Block count:              2620928
Reserved block count:     131046
Free blocks:              2541265
Free inodes:              655349
First block:              0
Block size:               4096
Fragment size:            4096
Reserved GDT blocks:      639
Blocks per group:         32768
Fragments per group:      32768
Inodes per group:         8192
Inode blocks per group:   512
Flex block group size:    16
Filesystem created:       Sat Dec 12 19:58:05 2015
Last mount time:          n/a
Last write time:          Sat Dec 12 19:58:05 2015
Mount count:              0
Maximum mount count:      -1
Last checked:             Sat Dec 12 19:58:05 2015
Check interval:           0 (<none>)
Lifetime writes:          131 MB
Reserved blocks uid:      0 (user root)
Reserved blocks gid:      0 (group root)
First inode:              11
Inode size:           256
Required extra isize:     28
Desired extra isize:      28
Journal inode:            8
Default directory hash:   half_md4
Directory Hash Seed:      c8b3bf1b-9f05-4267-85d3-2ecfdbaa6dc3
Journal backup:           inode blocks

はい!大丈夫そうです。

これで、3.3Gファイルシステム内に保存された10Gスパースファイルの上に定義された、開かれたLUKSコンテナー内にEXT4ファイルシステムが記述されました。

「オンデマンド」でスペースを割り当てて、すべてが正しく機能するかどうかを確認してみましょう。

暗号化されたFSに500Mのダミーデータを書き込むことから始めましょう

root@iMac-Chiara:~# mkdir /mnt/temp
root@iMac-Chiara:~# mount /dev/mapper/secretfs /mnt/temp
root@iMac-Chiara:~# dd if=/dev/zero of=/mnt/temp/random_data.bin bs=1M count=512
512+0 record dentro
512+0 record fuori
536870912 byte (537 MB) copiati, 2,35214 s, 228 MB/s
root@iMac-Chiara:~#

ファイルの作成に成功しましたか?

root@iMac-Chiara:~# ls -lh /mnt/temp/random_data.bin 
-rw-r--r-- 1 root root 512M dic 12 20:09 /mnt/temp/random_data.bin

そっくりですね。

実際のファイルシステムはどうなりましたか?

root@iMac-Chiara:~# df -h /repository
File system     Dim. Usati Dispon. Uso% Montato su
/dev/sda3       275G  259G    2,5G 100% /repository

うお!!500M以上を紛失しました。ところで、物理的なスペースは実際にオンデマンドで割り当てられるので、良いことです。

別の2GBファイルを保存しましょう:

root@iMac-Chiara:~# dd if=/dev/zero of=/mnt/temp/another_random_data.bin bs=1G count=2
2+0 record dentro
2+0 record fuori
2147483648 byte (2,1 GB) copiati, 25,6539 s, 83,7 MB/s
root@iMac-Chiara:~#

どうした?

root@iMac-Chiara:~# ls -arlh /mnt/temp
totale 2,6G
-rw-r--r-- 1 root root 512M dic 12 20:09 random_data.bin
drwx------ 2 root root  16K dic 12 19:58 lost+found
-rw-r--r-- 1 root root 2,0G dic 12 20:13 another_random_data.bin
drwxr-xr-x 8 root root 4,0K mag 29  2015 ..
drwxr-xr-x 3 root root 4,0K dic 12 20:12 .
root@iMac-Chiara:~# df -h /repository
File system     Dim. Usati Dispon. Uso% Montato su
/dev/sda3       275G  261G    484M 100% /repository
root@iMac-Chiara:~#

すごくいい。ファイルを削除するとどうなりますか?

root@iMac-Chiara:~# rm /mnt/temp/random_data.bin 
root@iMac-Chiara:~# sync
root@iMac-Chiara:~# ls -arlh /mnt/temp
totale 2,1G
drwx------ 2 root root  16K dic 12 19:58 lost+found
-rw-r--r-- 1 root root 2,0G dic 12 20:13 another_random_data.bin
drwxr-xr-x 8 root root 4,0K mag 29  2015 ..
drwxr-xr-x 3 root root 4,0K dic 12 20:14 .
root@iMac-Chiara:~# df -h /repository
File system     Dim. Usati Dispon. Uso% Montato su
/dev/sda3       275G  261G    484M 100% /repository
root@iMac-Chiara:~#

予想どおり、スパースファイルを使用した場合の動作はシンプロビジョニングとまったく同じです。いったん割り当てられると、ファイルが削除されたときに記憶域を要求できません。しかし、これは一般的には大丈夫です。ね?

したがって、この時点で、質問への回答は完了しているはずです。正しい?


添加:

下線のストレージがいっぱいになるとどうなるか見てみましょう。

root@iMac-Chiara:~# dd if=/dev/zero of=/mnt/temp/a_third_random_data.bin bs=1G count=2
2+0 record dentro
2+0 record fuori
2147483648 byte (2,1 GB) copiati, 26,7142 s, 80,4 MB/s
root@iMac-Chiara:~#

何?成功したようです!これはどのようにして可能になりましたか?確認しよう!

root@iMac-Chiara:~# ls -arlh /mnt/temp
totale 4,1G
drwx------ 2 root root  16K dic 12 19:58 lost+found
-rw-r--r-- 1 root root 2,0G dic 12 20:17 a_third_random_data.bin
-rw-r--r-- 1 root root 2,0G dic 12 20:13 another_random_data.bin
drwxr-xr-x 8 root root 4,0K mag 29  2015 ..
drwxr-xr-x 3 root root 4,0K dic 12 20:17 .
root@iMac-Chiara:~#

ええと...大丈夫そうです よろしいですか?

root@iMac-Chiara:~# df /repository
File system    1K-blocchi     Usati Disponib. Uso% Montato su
/dev/sda3       288110208 275070448         0 100% /repository

スペースが足りなくなりました!エラーなし!

実際に何が起こったのかを調査するのは良いことですが、他のServerFaultメンバーの好奇心やトラブルシューティングスキルに任せます;-)

楽しんで!


ところで、私は上記のすべてをここでテストしました:

root@iMac-Chiara:~# cat /etc/lsb-release 
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=13.04
DISTRIB_CODENAME=raring
DISTRIB_DESCRIPTION="Ubuntu 13.04"
root@iMac-Chiara:~# uname -r
3.8.0-31-generic
root@iMac-Chiara:~# dpkg -l cryptsetup-bin
[...]
ii  cryptsetup-bin             2:1.4.3-4ubuntu2   amd64              disk encryption support - command line tools
root@iMac-Chiara:~#

これらのコマンドを機能させるには、rootである必要があることに気付きました。スパースファイルは常にそうですか?
Merc

いいえ、申し訳ありません。メインフォルダーに対する適切な書き込み権限があれば、通常のユーザーとしても機能するはずです。
Damiano Verzulli

この素晴らしい答えをありがとう。質問と心配を私に残します。心配:実際に2 GBのファイルを作成するふりをして、実際にそのためのスペースがない場合はどうでしょうか。面倒...(sha1sumか何かで)読み返そうとするとどうなりますか?質問:スパースファイルをスパースに保つネットワーク全体でスパースファイルをバックアップする方法はありますか(つまり、実際に使用される部分のみをコピーします)?
Thilo、2015

私はさらに調査したくなりましたが...残念ながら私は時間に余裕がなく、確かに、それは間違いなく別のSFの質問に有効なスペースです。とにかく、ストレージ全体をオーバーブッキングしないことで簡単に回避できます。つまり、疎ファイルを作成できますが、物理ディスクに割り当て可能な最大の合計割り当てスペースを確保できます。ね?代わりに、「オーバーブッキング」ソリューションを探している場合...おそらく他の何かを調査する必要があります(LVM?)
Damiano Verzulli

@Thiloまた、サイレントオーバーフローしたファイルを読み取ろうとするとどうなるかについても知りたいです。宛先ディスクにスパースファイルを作成rsyncする--sparseオプションがあります。
localhost
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.