16 терабайт хватит всем?

В жизни каждого человека когда-то наступает момент, когда 16Тб хранилище начинает поджимать, и пора расширять массив. Честно говоря, страшно думать, чем мне удалось на текущий момент занять 12.68Тб. Но не время разбираться, время забрасывать задачу новым железом!

Рутинно добавив еще один 4Тб диск в RAID6 массив - и попытавшись расширить ext4 файловую систему я был несколько озадачен сообщением:

root@lbox2:/var$ resize2fs /dev/md1
resize2fs 1.43.4 (31-Jan-2017)
resize2fs: New size too large to be expressed in 32 bits

Вот это поворот! ext4 не держит разделы больше 16Тб? Оказалось так и было до недавнего времени. Всего 5 лет назад на этом месте можно было бы ставить крест, а года 2-3 назад - не удалось бы избежать жонглирования свежайшими версиями resize2fs и ядрами собранными из исходников... К счастью сейчас обновление ext4 до 64-х битного формата на лету стало рутинной операцией "из коробки":

root@lbox2:/var$ resize2fs -b /dev/md1
resize2fs 1.43.4 (31-Jan-2017)
Converting the filesystem to 64-bit.
The filesystem on /dev/md1 is now 3907015424 (4k) blocks long.

root@lbox2:/var$ resize2fs /dev/md1
resize2fs 1.43.4 (31-Jan-2017)
Resizing the filesystem on /dev/md1 to 4883769280 (4k) blocks.
The filesystem on /dev/md1 is now 4883769280 (4k) blocks long.

root@lbox2:/var$ mount /var/bigfatdisk

root@lbox2:/var/bigfatdisk$ df . -H
Filesystem      Size  Used Avail Use% Mounted on
/dev/md1         20T   14T  5.9T  71% /var/bigfatdisk

xy@lbox2:~$ cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md1 : active raid6 sdf1[0] sdg1[7] sdh1[6] sdc1[5] sdb1[3] sde1[2] sda1[1]
      19535077120 blocks super 1.2 level 6, 128k chunk, algorithm 2 [7/7] [UUUUUUU]
      bitmap: 1/466 pages [4KB], 4096KB chunk, file: /var/md1_intent.bin

unused devices: <none>

Эх, помню, в конце 90-х заходил на ftp.cdrom.com - там был массив на впечатляющие 0.5Тб (у меня тогда был HDD на 850Мб) : это казалось совершенно чудовищным, непостижимым объемом... Возможно лет через 20 будем читать эту статью - а у всех 3D память на 1024 слоя на фазовом переходе по 64Тб в 2.5" диске. Хорошо вам там, читатели из будущего... Хотя конечно, тенденция распространения онлайн-доступа к контенту, стриминга и облаков - возможно приведет к тому, что почти никому не нужно будет большое локальное хранилище данных.

Кстати, с момента перехода на RAID-5/6 около 8 лет назад - у меня как на зло не было ни одного выхода из строя жестких дисков (~50 диско-лет работы)... Но сплю конечно спокойнее.