Моя лекция о COW-файловых системах (ZFS, BTRFS)

  Рет қаралды 6,440

Vasim Valejev

Vasim Valejev

8 жыл бұрын

Читаю лекцию в офисе IPONWEB про ZFS и BTRFS

Пікірлер: 37
@vladimireliseev2632
@vladimireliseev2632 7 жыл бұрын
Мало видео контента по теме ZFS, искренне благодарен Вам за Ваш труд!)
@VINRARUS
@VINRARUS 6 жыл бұрын
Дякую за цінну інфу, чювак.
@dadittox
@dadittox 7 жыл бұрын
Искал объяснение про то, как конкретно работает COW на BTRFS, нашел этот ролик... Смотрю что-то имя фамилия знакомые... Привет от 2:5011/27.1 ;)
@maksymkushnir3154
@maksymkushnir3154 4 жыл бұрын
Вдохновился вашей лекцией. Поставил себе на пк убунту 19.10 на zfs. Из коробки работает хорошо. Но я хочу использовать все достоинства данной фс и это уже сложнее. Не могу найти единой толковой и рабочей справки для zol (например конкретно для моей 19.10 убунту). Пока изучаю методом тыка. Например создал zvol, а удалить его не могу, пишет, что нот экзист, хотя вижу его в программе диски и через консоль, как dev/zd0 4.3Gb... Например на самом деле хочу выжать из моей системы максимум скорости. Критические данные храню отдельно, поэтому отказоустойчивость не нужна, при условии заметного выигрыша в скорости. Имеется на самом деле два HDD по 500 GB и 1ssd 60 GB 16 GB RAM. Могу ли я сделать програмный рейд 0 (чередование) из двух HDD и их кешем L1 и L2 на SSD + ZIL? Так чтобы было ускорение всей системы и установленых програм? Возможно ли это? На самом деле насколько это быстрее, чем если у меня рут на 1м HDD? Если рейд 0 для системы (ос убунту 19.10 и установленных программ) реальность, ТО КАК ЕГО НАСТРОИТЬ!!!!! Желательно на живом примере из реальной, машины, а не виртуальной. Чтобы понятно было на самом деле как правильно записать команду под мои девайсы.
@ChegMr
@ChegMr 4 жыл бұрын
Еще раз здравствуйте, вы обещали скинуть пример для cron-а для снапшотов, было бы очень интересно посмотреть
@RomaRingo
@RomaRingo 5 жыл бұрын
в виндовс btrfs когда будет или его аналог ?
@ChegMr
@ChegMr 4 жыл бұрын
Вы планируете какие-либо еще лекции? Может про bhyve? Это было бы логичным продолжением ZFS + bhyveна BSD. Вообще мною как-то лучше воспринимается ваш подход к изложению материала. )
@ChegMr
@ChegMr 4 жыл бұрын
Здесь 1:10:30 речь пошла об онлайн репликации. Работает по схеме один из серверов master другой slave или на обоих может происходить изменение данных, что если в таком случае на какое-то время потеряется связь между ними, как они договорятся о синхронизации? Или это чисто бэкап (второй сервер)?
@Vasim122
@Vasim122 4 жыл бұрын
Речь шла о Sun AVS. Честно говоря, не в курсе его современного состояния (оракл вроде прекратил разработку, но возможно другие подхватили эту инициативу). Раньше был мастер-слейв только.
@ChegMr
@ChegMr 4 жыл бұрын
Вот еще один вопрос, в плане RAIDZ, а что если диск не выключится полностью, а лишь какая-то часть данных станет недоступна на этом диске, то пересчет контрольных сумм будет только для этих недоступных данных, правильно? Т.е. в отличии от обычного RAID5 и надежность повыше и скорость сильно не упадет, так как диск с большей частью данных будет еще в работе.
@Vasim122
@Vasim122 4 жыл бұрын
Да, то что недоступно, то и будет пересчитываться. Хотя, с современными дисками, у которых очень странные и навороченные алгоритмы чтения плохих секторов - возможно будет очень медленно (из-за того что диск будет ожидать многократных попыток прочитать плохое место).
@ChegMr
@ChegMr 4 жыл бұрын
@@Vasim122 просто я к тому, что обычный контроллер ,скорее всего, в этой ситуации отключит такой диск целиком, после чего уже начнутся ощутимые проблемы и с производительностью и с последующим восстановлением массива заменой поврежденного диска новым, в том числе увеличит риск отказа еще одного диска и потери данных полностью, если это был raid5.
@ChegMr
@ChegMr 4 жыл бұрын
Есть какая-нибудь статистика отказов zfs при использовании не ECC памяти? Насколько это критично, в течении какого периода накапливаются "silent corruptions" которые приводят к разрушению пула?
@Vasim122
@Vasim122 4 жыл бұрын
Затрудняюсь ответить на этот вопрос. Статистику надо большую очень собирать, да и сложно отличить повреждения пула из-за отсутствия ECC от других причин (глюки аппаратуры, ошибки в коде и так далее). Как показывает мой опыт - ZFS и BTRFS довольно сложно убить целиком, даже при отсутствии ECC памяти, но изредка data scrub иногда находит поврежденные по каким-то причинам файлы.
@ChegMr
@ChegMr 4 жыл бұрын
Так и не понял, с включенной дедубликацией если я меняю один из файлов, то происходит его копирование на диске и далее записываются новые изменений?
@Vasim122
@Vasim122 4 жыл бұрын
Нет, дедупликация работает на уровне блоков данных, так что копируется и изменяется только измененый блок файла.
@ChegMr
@ChegMr 4 жыл бұрын
@@Vasim122 это здорово, особенно для файлового хранилища. Относительно недавно стал открывать для себя zfs. Недели две назад установил FreeBSD под небольшой web сервер, два HDD в зеркало и один SSD под кэш чтения. Команда top во FreeBSD может отображать память выделяемою под ARC. Думаю организовать еще файловое хранилище, только оно должно работать в домене и уметь управлять доступом по пользователям, пока ищу правильный подход к этому вопросу. Спасибо за лекцию.
@maksikgregory4988
@maksikgregory4988 6 жыл бұрын
изучил материал, опытный лектор у меня на разделе 3 ТиБ, оперативной памяти много в запасе, для DDT с головой (есть график где видно сколько уходит в таблицу, и сколько свободно. Вобщем вся кухня) если линк не умрет, вот - prntscr.com/jv0b18
@maksymkushnir3154
@maksymkushnir3154 4 жыл бұрын
вирус
@prashkd7684
@prashkd7684 3 жыл бұрын
Can you please enable English CC for this video ?
@Vasim122
@Vasim122 3 жыл бұрын
Sorry, i don't have option for that. Seems youtube didn't generated auto-caption for the video. Anyway, i'm not sure auto translation will work good for this, i'd recommend you to look for other videos on the topic.
@kerselkerosin
@kerselkerosin 5 жыл бұрын
Столько рассказов и все разбилось о необходимость использования ECC-памяти, иначе всё потеряешь. Может быть с этого и нужно начинать и повторять каждые 10 минут?
@MrPalianytsia
@MrPalianytsia Жыл бұрын
каталОг
@ChegMr
@ChegMr 4 жыл бұрын
Все же не могу понять, дедупликация должна работать при работе с zvol через iscsi или нет. Потому что, копирую один и тот же файл (на клиенте iscsi) по разным папкам, никакой дедупликации не вижу, т.е. место расходуется. Клиент Windows 10
@Vasim122
@Vasim122 4 жыл бұрын
Должна работать. Тут, скорее всего, проблема в том, что клиентская файловая система ничего не знает про дедупликацию - на самом-то zvol виртуальное место тратится, но на физическом ZFS-пуле - оно дедуплицировано и место остается свободным для других датасетов (или для ручного расширения этого). Собственно, поэтому лучше использовать сетевые файловые системы (NFS, SAMBA, etc), а zvol-ы применять только в крайнем случае.
@ChegMr
@ChegMr 4 жыл бұрын
@@Vasim122 Все, разобрался, здорово.) Главное чтобы размер блока (volblocksize) для zvol при создании его на пуле был равен 4kb т.е. стандартному как и в nfts ну либо ntfs форматировать с блоком 16k (наверно более предпочтительно, так как сам пул создается с блоком 16k и zvol на нем с 4k не очень правильно). И все классно получается. По команде zpool list видно, как растет значение DEDUP при копировании одного и того же файла по разным папкам. Ну и zpool status -D тоже хорошо показывает сколько занято на диске allocated и сколько могло бы быть занято referenced. Еще в настройках iSCSI для Extent поставил тоже 4kb, не могу сказать это влияет или нет, но маловероятно. Единственное Windows конечно не видит этого свободного пространства на iSCSI диске, т.е. место сокращается, жаль. Спасибо за то, что отвечаете мне.
@deverloperfantom1372
@deverloperfantom1372 5 жыл бұрын
когда компрессию ставлю у меня скорость в 4 раза падает, и это на файловом уровне идет... а выше него не прыгнуть, если по сети где то до 30 мегабайт в сек если идет обмен то это незаметишь, а если на физичиском то упираюсь в 60 как избежать не надо говориить, знаю, просто к сравнению стоит использовать компрессию в неособо скоростных проектах. для веба пойдет, под массу загнаиать и будет норм... 250 мб можно сделать в принципи... хватит в принципи... на несколько логик разделить... все ок.... в бомж пакете на ноуте делал сестре последний раз, на внешний хард часть оси вынес по юсбке под компрессию загнал) 5-20 мегабайт на скачиваемые доки норм) за то отключила хард подоткнула и вся ее операционка образно говрря все ее наработке с собой
@Vasim122
@Vasim122 5 жыл бұрын
А алгоритм компрессии какой? LZ4 вроде как самый шустрый из всех.
@deverloperfantom1372
@deverloperfantom1372 5 жыл бұрын
@@Vasim122 спасибо за инфу
@deverloperfantom1372
@deverloperfantom1372 5 жыл бұрын
@@Vasim122 спасибо ты мне глаза открыл
@vadimnegoda5836
@vadimnegoda5836 4 ай бұрын
У меня тоже скорость чтения падает с компрессией lz4 (arch, gentoo), без компрессии существенно быстрее
@icywiener5421
@icywiener5421 3 жыл бұрын
Вопросы местами, конечно, как будто сварщикам читают лекцию о файловых системах. Последствия обучения "с крыши".
@aciddic79
@aciddic79 4 жыл бұрын
Всегда забавно, когда "тыжайтишник" не умеет делать презентации, а выкладывает картинки в html и даже не нажимает f11)
@mrlferer
@mrlferer 3 ай бұрын
Когда ноут дают «от заведения», где кроме браузера ничего нет, pptx ты откроешь разве что архиватором. А в фулскрине панель вкладок будет постоянно маячить, если курсор к верху приближать, лучше уже статичная панель задач
@trubadyr99
@trubadyr99 7 жыл бұрын
Плоховато обьясняете паря.
@aciddic79
@aciddic79 4 жыл бұрын
Сначала ужасно. А потом разошелся :)))
@starley1978
@starley1978 5 жыл бұрын
Лектор ужасен, лектор не готов к докладу.
ZFS на базе проекта «ZFS on Linux»
33:38
Stas Fomin
Рет қаралды 983
Inside Out 2: Who is the strongest? Joy vs Envy vs Anger #shorts #animation
00:22
No empty
00:35
Mamasoboliha
Рет қаралды 10 МЛН
Как бесплатно замутить iphone 15 pro max
00:59
ЖЕЛЕЗНЫЙ КОРОЛЬ
Рет қаралды 8 МЛН
Файловые системы в Линуксе (2021)
18:00
PLAFON - Канал о линуксе
Рет қаралды 108 М.
Файлсервер (NAS) на ZFS
1:07:02
Дмитрий Бачило
Рет қаралды 364 М.
Чего ожидать от HTTP/3 + Go
51:07
Нина Пакшина
Рет қаралды 9 М.
Контейнерная виртуализация в Linux
1:49:47
Computer Science Center
Рет қаралды 252 М.
Структура файлов и каталогов в Linux
20:28
Aleksey Samoilov
Рет қаралды 377 М.
ZFS на Linux Debian 9.9. Часть 1
1:43:26
IT-консультант Алексей Нефедьев
Рет қаралды 6 М.
Nokia 3310 top
0:20
YT 𝒯𝒾𝓂𝓉𝒾𝓀
Рет қаралды 4,1 МЛН
📱магазин техники в 2014 vs 2024
0:41
djetics
Рет қаралды 646 М.
Проверил, как вам?
0:58
Коннор
Рет қаралды 345 М.