smr диски что это
Срываем покровы. Черепичная запись SMR в накопителях WD и Seagate
Содержание статьи
Оказалось (а точнее — официально подтвердилось), что Western Digital давно и молча продает диски с SMR, наотрез отказываясь раскрыть эту информацию недоумевающим и возмущенным владельцам «рассыпавшихся» RAID-массивов. В чем суть скандала, почему использование черепичной записи вызвало такое возмущение пользователей и в чем различие подходов WD и Seagate? Попробуем разобраться.
Скандальная черепица
Если ты не следишь внимательно за новостями в области средств хранения информации, недавние события могли пройти мимо тебя. Хронология такова.
2 апреля
Все началось с исследования Кристиана Франке (Christian Franke). Он подробно, с выкладками и отчетами, рассказал, что в некоторых дисках WD Red, предназначенных для использования в многодисковых сетевых хранилищах NAS, применяется недокументированная технология SMR (Shingled Magnetic Recording — черепичная запись) и о том, какие именно проблемы возникают из-за этого в рамках массивов. Из-за хорошо известных особенностей технологии использование дисков с SMR совместно с «обычными» дисками (CMR, Conventional Magnetic Recording) приводило к деградации массивов и выпадению из них дисков с SMR. Более того, восстановить такие массивы оказывалось невозможно из-за постоянных повторных выпадений диска с SMR.
Это исследование не было первым, вторым и даже десятым звоночком. Вопросом «не SMR ли это?» пользователи начали задаваться уже давно. Например, в ветке обсуждения на Reddit «WD Red 6tb WD60EFAX SMR? Bad for Existing raid in DS918+ with WD Red 6tb WD60EFRX PMR drives?» уже обсуждалась эта проблема. При желании на том же Reddit можно найти несколько десятков подобных обсуждений.
Все было бы неплохо, если бы производитель упоминал об этой особенности. И даже терпимо, если бы производитель просто ответил «да» на прямой вопрос: используется ли в модели Х технология SMR? Увы, но единственный ответ, который получали пользователи, был таков: «Мы не разглашаем особенности внутреннего функционирования наших дисков конечным потребителям». Вот цитата ответа из техподдержки:
I understand your concern regarding the PMR and SMR specifications of your WD Red drive.
Please be informed that the information about the drive is whether use Perpendicular Magnetic Recording (PMR) or Shingled Magnetic Recording (SMR), is not something that we typically provide to our customers. I am sorry for the inconvenience caused to you.
What I can tell you that the most products shipping today are Conventional Recording (PMR). We began shipping SMR (Shingled Magnetic Recording) at the start of 2017. For more information please refer the link mentioned below.
Вот другой вариант ответа — то же самое, другими словами.
We have received your inquiry whether internal WD Red drive WD40EFAX would use SMR technology. I will do my best here to assist and please accept our sincere apologies for the late reply.
Please note that information on which of our drives use PMR or SMR is not public and is not something that we typically provide to our customers. What we can tell you is that most WD products shipping today are Conventional Recording (PMR) — please see additional information below. However, we began shipping SMR (Shingled Magnetic Recording) at the start of 2017.
Вольный перевод: «Обращаем ваше внимание, что информация об использовании PMR и SMR не является публично доступной и не разглашается нашим клиентам. Однако могу сказать, что большая часть поставляемых WD продуктов использует CMR; ниже — дополнительная информация. Тем не менее в начале 2017 года мы начали отгружать диски с SMR».
Примерно такой ответ получил Кристиан Франке. Кристиан на этом не остановился, получив в результате такой ответ:
Just a quick note. The only SMR drive that Western Digital will have in production is our 20TB hard enterprise hard drives and even these will not be rolled out into the channel.
All of our current range of hard drives are based on CMR Conventional Magnetic Recording.
With SMR Western Digital would make it very clear as that format of hard drive requires a lot of technological tweaks in customer systems.
Yemi Elegunde Enterprise & Channel Sales Manager UK Western Digital® WDC UK, a Western Digital company
В ответе утверждается, что единственный диск WD с SMR — это накопитель на 20 Тбайт, предназначенный для дата-центров. По утверждению представителя WD, все остальные диски WD используют CMR.
Дальнейшие попытки добиться хоть какой-то внятной информации привели к предложению «обсудить проблему с инженерами и специалистами по жестким дискам в телеконференции». Телеконференция, впрочем, так и не состоялась. Пользователи обратились к журналистам.
14 апреля
Итак, Кристиан написал журналистам специализированного издания Blocks & Files. Журналисты разобрались в проблеме и выпустили статью Western Digital admits 2TB-6TB WD Red NAS drives use shingled magnetic recording.
Почему SMR в предназначенных для NAS дисках — это проблема? В статье приводится несколько примеров. В частности, пользователи, которые заменяли вышедшие из строя диски WD Red 6TB на новые модели WD60EFAX, получали атипично длительное время перестроения массивов SHR 1 и RAID 5 (от двух до восьми дней). У некоторых пользователей перестроение и вовсе завершалось с ошибкой: новый диск попросту исключался из массива как неисправный. Очевидно, что новые диски работают в разы хуже в сравнении с предыдущей моделью, а в некоторых случаях не выполняют заявленную задачу вовсе. Обман потребителя в полный рост — но представители Western Digital до сего дня отказывались как-либо комментировать ситуацию.
И вот впервые журналистам удалось получить от Western Digital внятный и конкретный ответ: «Актуальные модели WD Red 2–6 Tбайт компании Western Digital используют drive-managed SMR (DMSMR). Диски WD Red 8–14 Tбайт основаны на CMR. Вы правы в том, что мы не указываем технологию записи в документации на диски WD Red. При тестировании дисков WD Red мы не обнаружили проблем с перестроением RAID из-за технологии SMR».
В свое оправдание WD приводит следующий аргумент: «В типичной среде домашних NAS и NAS для малого бизнеса типичные нагрузки скачкообразны, это оставляет достаточно времени для сбора мусора и других сервисных операций». Журналисты из Blocks & Files возразили, что далеко не все нагрузки в рамках сетевых хранилищ «типичны» с точки зрения производителя. Скандал продолжал развиваться.
15 апреля
Статья попала в точку: у многих пользователей, что называется, наболело. Вызванная в Сети волна публикаций по следам оригинальной статьи побудила Blocks & Files продолжить расследование.
В статье Shingled hard drives have non-shingled zones for caching writes рассказывается о «ленточной» организации черепичного хранилища, как и о том, что у каждого SMR-накопителя есть буфер, использующий классическую запись CMR. Здесь прямая аналогия с современными накопителями SSD: есть медленная TLC или даже QLC NAND, но часть ее используется для буферизации записей в качестве псевдо-SLC-кеша. Так и здесь: в жестких дисках с черепичной записью SMR есть области CMR, использующиеся для ускорения записи. У пользователя, который тестирует диск популярным пакетом CrystalDiskMark, возникает иллюзия нормальности: диск и читает, и пишет данные без каких-либо сюрпризов.
Сюрприз обнаруживается тогда, когда объем записанных данных превышает размер области CMR или весь диск заполняется данными, после чего накопителю приходится на лету «уплотнять» информацию. Такие ситуации в рамках NAS могут возникать как минимум в двух случаях: при перестроении массива класса RAID 5 и подобных, в которых используются контрольные суммы, и при записи большого объема данных (например, создание и сохранение на диск обычной резервной копии). В таких сценариях видимая снаружи скорость записи падает в разы, а то и на один-два порядка. В моих собственных тестах скорость записи при перезаписи заполненного накопителя падала до 1–10 Мбайт/с при записи единственного файла объемом 1,5 Тбайт (резервная копия моей системы). Я нахожу такую скорость неприемлемой.
В той же статье автор рассказал и о том, что происходит при попытке перестроить массив RAID 5/6, если новый диск использует SMR. Огромное количество операций случайного ввода-вывода быстро вызывает переполнение области CMR; контроллер не успевает справиться с нагрузкой, возвращая ошибку отказа в обслуживании. Спустя короткое время (порядка сорока минут) диск полностью уходит в себя, а контроллер RAID исключает его из массива, помечая как неисправный.
Что интересно, ничего подобного не происходит при использовании других типов массивов — RAID 0/1, а также при создании нового массива RAID 5/6. Создается впечатление, что разработчики Western Digital попросту не проверили новые диски в сценарии перестроения массива RAID 5/6, ограничившись простейшими сценариями.
15 апреля
В очередной статье Seagate ‘submarines’ SMR into 3 Barracuda drives and a Desktop HDD журналисты продолжили эксплуатировать тему SMR, рассказав, что подобной практикой занимается и компания Seagate.
Seagate давно использует SMR в своих накопителях 2,5″, архивных Archive и десктопных Barracuda. Компания никогда не скрывала эту информацию. В то же время диски Seagate, предназначенные для работы в NAS (линейки IronWolf и IronWolf Pro), SMR не используют, что, собственно, и подтвердила компания. Таким образом, скандала не получилось: покупатель, который хотя бы минимально интересуется состоянием дел, всегда имеет возможность понять, какой именно диск он покупает и для чего. Особенности SMR описаны Seagate в технической документации к соответствующим накопителям; о них мы еще поговорим, пока же вернемся к хронологии.
16 апреля
На следующий день журналисты выяснили, что и в некоторых дисках Toshiba также используется SMR: Toshiba desktop disk drives have shingles too. Не уверен, что это кому-то интересно: доля накопителей Toshiba в типоразмере 3,5″ исчезающе мала. Впрочем, ознакомиться со списком моделей дисков Toshiba, в которых используется SMR, в любом случае не помешает. На сегодняшний день это 3,5-дюймовые диски Toshiba P300 Desktop PC и DT02 объемом 4 и 6 Тбайт, а также все без исключения 2,5-дюймовые модели поколения MQ04.
20 апреля
В Western Digital определенно напряглись и забеспокоились. В статье SMR in disk drives: PC vendors also need to be transparent опубликован официальный ответ Western Digital, в котором компания уверяет, что никаких проблем у дисков на самом деле нет, если их правильно использовать. Более свежую версию ответа можно прочесть в блоге Western Digital. Из текста можно сделать вывод, что перестроение массивов RAID 5/6 для дисков серии WD Red — неправильное использование, не надо так делать. И вообще, NAS и RAID совершенно не эквивалентные понятия, не надо их путать. Если пользователь хочет приспособить диск для NAS в составе массива RAID 5/6, то пусть берет что-нибудь подороже — например, из линейки Ultrastar DC, или вот WD Gold, или хотя бы WD Red Pro. Честное слово, именно так и написано: If you are encountering performance that is not what you expected, please consider our products designed for intensive workloads. These may include our WD Red Pro or WD Gold drives, or perhaps an Ultrastar drive. Не буду цитировать целиком этот результат работы департамента Western Digital по связям с общественностью, с ним можно ознакомиться по ссылке выше.
21 апреля
Разумеется, основной конкурент — компания Seagate не смогла не прокомментировать ситуацию. В статье Seagate says Network Attached Storage and SMR don’t mix представитель компании подчеркивает, что Seagate никогда не использовала черепичную запись в дисках IronWolf и IronWolf Pro, предназначенных для NAS, и не рекомендует использовать диски с SMR в сетевых хранилищах.
Впрочем, как мы знаем, Seagate тоже не сообщала покупателям десктопных дисков Barracuda о том, что в них используется черепичная запись, — для огромного количества пользователей это стало неприятным сюрпризом.
23 апреля
Журналисты не смогли пройти мимо поста WD. В статье Western Digital implies WD Red NAS SMR drive users are responsible for overuse problems задаются вполне резонные вопросы: а как, собственно, пользователь может — даже в теории! — узнать о потенциальных проблемах, если WD хранила сам факт использования SMR в NAS-накопителях в секрете? И если уж вы обвиняете пользователей в «неправильном» использовании дисков, то, пожалуйста, определите формально «правильные» и «неправильные» сценарии для каждой конкретной модели. Вот в старом WD60EFRX, например, перестроение RAID 5/6 было «правильным» сценарием, а в новой WD60EFAX стало «неправильным» — с этим можно жить, но… Но клиентам об этом сообщить забыли, при этом отказываясь отвечать на заданные недоумевающими пользователями вопросы.
24 апреля
Технология черепичной записи остается в накопителях WD Red, предназначенных для NAS, но производитель после беспрецедентного давления общественности нехотя и с оговорками согласился больше не устраивать из этого секрета. Теперь ты можешь сделать информированный выбор: покупать «старую» модель WD Red без SMR или «новую» с SMR. Или уйти к конкуренту, который не использует SMR в накопителях для NAS вовсе. Или взять наполненный гелием диск объемом от 8 Тбайт.
А пока общественность торжествует, давай посмотрим на то, как же обстоит дело с дисками, использующими технологию черепичной записи, можно ли считать их абсолютным злом, или в некоторых сценариях экономия оправданна.
Продолжение доступно только участникам
Вариант 1. Присоединись к сообществу «Xakep.ru», чтобы читать все материалы на сайте
Членство в сообществе в течение указанного срока откроет тебе доступ ко ВСЕМ материалам «Хакера», позволит скачивать выпуски в PDF, отключит рекламу на сайте и увеличит личную накопительную скидку! Подробнее
Вариант 2. Открой один материал
Заинтересовала статья, но нет возможности стать членом клуба «Xakep.ru»? Тогда этот вариант для тебя! Обрати внимание: этот способ подходит только для статей, опубликованных более двух месяцев назад.
Олег Афонин
Эксперт по мобильной криминалистике компании «Элкомсофт»
Жесткие диски SMR с «черепичной» магнитной записью — за и против
Содержание
Содержание
С каждым днем становится все больше жестких дисков, использующих технологию записи данных SMR. Однако многочисленные тесты показывают невысокую скорость случайной записи и не вызывают особого энтузиазма у пользователей. Многие предпочитают приобретать диски с традиционной технологией записи PMR/CMR, а другие вовсе отказываются от использования HDD в пользу SSD. Давайте разберемся, жесткий диск с SMR для домашнего ПК — это зло, или же его «просто не умеют готовить».
Что такое «черепичная» магнитная запись?
Shingled Magnetic Recording — «черепичная» магнитная запись. В жестких дисках с перпендикулярной магнитной записью (CMR) треки записываются на пластину параллельно, не пересекаясь с другими. А в жестких дисках с «черепичной» магнитной записью (SMR) каждый последующий трек при записи частично накладывается на предыдущий, как черепица на крыше. Однако такой подход имеет один весьма существенный недостаток. При перезаписи данных даже в одном-единственном треке необходимо перезаписать трек по соседству с ним, затем соседний с тем треком… и так далее по цепочке. В конечном итоге, нам придется перезаписать всю пластину, и все это ради изменившихся данных в единственном треке.
Чтобы этого избежать, треки группируют в так называемые ленты небольшого размера, поэтому при изменении данных будут перезаписаны только треки, относящиеся к одной или нескольким лентам, а не весь диск целиком. Производители не разглашают фактический размер лент, но очевидно, что он должен быть таким, чтобы одна или несколько лент могли целиком уместиться в кэш жесткого диска. А кэш у дисков с SMR довольно внушительный: типичный размер — 256 Мб и больше. Кстати говоря, именно большой размер кэша HDD является одним из косвенных признаков того, что перед вами диск с «черепичной» записью.
Но один лишь дисковый кэш не поможет, если данные будут литься непрерывным потоком. Здесь в игру вступает медиа-кэш: данные из дискового кэша поступают в медиа-кэш, а затем контроллер диска распределяет эти данные по нужным лентам. Физически медиа-кэш представляет собой одну или несколько выделенных областей на жестком диске, использующих традиционную перпендикулярную запись. Эти области имеют размер в десятки гигабайт и располагаются в самом начале диска (за пределами LBA-пространства), либо равномерно распределены по всей поверхности.
Управление данными при записи на диск с SMR может осуществляться как хостом (системой), так и самим устройством. В зависимости от реализации, диски с SMR обычно делят на три типа:
Впрочем, для рядового пользователя шансы столкнуться с последними двумя типами ничтожно малы, так как подавляющее большинство всех выпускаемых дисков с SMR — это DMSMR диски.
Плюсы и минусы SMR
Как и у любой технологии, у «черепичной» магнитной записи и дисков на ее основе есть свои плюсы и минусы.
Плюсы:
Минусы:
Сравнительные тесты производительности SMR vs. CMR
Неужели технология SMR выглядит привлекательно лишь в теории, но не на практике? Чтобы выяснить это, проанализируем результаты тестов накопителей с SMR и CMR в популярных бенчмарках и специальных испытаниях. В качестве подопытных были выбраны два четырехтерабайтника серии Red от Western Digital — SMR-диск (WD40EFAX) и вариант c CMR (WD40EFRX). Для большей наглядности добавим к сравнению еще один диск на 4 Тб с CMR — Seagate Ironwolf ST4000VN008. Все диски изначально пусты.
Наш испытуемый с SMR демонстрирует неплохие показатели в программах HD Tune Pro и PCMark 8. Эти результаты достигаются не только за счет более вместительного кэша, но и благодаря последовательному характеру нагрузок, используемому в данных бенчмарках — последовательные чтение/запись оптимальны для дисков с SMR.
Следующее испытание представляет более реалистичный сценарий использования. Диски заполняются на 3/4, а затем удаляется 1 Тб данных. Сразу после этого копируются файлы общим объемом 125 Гб, и далее незамедлительный прогон теста чтения/записи в CrystalDiskMark 7, чтобы не дать дискам успеть «прийти в себя».
Здесь SMR-диск уже не так хорош, как его CMR-собратья. Причина проста: контроллер диска отчаянно ищет свободное место в заполненном медиа-кэше для вновь поступающих данных, при этом пытаясь разбросать по лентам те данные, что там уже имеются. Ситуацию усугубляет еще и тот факт, что в дисках с «черепичной» магнитной записью расположение логических секторов может не соответствовать их физическому расположению (используется дополнительный слой трансляции адресов). В результате — падение производительности почти в полтора раза даже на такой средней нагрузке.
Финальное испытание — восстановление «упавшего» RAIDZ-массива из четырех CMR-дисков. Для этого из набора извлекается диск и заменяется на один из тестируемых образцов, после чего запускается процесс восстановления. Перед началом испытания массив был заполнен примерно на 60 %, а контроль его целостности отключен.
Пересборка RAIDZ отправила WD40EFAX в настоящий нокдаун. Время выполнения процесса восстановления с этим диском просто обескураживает — тот же WD40EFRX справился в 15,5 раз быстрее. Тем не менее, сам процесс завершился без единой ошибки, поскольку RAIDZ — это программный массив дисков, и тестируемый диск был полностью исправен. А если бы это был массив уровня RAID 5/6 с аппаратным контроллером, в случае длительной задержки ответа со стороны SMR-диска, контроллер вполне мог посчитать такой диск неисправным и исключить его из пула, что привело бы к деградации RAID.
Как показали результаты тестов, применение дисков с технологией записи SMR в высоконагруженных сценариях может удивить крайне неприятным образом и потому нецелесообразно. С точки же зрения сегмента домашних ПК (которым, скажем прямо, RAID-массивы не особо и нужны), использование SMR-дисков в слабонагруженных сценариях приветствуется, а при средней нагрузке — терпимо (не каждый «домашний» пользователь будет каждый день гонять туда-сюда терабайты данных).
Практические советы — готовим SMR правильно!
Как мы уже выяснили, для дисков с «черепичной» магнитной записью наиболее оптимальными являются последовательные чтение и запись, а идеальный режим доступа отвечает концепции WORM (Write Once, Read Many) — «один раз записал, много раз считал». Исходя из этого, дадим несколько полезных советов, которые могут помочь сделать работу с SMR-дисками максимально комфортной.
Производители жестких дисков все еще продолжают экспериментировать с перспективными технологиями записи, и SMR на данный момент является единственной альтернативой традиционной CMR. Несмотря на некоторые присущие технологии SMR недостатки, устройства на ее основе можно смело назвать хорошим выбором для пользователей, которые хотят заполучить терабайты хранения для своих данных за умеренную цену. Так или иначе, выбор остается за покупателем.
SMR: понятно в теории, сложно на практике
Сегодня рост объема данных на человека растет в геометрической прогрессии, а компании, предлагающие решения для хранения этих данных, стремятся сделать все возможное, чтобы увеличить доступную емкость своих устройств. Технология черепичной магнитной записи Seagate SMR (Shingled Magnetic Recording) позволяет повысить плотность записи, за счет чего емкость диска увеличивается на 25%. Это возможно благодаря увеличению количества дорожек на каждой пластине и сокращению расстояния между ними. Дорожки размещаются друг над другом (как черепица на крыше), что позволяет записать больше данных, не увеличивая площади пластины. При записи новых данных дорожки частично накладываются друг на друга, или «усекаются». Ввиду того, что считывающий элемент на дисковой головке меньше записывающего, он может считывать данные даже с усеченной дорожки, не нарушая их целостности и достоверности.
Однако с технологией SMR связана следующая проблема: чтобы перезаписать или обновить информацию, необходимо переписать не только требуемый фрагмент, но и данные на последних дорожках. Из-за того, что записывающий элемент шире, он захватывает данные на граничащих дорожках, поэтому необходимо перезаписать и их. Таким образом, при изменении данных на нижней дорожке нужно скорректировать данные на ближайшей наложенной дорожке, потом на следующей, и так далее, пока не будет переписана вся пластина.
По этой причине дорожки SMR-диска объединены в небольшие группы, называемые лентами. Накладываются друг на друга, соответственно, только дорожки в пределах одной ленты. Благодаря такому группированию в случае обновления некоторых данных перезаписывать придется не всю пластину, а лишь ограниченное количество дорожек, что существенно упрощает и ускоряет процесс. Для каждого типа дисков разрабатывается своя архитектура ленты с учетом сферы его применения. Каждая линейка продуктов Seagate рассчитана на определенную сферу применения и конкретные условия работы, и технология SMR позволяет достичь при правильном использовании наилучших результатов.
Seagate SMR — это технология, позволяющая удовлетворить постоянно растущий спрос на дополнительную емкость. На сегодняшний день она активно совершенствуется и в сочетании с другими инновационными методами может быть использована для повышения плотности записи на жестких дисках следующих поколений.
Но прежде всего, необходимо разобраться в некоторых нюансах ее применения.
Выделяют три типа устройств, поддерживающих черепичную запись:
Автономные (Drive Managed)
Работа с этими устройствами не требует никаких изменений в программном обеспечении хоста. Вся логика записи/чтения организована самим устройством. Значит ли, что мы можем просто установить их и расслабиться? Нет.
Диски, в которых реализована Drive Managed технология записи, обычно обладают большим объемом write-back кэша (от 128МБ на диск). При этом последовательные запросы обрабатываются в режиме write-around. Основные сложности, c которыми сталкиваются разработчики устройств и СХД, основанных на данной технологии записи, следующие:
1. Размер кэша лимитирован и по мере его заполнения мы можем получить непредсказуемую производительность устройств.
2. Иногда возникают значительные уровни задержек при интенсивном сбросе кэша.
3. Определение последовательностей — далеко не всегда тривиальная задача, и в сложных случаях мы можем ожидать деградацию производительности.
Основным достоинством данного подхода является полная обратная совместимость устройств с существующими ОС и приложениями. Хорошо понимая вашу задачу, вы можете уже сейчас покупать Drive Managed устройства и получать преимущества от использования технологии. Дальше в статье вы увидите результаты тестирования подобных устройств и сможете определиться, насколько они вам подходят.
Управляемые хостом (Host Managed)
В данных устройствах используется набор расширений к ATA и SCSI для взаимодействия с дисками. Это устройство другого типа (14h), которое требует серьезных изменений во всем Storage Stack и несовместимо с классическими технологиями, то есть без специальной адаптации приложений и операционных систем вы не сможете использовать эти диски. Хост должен выполнять запись на устройства строго последовательно. При этом производительность устройств на 100% предсказуема. Но необходима корректность работы более высокоуровневого ПО для того, чтобы производительность подсистемы хранения была действительно предсказуемой.
Поддерживаемые хостом (Host Aware)
Это гибридные решения, объединяющие преимущества Device Managed и Host Managed технологий. Приобретая такие диски, мы получаем поддержку обратной совместимости с возможностью использования специальных расширений ATA и SCSI для оптимальной работы с SMR-устройствами. То есть мы можем, как просто выполнять запись на устройства, как делали это раньше, так и делать это наиболее оптимальным образом.
Для того, чтобы обеспечить работу с Host Managed и Host Aware устройствами, разрабатывается пара новых стандартов: ZBC и ZAC, которые входят в T10/T13. ZBC является расширение SCSI и ратифицируется T10. Стандарты разрабатываются для SMR дисков, но в будущем могут быть применены и для других устройств.
ZBC/ZAC определяют логическую модель устройств, где основным элементом является зона, которая отображается как диапазон LBA.
Стандарты задают три типа логических зон, на которые разбиты устройства:
1. Conventional zone — зона, с которой мы можем работать традиционным образом, как с обычными жесткими дисками. То есть, можем писать последовательно и случайно.
2. Два типа Write Pointer Zone:
2.1. Sequential write preferred — основной тип зон для Host Aware устройств, отдается предпочтение последовательной записи. Случайная запись на устройства обрабатывается как в Device Managed устройствах и может стать причиной потери производительности.
2.2. Sequential write only — основной тип зон для Host Manged устройств, возможна только последовательная запись. Случайная запись недопустима, при попытках её произвести будет возвращена ошибка.
Каждая зона обладает своим Write Pointer и своим статусом. Для всех устройств, поддерживающих HM тип записи, первый LBA следующей команды записи обязательно должен соответствовать положению Write Pointer. Для HA устройств Write Pointer является информационным и служит для оптимизации работы с диском.
Кроме новой логической структуры в стандартах появляются и новые команды:
REPORT_ZONES является основным методом, благодаря которому можно получить информацию о существующих зонах на устройстве и их статусе. Диск в ответ на эту команду сообщает о существующих зонах, их типах (Conventional, Sequential Write Required, Sequential Write Preferred), состоянии зон, размере, информацию о нахождении Write Pointer.
RESET_WRITE_POINTER является преемником команды TRIM для ZBC устройств. При ее вызове происходит стирание зоны и перемещение Write Pointer на начало зоны.
Для управления статусом зоны используются 3 опциональные команды:
OPEN_ZONE
CLOSE_ZONE
FINISH_ZONE
В VPD страницах появилась новая информация, включая максимальное количество открытых зон, обеспечивающее лучшую производительность и максимальное количество зон, доступных для случайной записи с лучшей производительностью.
Производителям СХД необходимо позаботиться о поддержке устройств HA/HM, внося изменения на всех уровнях стека: библиотеки, планировщики, RAID engine, логические тома, файловые системы.
Кроме того, нужно обеспечить два типа интерфейсов для работы приложений: традиционный интерфейс, организовав массив как device managed устройство, а также реализацию виртуального тома как HOST AWARE устройства. Это необходимо, так как ожидается появление приложений, работающих с HM/HA устройствами напрямую.
В общем виде алгоритм работы с HA устройствами выглядит следующим образом:
1. Определите конфигурацию устройства, использую REPORT_ZONES
2. Определите зоны для случайной записи
2.1. Количество ограничено возможностями устройства
2.2. В этих зонах нет необходимости отслеживать положение Write Pointer
3. Используйте остальные зоны для последовательной записи и используя информацию о положении Write-Pointer и выполняя только последовательную запись
4. Контролируйте количество открытых зон
5. Используйте сборку мусора для высвобождения пула зон
Некоторые техники записи можно применять из имеющихся all-flash СХД, для которых решались проблемы предстательной последовательной записи и сборки мусора.
Компания RAIDIX провела тестирование SMR дисков Seagate у себя в лаборатории и дает несколько рекомендаций по их использованию. Эти диски отличаются тем, что являются Device Managed и не требуют никаких серьезных изменений в работе приложений.
При тестировании была сделана попытка проверить ожидания производительности таких дисков и понять, для чего мы можем их использовать.
В тестах участвовали два диска Seagate Archive HDD объемом 8000GB.
Тестирование выполнялось на операционной системе Debian версии 8.1
CPU Intel i7 c частотой 2,67 MHz
16 GB RAM
Диски имеют интерфейс SATA 3, мы включили контроллер в режим AHCI.
Для начала мы приводим информацию об устройствах, выполнив Inquiry запрос.
Ничего особенного мы не увидели. Попытки прочитать информацию о зонах обернулись неудачей.
RAIDIX делает ПО для СХД, работающих в различных индустриях, и мы стремились не использовать специализированные или платные бенчмарки.
Начинаем с того, что проверяем потоковую производительность дисков на внутренних и внешних дорожках. Результаты тестов дадут максимальную ожидаемую производительность устройства и соответствуют в первую очередь таким задачам, как архивирование данных.
Настройки блочной подсистемы мы не трогали. Выполняем тестирование, записывая на диски данные блоками 1 мегабайт. Для этого мы используем бенчмарк fio v.2.1.11.
Джобы (Jobs) отличаются друг от друга только смещением от начала устройства и запускаются один за другим. В качестве библиотеки ввода-вывода выбрана libaio.
Результаты представляются неплохими:
Производительность на внешних и внутренних дорожках отличается практически в 2 раза.
Мы видим периодические провалы производительности. Они не критичны для архивирования, но могут стать проблемой для других задач. При корректной работе write-back кэша СХД мы предполагаем, что не будем наблюдать подобной ситуации. Мы провели схожий опыт, создав массив RAID 0 из обоих дисков, выделив 2ГБ RAM кэша на каждый диск, и не увидели провалов производительности.
При чтении провалов не видно. И последующие тесты покажут, что на операциях чтения SMR диски по производительности ничем не отличаются от обычных.
Теперь мы проведем более интересные тесты. Запустим 10 потоков c разными offset одновременно. Это мы делаем для того, чтобы проверить корректность буферизации и посмотреть, как диски будут работать на задачах CCTV, Video Ingest и подобных.
На графиках приведена суммарная производительность по всем работам:
Диск неплохо справился с нагрузкой!
Производительность держится на уровне 90 МБ/с, равномерно распределена по потокам, и не наблюдается серьезных провалов. График на чтение абсолютно аналогичен, только приподнят на 20 МБ. Для хранения и раздачи видеоконтента, обмена большими файлами производительность подходящая и практически не отличается от производительности обычных дисков.
Как и ожидалось, диски неплохо показали себя на операциях потоковых чтения и записи, а работа в несколько потоков стала для нас приятным сюрпризом.
Переходим к «случайным» чтению и записи. Посмотрим, как диски поведут себя в классических задачах предприятий: хранение файлов СУБД, виртуализация и пр. Кроме того, в «случайные» операции подпадают частая работа с метаданными и, например, включённая дедупликация на массиве.
Тестирование мы проводим блоками 16 килобайт и по-прежнему верны fio.
В тесте мы настроили несколько джобов с разной глубиной очереди, но полностью результаты приводить не будем. Показательно только начало теста.
Первые 70,5 секунд мы видим нереальные для жесткого диска 2500 IOps. При этом происходят частые провалы. Видимо, в этот момент происходит запись в буфер и его периодический сброс. Потом происходит резкое падение до 3 IOps, которые держатся до конца теста.
Если подождать несколько минут, то после того, как сбросится кэш, ситуация повторится.
Можно ожидать, что при наличии небольшого числа случайных операций диск будет вести себя неплохо. Но если мы ожидаем интенсивную нагрузку на устройство, лучше воздержаться от использования SMR дисков. RAIDIX рекомендует при возможности выносить всю работу с метаданными на внешние устройства.
А что же со случайным чтением?
В этом тесте мы ограничили время отклика 50 мс. Наши устройства справляются неплохо.
Чтение оказывается в промежутке 144-165 IOPs. Сами числа неплохи, но немного пугает разброс в 20 IOPs. Ориентируйтесь на нижнюю границу. Результат неплохой, на уровне классических дисков.
Несколько изменим подход. Давайте еще взглянем на работу с большим количеством файлов.
С этим нам поможет утилита frametest от SGI. Этот бенчмарк создан для проверки производительности СХД при выполнении монтажа несжатого видео. Каждый фрейм является отдельным файлом.
Мы создали файловую систему xfs и смонтировали ее со следующими параметрами:
-o noatime,nodiratime,logbufs=8,logbsize=256k,largeio,inode64,swalloc,allocsize=131072k,nobarrier
Запускаем frametest со следующими параметрами:
Бенчмарк создает 2000 файлов размером 8МБ.
Начало теста проходит неплохо:
Averaged details:
Open I/O Frame Data rate Frame rate
Last 1s: 0.028 ms 79.40 ms 79.43 ms 100.37 MB/s 12.6 fps
5s: 0.156 ms 83.37 ms 83.53 ms 95.44 MB/s 12.0 fps
Но после записи 1500 фреймов ситуация значительно ухудшается:
Averaged details:
Open I/O Frame Data rate Frame rate
Last 1s: 0.035 ms 121.88 ms 121.92 ms 65.39 MB/s 8.2 fps
5s: 0.036 ms 120.78 ms 120.83 ms 65.98 MB/s 8.3 fps
Averaged details:
Open I/O Frame Data rate Frame rate
Last 1s: 0.036 ms 438.90 ms 438.94 ms 18.16 MB/s 2.3 fps
5s: 0.035 ms 393.50 ms 393.55 ms 20.26 MB/s 2.5 fps
Проведем тест на чтение:
В течение всего теста производительность отличная:
Averaged details:
Last 1s: 0.004 ms 41.09 ms 41.10 ms 193.98 MB/s 24.3 fps
5s: 0.004 ms 41.09 ms 41.10 ms 193.98 MB/s 24.3 fps
Сейчас ведется работа над специализированными файловыми системами для SMR дисков.
Seagate разрабатывает основанную на ext4 SMR_FS-EXT4. Можно обнаружить несколько log-structured файловых систем, спроектированных специально для Device Managed SMR дисков, но ни одну из них нельзя назвать зрелым, рекомендуемым к внедрению продуктом. Также Seagate ведется разработка поддерживаемой хостом (Host Aware) версии SMR диска, которая должна быть завершена до конца года.
Какие мы можем сделать выводы по результатам замеров производительности?
Device Managed устройства можно смело использовать для задач, не отличающихся интенсивной записью. Они очень неплохо справляются с задачами однопоточной и многопоточной записи. Для чтения данных они подходят отлично. Периодические “случайные” запросы к дискам при обновлении метаданных поглощаются большим кэшем.
Для решения задач, отличающихся интенсивной “случайной” записью или обновлением большого количества файлов такие устройства не очень подходят, как минимум, без использования дополнительных технических средств.
Параметр MTBF протестированных дисков составляет 800 000 часов, что в 1,5 раза ниже, чем у, например, NAS-дисков. Большой объем дисков значительно увеличивает время восстановления и делает практически невозможным регулярный media-скан. Мы рекомендуем при проектировании хранилища с такими дисками полагаться на RAID с количеством parity, большим чем 2 и/или подходах позволяющих сократить время восстановления (Например, Parity Declustering).