sas экспандер что это

Интерфейс SAS: история, примеры организации хранения

В прошлый раз мы с вами рассмотрели все, что касается технологии SCSI в историческом контексте: кем она была изобретена, как развивалась, какие у нее есть разновидности и так далее. Закончили мы на том, что наиболее современным и актуальным стандартом является Serial Attached SCSI, он появился относительно недавно, но получил быстрое развитие. Первую реализацию «в кремнии» показала компания LSI в январе 2004 года, а в ноябре того же года SAS вошел в топ самых популярных запросов сайта storagesearch.com.

Начнем с основ. Как же работают устройства на технологи SCSI? В стандарте SCSI все построено на концепции клиент/сервер.

Клиент, называемый инициатором (англ. initiator), отправляет разные команды и дожидается их результатов. Чаще всего, разумеется, в роли клиента выступает SAS контроллер. Сегодня SAS контроллеры — это HBA и RAID-контроллеры, а также контроллеры СХД, стоящие внутри внешних систем хранения данных.

Сервер называется целевым устройством (англ. target), его задача — принять запрос инициатора, обработать его и вернуть данные или подтверждение выполнения команды обратно. В роли целевого устройства может выступать и отдельный диск, и целый дисковый массив. В этом случае SAS HBA внутри дискового массива (так называемая внешняя система хранения данных), предназначенный для подключения к нему серверов, работает в режиме Target. Каждому целевому устройству (“таргету”) присваивается отдельный идентификатор SCSI Target ID.

Для связи клиентов с сервером используется подсистема доставки данных (англ. Service Delivery Subsystem), в большинстве случаев, это хитрое название скрывает за собой просто кабели. Кабели бывают как для внешних подключений, так и для подключений внутри серверов. Кабели меняются от поколения к поколению SAS. На сегодня имеется три поколения SAS:

— SAS-1 или 3Gbit SAS
— SAS-2 или 6Gbit SAS
— SAS-3 или 12 Gbit SAS – готовится к выходу в середине 2013 года

Внутренние и внешние кабели SAS

Иногда в состав этой подсистемы могут входить расширители или экспандеры SAS. Под экспандерами (англ. Expanders, расширители, но в русском языке прижилось слово «экспандер») понимают устройства, помогающие доставке информации от инициаторов к целям и обратно, но прозрачные для целевых устройств. Одним из самых типичных примеров является экспандер, позволяющий подключить несколько целевых устройств к одному порту инициатора, например, микросхема экспандера в дисковой полке или на бэкплейне сервера. Благодаря такой организации, серверы могут иметь более 8 дисков (контроллеры, которые сегодня используются ведущими производителями серверов, обычно 8-портовые), а дисковые полки – любое необходимое количество.

Инициатор, соединенный с целевым устройством системой доставки данных, называют доменом. Любое SCSI устройство содержит как минимум один порт, который может быть портом инициатора, целевого устройства или совмещать обе функции. Портам могут присваиваться идентификаторы (PID).

Целевые устройства состоят из как минимум одного логического номера устройства (Logical Unit Number или LUN). Именно LUN и идентифицирует с каким из дисков или разделов данного целевого устройства будет работать инициатор. Иногда говорят, что target предоставляет инициатору LUN. Таким образом, для полной адресации к нужному хранилищу используется пара SCSI Target ID + LUN.

Как в известном анекдоте («Я не даю в долг, а Первый Национальный Банк не торгует семечками») — целевое устройство обычно не выступает в роли «посылающего команды», а инициатор — не предоставляет LUN. Хотя стоит отметить, что стандарт допускает тот факт, что одно устройство может быть одновременно и инициатором и целью, но на практике это используют мало.

Для «общения» устройств в SAS существует протокол, по «доброй традиции» и по рекомендации OSI, разделенный на несколько слоев (сверху вниз): Application, Transport, Link, PHY, Architecture и Physical.

SAS включает в себя три транспортных протокола. Serial SCSI Protocol (SSP) — используется для работы со SCSI устройствами. Serial ATA Tunneling Protocol (STP) — для взаимодействия с дисками SATA. Serial Management Protocol (SMP) — для управления SAS-фабрикой. Благодаря STP мы можем подключать диски SATA к контроллерам SAS. Благодаря SMP мы можем строить большие (до 1000 дисковых/SSD-устройств в одном домене) системы, а также использовать зонирование SAS (подробнее об этом в статье про SAS-коммутатор).

Уровень связей служит для управления соединениями и передачи фреймов. Уровень PHY — используется для таких вещей как установка скорости соединения и кодировки. На архитектурном уровне находятся вопросы расширителей и топологии. Физический уровень определяет напряжение, форму сигналов соединения и т.д.

Все взаимодействие в SCSI строится на основании команд, которые инициатор посылает целевому устройству и ожидает их результата. Команды эти посылаются в виде блоков описания команды (Command Description Block или CDB). Блок состоит из одного байта кода команды и ее параметров. Первым параметром почти всегда выступает LUN. CDB может иметь длину от 6 до 32 байт, хотя последние версии SCSI допускают CDB переменной длины.

После получения команды целевое устройство возвращает код подтверждения. 00h означает что команда принята успешно, 02h обозначает ошибку, 08h — занятое устройство.

Команды делятся на 4 большие категории. N, от английского «non-data», предназначены для операций, не относящихся к непосредственно обмену данными. W, от «write» — запись данных, полученных целевым устройством от инициатора. R, как не сложно догадаться от слова «read» используется для чтения. Наконец В — для двустороннего обмена данными.

Команд SCSI существует достаточно много, поэтому перечислим только наиболее часто используемые.

Test unit ready (00h) — проверить, готово ли устройство, есть ли в нем диск (если это ленточный накопитель), раскрутился ли диск и так далее. Стоит отметить, что в данном случае устройство не производит полной самодиагностики, для этого существуют другие команды.
Inquiry (12h) — получить основные характеристики устройства и его параметры
Send diagnostic (1Dh) — произвести самодиагностику устройства — результаты этой команды возвращаются после диагностики командой Receive Diagnostic Results (1Ch)
Request sense (03h) — команда позволяет получить статус выполнения предыдущей команды — результатом этой команды может стать как сообщение типа «нет ошибки», так и разные сбои, начиная с отсутствия диска в накопителе и заканчивая серьезными проблемами.
Read capacity (25h) — позволяет узнать объем целевого устройства
Format Unit (04h) — служит для деструктивного форматирования целевого устройства и подготовки его к хранению данных.
Read (4 варианта) — чтение данных; существует в виде 4 разных команд, отличающихся длиной CDB
Write (4 варианта) — запись. Так же как и для чтения в 4 вариантах
Write and verify (3 варианта) — запись данных и проверка
Mode select (2 варианта) — установка различных параметров устройства
Mode sense (2 варианта) — возвращает текущие параметры устройства

А теперь рассмотрим несколько типичных примеров организации хранения данных на SAS.

Пример первый, сервер хранения данных.

Что это такое и с чем его едят? Большие компании типа Amazon, Youtube, Facebook, Mail.ru и Yandex используют сервера этого типа для того, чтобы хранить контент. Под контентом понимается видео, аудио информация, картинки, результаты индексирования и обработки информации (например, так популярный в последнее время в США, Hadoop), почта, и.т.д. Для понимания задачи и грамотного выбора оборудования под нее нужно дополнительно знать несколько вводных, без которых никак нельзя. Первое и самое главное – чем больше дисков – тем лучше.

Дата-центр одной из российских Web 2.0-компаний

Процессоры и память в таких серверах задействуются не сильно. Второе – в мире Web 2.0, информация хранится географически распределено, несколько копий на различных серверах. Хранится 2-3 копии информации. Иногда, если она запрашивается часто, хранят больше копий для балансировки нагрузки. Ну и третье, исходя из первого и второго, чем дешевле – тем лучше. В большинстве случаев все вышесказанное приводит к тому, что используются Nearline SAS или SATA диски высокой емкости. Как правило, Enterprise-уровня. Это значит, что такие диски предназначены для работы 24×7 и стоят значительно дороже своих собратьев, использующихся в настольных PC. Корпус обычно выбирают такой, куда можно вставить побольше дисков. Если это 3.5’’, то 12 дисков в 2U.

Типичный 2U-сервер хранения данных

Или 24 x 2.5’’ в 2U. Или другие варианты в 3U, 4U и.т.д. Теперь, имея корпус, количество дисков и их тип, мы должны выбрать тип подключения. Вообще-то выбор не очень большой. А сводится он к использованию экспандерного или безэкспандерного бэкплейна. Если мы используем экспандерный бекплейн, то контроллер SAS может быть 8-портовым. Если безэкспандерный – то количество портов контроллера SAS должно равняться или превышать количество дисков. Ну и последнее, выбор контроллера. Мы знаем количество портов, 8, 16, 24, например и выбираем контроллер исходя из этих условий. Контроллеры бывают 2х типов, RAID- и HBA. Отличаются они тем, что RAID-контроллеры поддерживают уровни RAID 5,6,50,60 и имеют достаточно большой объем памяти (512MB-2ГБ сегодня) для кэширования. У HBA памяти или cовсем нет, или ее очень мало. Кроме этого, HBA либо не умеют делать RAID вообще, либо умеют олько простые, не требующие большого объема вычислений уровни. RAID 0/1/1E/10 – типичный набор для HBA. Здесь нам нужен HBA, они стоят значительно дешевле, так защита данных нам не нужна совсем и мы стремимся к минимизации стоимости сервера.

16-портовый SAS HBA

Пример второй, почтовый сервер Exchange. А также MDaemon, Notes и другие подобные сервера.

SSD- кэширующий RAID-контроллер Nytro MegaRAID

Пример третий, внешняя система хранения данных своими руками.

Итак, самое серьезное знание SAS, конечно же, требуется тем, кто производит системы хранения данных или хочет их сделать своими руками. Мы остановимся на достаточно простой СХД, программное обеспечение для которой производится компанией Open-E. Конечно же, можно делать СХД и на Windows Storage Server, и на Nexenta, и на AVRORAID, и на Open NAS, и на любом другом подходящем для этих целей софте. Я просто обозначил основные направления, а дальше вам помогут сайты производителей. Итак, если это внешняя система, то мы почти никогда не знаем, сколько же дисков потребуется конечному пользователю. Мы должны быть гибкими. Для этого есть так называемые JBOD – внешние полки для дисков. В их состав входит один или два экспандера, каждый из которых имеет вход (4-х портовый разъем SAS), выход на следующий экспандер, остальные порты разведены на разъемы, предназначенные для подключения дисков. Причем, в двухэкспандерных системах первый порт диска разведен на первый экспандер, второй порт – на второй экспандер. Это позволяет строить отказоустойчивые цепочки JBOD-ов. Головной сервер может иметь внутренние диски в своем составе, либо не иметь их совсем. В этом случае используются «внешние» контроллеры SAS. То есть контроллеры с портами «наружу». Выбор между SAS RAID-контроллером или SAS HBA зависит от управляющего ПО, которое вы выбираете. В случае Open-E, это RAID-контроллер. Можно позаботиться и об опции кэширования на SSD. Если ваша СХД будет иметь очень много дисков, то решение Daisy Chain (когда каждый последующий JBOD подключается к предыдущему, либо к головному серверу) в силу многих причин не подходит. В этом случае головной сервер либо оснащается несколькими контроллерами, либо используется устройство, которое называется SAS-коммутатор. Он позволяет подключать один или несколько серверов к одному или нескольким JBOD. Подробнее SAS-коммутаторы мы разберем в следующих статьях. Для внешних систем хранения данных настоятельно рекомендуется использовать диски только SAS (в том числе NearLine) в силу повышенных требований к отказоустойчивости. Дело в том, что протокол SAS имеет в своем составе гораздо больше функций, чем SATA. Например, контроль записываемых-считываемых данных на всем пути с помощью проверочных сумм (T.10 End-to-End protection). А путь, как мы уже знаем, бывает очень длинным.

Напоследок, хочется поделиться некоторыми сведениями о текущей адаптации SAS мировыми производителями оборудования. SAS сегодня – это стандарт де-факто для серверных систем и профессиональных рабочих станций. Серверные системы подавляющего большинства как A- так и B- брендов имеют в составе контроллеры SAS, как HBA, так и RAID. В области внешних систем хранения данных, основные производители оборудования (HP, EMC, NetApp, IBM) уже несколько лет как перевели внутренние архитектуры своих систем на SAS. Таким образом, диски Fibre Channel стали за последние пару лет настоящей экзотикой. Fibre Channel продолжает жить и развиваться, в основном, как способ подключения серверов к системам хранения данных, хотя в области Low-End, Mid-Range и профессиональных систем, SAS отвоевывает все большую долю.

На этом наш экскурс в мир истории и теории SCSI вообще и SAS в частности подошел к концу, и в следующий раз я расскажу вам более подробно о применении SAS в реальной жизни.

Источник

Что такое SAS-экспандер?

SAS-экспандер — это коммутирующее устройство, обеспечивающее подключение к общей топологии нескольких SAS-инициаторов и таргетов.

Экспандер хранит таблицу маршрутизации с WWN-адресами подключенных к SAS-домену узлов и обменивается данными о маршрутизации и зонировании (начиная с SAS-2) с другими экспандерами в домене.

Обычно экспандер обеспечивает через встроенный SMP-таргет мониторинг: показания термодатчиков, скорость вращения вентиляторов, состояние блоков питания.

Вам также может понравиться

Интегрированные RAID-контроллеры

Встроены в материнскую плату. Отдельный чип выполняет часть задач по управлению, но всё же тоже задействует центральный процессор. Интегрированные контроллеры могут иметь […]

Что такое Barebone?

Что такое PCIe?

PCI Express, или PCIe, или PCI-E (также известная как 3GIO for 3rd Generation I/O; не путать с PCI-X и PXI) PCIe – […]

Настройки переключателя ASUS PIKE II 3008-8i

При использовании в вашей системе более одной карты ASUS PIKE II, убедитесь, что вы вручную устанавливаете настройки булавки на коммутаторе (переключателе) на каждой […]

Источник

НАКОПИТЕЛИ

SAS 6 Гбит/с: новый стандарт корпоративных систем хранения данных

Введение

Уже несколько лет стандарт Serial Attached SCSI (SAS) постепенно вытесняет стареющий интерфейс Small Computer System Interface (SCSI) в бизнес-сегменте и в хранилищах корпоративного класса. Если SCSI является технологией на основе параллельной шины со многими ограничениями, то SAS относится к архитектуре с последовательными соединениями, что позволяет создавать сложные решения хранения данных с очень хорошей масштабируемостью и гибкостью. Стандарт SAS второго поколения продолжает улучшать архитектуру, начнём хотя бы с увеличения скорости передачи данных с 3 до 6 Гбит/с.

Почему SAS?

SAS 2.0

Стандарт SAS второго поколения увеличивает скорость соединения с 3 до 6 Гбит/с. Данный прирост скорости очень важен для сложных окружений, где требуется высокая производительность из-за высокоскоростных хранилищ. Новая версия SAS также призвана снизить сложность прокладки кабелей, а также число соединений на Гбит/с пропускной способности, увеличивая возможную длину кабелей и улучшая работу экспандеров (разбиение на зоны и автоматическое обнаружение). Чуть ниже мы поговорим об этих изменениях в деталях.

Увеличение скорости SAS до 6 Гбит/с

Чтобы донести преимущества SAS до более широкой аудитории, SCSI Trade Association (SCSI TA) представила учебник по технологии SAS на конференции Storage Networking World Conference, которая прошла чуть раньше в этом году в Орландо (США, Флорида). Так называемый SAS Plugfest, где демонстрировалась работа SAS на 6 Гбит/с, совместимость и функции, прошёл ещё раньше в ноябре 2008 года. LSI и Seagate стали первыми на рынке, кто представил «железо», совместимое с SAS на 6 Гбит/с, но остальные производители тоже должны вскоре подтянуться. В нашей статье мы рассмотрим текущее состояние технологий SAS и некоторые новые устройства.

Функции и основы SAS

Фундаментальные основы SAS

В отличие от SATA, интерфейс SAS работает на основе полного дуплекса, предоставляя полную пропускную способность в обоих направлениях. Как уже упоминалось ранее, соединения SAS всегда устанавливаются через физические подключения, используя уникальные адреса устройств. Напротив, SATA может адресовать только номера портов.

Такие функции, как разбиение по зонам (zoning) теперь позволяют администраторам привязывать конкретные устройства SAS к инициаторами. Именно здесь будет полезна увеличенная пропускная способность SAS 6 Гбит/с, поскольку у четырёхканального соединения теперь будет в два раза большая скорость. Наконец, устройства SAS могут даже иметь несколько адресов SAS. Поскольку накопители SAS могут использовать два порта, с одним PHY на каждом, то накопитель может иметь два адреса SAS.

Соединения и интерфейсы

Адресация соединений SAS происходит через порты SAS, используя SSP (Serial SCSI Protocol), но связь на нижнем уровне от PHY до PHY осуществляется, используя одно или несколько физических соединений по причинам увеличения пропускной способности. SAS использует кодирование 8/10 бит, чтобы преобразовывать 8 бит данных в 10-символьные передачи в целях восстановления синхронизации, баланса DC и определения ошибок. В итоге мы получаем эффективную пропускную способность 300 Мбайт/с для режима передачи 3 Гбит/с и 600 Мбайт/с для подключений 6 Гбит/с. Технологии Fibre Channel, Gigabit Ethernet, FireWire и другие работают по схожей схеме кодирования.

Интерфейсы питания и данных SAS и SATA очень похожи друг на друга. Но если у SAS интерфейсы данных и питания объединены в один физический интерфейс (SFF-8482 на стороне устройства), то SATA требует двух раздельных кабелей. Зазор между контактами питания и данных (см. иллюстрацию выше) в случае SAS закрыт, что не позволяет подключать устройство SAS к контроллеру SATA.

С другой стороны, устройства SATA могут прекрасно работать на инфраструктуре SAS благодаря STP или в «родном» режиме, если не используются экспандеры. STP добавляет дополнительную задержку при прохождении через экспандеры, поскольку им нужно устанавливать соединение, что происходит медленнее, нежели прямая связь SATA. Впрочем, задержки всё равно очень малы.

Домены, экспандеры

SAS 1.1 распознаёт граничные экспандеры (edge expander), которые позволяют инициатору SAS связываться с до 128 дополнительными адресами SAS. В домене SAS 1.1 можно использовать только два граничных экспандера. Впрочем, один экспандер расширения (fanout expander) может подключать до 128 граничных экспандеров, что существенно увеличивает возможности инфраструктуры вашего решения SAS.

По сравнению с SATA интерфейс SAS может показаться сложным: разные инициаторы обращаются к целевым устройствам через экспандеры, что подразумевает прокладку соответствующих маршрутов. SAS 2.0 упрощает и улучшает прокладку маршрутов.

Следует помнить, что SAS запрещает петли или множественные пути. Все соединения должны быть «точка-точка» и эксклюзивными, но сама по себе архитектура подключений хорошо масштабируется.

Новые функции SAS 2.0: экспандеры, производительность

Зоны экспандера и автоматическая конфигурация

Граничные (edge) и расширяющие (fanout) экспандеры практически остались в истории. Это часто связывают с обновлениями в SAS 2.0, но причина на самом деле кроется в зонах SAS, появившихся в 2.0, которые позволяют убрать разделение между граничными и расширяющими экспандерами. Конечно, зоны обычно реализуются специфически для каждого производителя, а не как единый индустриальный стандарт.

По сути, теперь на одной инфраструктуре доставки информации можно располагать несколько зон. Это значит, что к целям (накопителям) в хранилище могут обращаться разные инициаторы через один и тот же экспандер SAS. Сегментация домена выполняется через зоны, доступ осуществляется эксклюзивным образом.

Теперь функция обнаружения устройств перешла от инициаторов к эспандерам SAS, что позволяет экспандерам автоматически конфигурировать свои функции. Время обнаружения в крупных топологиях теперь может быть уменьшено, а зоны стандартизированы, чтобы избавиться от решений собственных стандартов.

Удвоенная пропускная способность

SAS 2.0 удваивает пропускную способность на порт с 3 до 6 Гбит/с. То есть для четырёхканальных подключений она увеличивается с 1,2 Гбайт/с до 2,4 Гбайт/с. Поскольку HBA-контроллеры SAS обычно предоставляют восемь портов, организованных в виде двух четырёхканальных подключений, то эффективная максимальная пропускная способность на контроллер составляет 4,8 Гбайт/с.

Источник