rdimm что это за память
Регистровая память ˗ эксклюзивная серверная начинка
Приветствую вас, мои дорогие читатели. Предметом нашей сегодняшней беседы будет регистровая память. Большинство из вас скорей всего впервые слышат этот термин, поскольку обычные пользовательские компьютеры не имеют к нему никакого отношения. А раз так, то логично предположить, что такой модуль обладает какими-то дополнительными или незаурядными возможностями.
Речь идет о разновидности оперативной памяти, и вы скажете, что неплохо было бы ее заполучить и опробовать в деле. Но давайте не будем спешить. Дочитайте статью до конца и вы, узнаете не только, что это за память, но и что с ней можно и что нельзя делать.
Для начала определимся с терминами.
Регистровая память (Registered Memory) обозначается аббревиатурой RDIMM, так как является разновидностью обычной DIMM памяти, которую мы хорошо знаем как DDR2, DDR3, DDR4.
Соответственно нерегистровую память называют, unregistered DRAM или UDIMM. Так же регистровую память именуют буферной, что справедливо в отношении принципа ее работы.
Для чего нужны регистры?
Теперь вспомним, как работает ОЗУ. Данные загружаются в нее с жесткого диска, но команды на выполнение этих действий идут из центрального процессора. А точнее из контроллера памяти, который напрямую связан с чипами оперативки. При работе обычных компьютеров (даже игровых) все процессы происходят в штатном режиме.
Но вот в серверах интенсивность обращений к оперативке намного выше, причем одновременно может обрабатываться множество невзаимосвязанных запросов. Очевидно, что при этом может быть задействовано сразу несколько микросхем ОЗУ, что приводит к повышению токовой нагрузки на контроллер и увеличивает риск выхода его из строя.
Чтобы повысить надежность системы «Оперативная память – Контроллер» между ними интегрируется регистровый модуль, в котором происходит предварительная буферизация информации при ее чтении или записи. Сам этот чип располагается непосредственно на планке оперативной памяти, которая поэтому и называется регистровой.
Как опознать RDIMM?
Выходит, у регистровой памяти отличие от обычной в дополнительной микросхеме, спросите вы? Конечно да, но не спешите заниматься подсчетом чипов.
Дело в том, регистровая память используется исключительно как серверная. А значит, в ней обязательно должна быть реализована технология ECC (error-correcting code memory), назначение которой ˗ коррекция ошибок в считываемой из ОЗУ информации. Специальный процессор, так же установленный на плашке оперативки, сверяя её с исходными данными, записанными в память, и способен при этом обнаружить несоответствие бита в одном машинном слове.
Обычно на 8 микросхем ОЗУ идет один модуль ECC и один регистровый, который, кстати, отличается меньшими размерами. Зная это, при беглом взгляде на планку памяти можно подсчитать общее количество чипов и сделать вывод о том обычная это оперативка или нет.
Чтобы не запутаться в подсчёте микросхем я все-таки предлагаю обращать внимание на маркировку, по которой вы легко определите регистровую память. Просто прочитайте, что написано в конце: если есть символы «R» или «REG» то это она.
Необычные качества регистровой памяти
Теперь поговорим об особенностях регистровой памяти. Это полезная информация, особенно для тех, кто возжелал с ее помощью апгрейдить свой ПК:
Дополнительный буферный элемент в структуре связи между ОЗУ и контроллером влияет на быстродействие памяти, ведь каждое обращение к регистрам производится потактово. А значит, на величину такта такая память будет медленнее обычной. Если сравнивать с SDRAM то задержка имеет место для начального цикла запросов.
Вот такая она, регистровая память.
Нравится вам это, или нет, но она не для всех. Да, она и по цене дороже, и в продаже встречается не так часто. Но главное, у нее узкая серверная специализация. Но, друзья, согласитесь, RDIMM это очень интересный объект, изучив который вы не только повысили уровень своих компьютерных знаний, но и получили дополнительную информацию о работе оперативки.
На этом я заканчиваю нашу беседу и желаю вам всем процветания и успехов.
990x.top
Простой компьютерный блог для души)
RDIMM — что это за память? (буферизованная, buffered memory)
Приветствую. Данный материал расскажет о типе модулей оперативки RDIMM, постараюсь написать все простыми словами.
RDIMM — что это такое?
Модули серверной памяти, которые содержат отдельный регистр для адресов оперативной памяти и команд.
RDIMM расшифровывается как Registered DIMM, то есть регистровая память.
Суть заключается в том, что контроллер оперативки в процессоре обращается к регистрам, которые в свою очередь передают информацию в микросхемы RAM. Такой подход позволяет увеличить количество используемых планок оперативки на канал за счет снижения электрической нагрузки на сам контроллер. Контроллер находится в процессоре (как и встроенное графическое ядро), хотя раньше он был расположен в отдельном чипе на материнской плате.
Регистровая память (RDIMM) более медленная — содержит более длительные задержки в процессах чтения/записи данных. Это как раз происходит из-за наличия промежуточного устройства — буфера (отдельного регистра), прохождение которого требует некоторого дополнительного времени.Сам буфер необходим для команд при работе с памятью. Однако есть и плюс — из-за данного буфера снижается нагрузка на сам процессор, так как буфер также взаимодействует с банками памяти.
Такие планки также могут называться буферизованными, так как буфер — и есть отдельный регистр.
RDIMM используется только в серверах, так как из-за своих особенностей позволяет установить больше планок оперативки на один процессор.
RDIMM — можно ли установить в обычный компьютер?
Обычно — нет. Однако есть некоторые материнские платы, предназначенные для домашнего компьютера, которые поддерживают буферизованную память (RDIMM). Однако здесь также важно чтобы поддерживал процессор.
Например процессоры Intel Xeon — поддерживают буферизованную память, их можно использовать и для домашнего компьютера и если материнка поддерживает RDIMM (и серверные процессоры) — можно ставить буферизованную память.
Обычно на официальном сайте материнской плате указывается поддерживает плата RDIMM или нет. Выше на картине видим надпись Un-buffered memory — это означает что плата не (Un) поддерживает буферизованную оперативку (buffered memory).
Память для серверов часто продают б/у по небольшим ценам, но учтите, что она немного медленнее, требует поддерживаемого оборудования. Также учтите что она уже прилично отработала свое, так как сервера обычно трудятся 24 часа 7 дней в неделю (годами).
Заключение
Про ранги и виртуализацию в RAM
В продолжение рубрики «конспект админа» хотелось бы разобраться в нюансах технологий ОЗУ современного железа: в регистровой памяти, рангах, банках памяти и прочем. Подробнее коснемся надежности хранения данных в памяти и тех технологий, которые несчетное число раз на дню избавляют администраторов от печалей BSOD.
Старые песни про новые типы
Сегодня на рынке представлены, в основном, модули с памятью DDR SDRAM: DDR2, DDR3, DDR4. Разные поколения отличаются между собой рядом характеристик – в целом, каждое следующее поколение «быстрее, выше, сильнее», а для любознательных вот табличка:
Для подбора правильной памяти больший интерес представляют сами модули:
RDIMM — регистровая (буферизованная) память. Удобна для установки большого объема оперативной памяти по сравнению с небуферизованными модулями. Из минусов – более низкая производительность;
UDIMM (unregistered DRAM) — нерегистровая или небуферизованная память — это оперативная память, которая не содержит никаких буферов или регистров;
LRDIMM — эти модули обеспечивают более высокие скорости при большей емкости по сравнению с двухранговыми или четырехранговыми модулями RDIMM, за счёт использования дополнительных микросхем буфера памяти;
HDIMM (HyperCloud DIMM, HCDIMM) — модули с виртуальными рангами, которые имеют большую плотность и обеспечивают более высокую скорость работы. Например, 4 физических ранга в таких модулях могут быть представлены для контроллера как 2 виртуальных;
Попытка одновременно использовать эти типы может вызвать самые разные печальные последствия, вплоть до порчи материнской платы или самой памяти. Но возможно использование одного типа модулей с разными характеристиками, так как они обратно совместимы по тактовой частоте. Правда, итоговая частота работы подсистемы памяти будет ограничена возможностями самого медленного модуля или контроллера памяти.
Для всех типов памяти SDRAM есть общий набор базовых характеристик, влияющий на объем и производительность:
частота и режим работы;
Конечно, отличий на самом деле больше, но для сборки правильно работающей системы можно ограничиться этими.
Частота и режим работы
Понятно, что чем выше частота — тем выше общая производительность памяти. Но память все равно не будет работать быстрее, чем ей позволяет контроллер на материнской плате. Кроме того, все современные модули умеют работать в в многоканальном режиме, который увеличивает общую производительность до четырех раз.
Режимы работы можно условно разделить на четыре группы:
Single Mode — одноканальный или ассиметричный. Включается, когда в системе установлен только один модуль памяти или все модули отличаются друг от друга. Фактически, означает отсутствие многоканального доступа;
Dual Mode — двухканальный или симметричный. Слоты памяти группируются по каналам, в каждом из которых устанавливается одинаковый объем памяти. Это позволяет увеличить скорость работы на 5-10 % в играх, и до 70 % в тяжелых графических приложениях. Модули памяти необходимо устанавливать парами на разные каналы. Производители материнских плат обычно выделяют парные слоты одним цветом;
Triple Mode — трехканальный режим работы. Модули устанавливаются группами по три штуки — на каждый из трех каналов. Аналогично работают и последующие режимы: четырехканальные (quad-channel), восьмиканальные (8-channel memory) и т.п.
Для максимального быстродействия лучше устанавливать одинаковые модули с максимально возможной для системы частотой. При этом используйте установку парами или группами — в зависимости от доступного многоканального режима работы.
Ранги для памяти
Ранг (rank) — область памяти из нескольких чипов памяти в 64 бита (72 бита при наличии ECC, о чем поговорим позже). В зависимости от конструкции модуль может содержать один, два или четыре ранга.
Узнать этот параметр можно из маркировки на модуле памяти. Например уKingston число рангов легко вычислить по одной из трех букв в середине маркировки: S (Single — одногоранговая), D (Dual — двухранговая), Q (Quad — четырехранговая).
Пример полной расшифровки маркировки на модулях Kingston:
Серверные материнские платы ограничены суммарным числом рангов памяти, с которыми могут работать. Например, если максимально может быть установлено восемь рангов при уже установленных четырех двухранговых модулях, то в свободные слоты память добавить не получится.
Перед покупкой модулей есть смысл уточнить, какие типы памяти поддерживает процессор сервера. Например, Xeon E5/E5 v2 поддерживают одно-, двух- и четырехранговые регистровые модули DIMM (RDIMM), LRDIMM и не буферизированные ECC DIMM (ECC UDIMM) DDR3. А процессоры Xeon E5 v3 поддерживают одно- и двухранговые регистровые модули DIMM, а также LRDIMM DDR4.
Немного про скучные аббревиатуры таймингов
Тайминги или латентность памяти (CAS Latency, CL) — величина задержки в тактах от поступления команды до ее исполнения. Числа таймингов указывают параметры следующих операций:
CL (CAS Latency) – время, которое проходит между запросом процессора некоторых данных из памяти и моментом выдачи этих данных памятью;
tRCD (задержка от RAS до CAS) – время, которое должно пройти с момента обращения к строке матрицы (RAS) до обращения к столбцу матрицы (CAS) с нужными данными;
tRP (RAS Precharge) – интервал от закрытия доступа к одной строке матрицы, и до начала доступа к другой;
tRAS – пауза для возврата памяти в состояние ожидания следующего запроса;
Разумеется, чем меньше тайминги – тем лучше для скорости. Но за низкую латентность придется заплатить тактовой частотой: чем ниже тайминги, тем меньше допустимая для памяти тактовая частота. Поэтому правильным выбором будет «золотая середина».
Существуют и специальные более дорогие модули с пометкой «Low Latency», которые могут работать на более высокой частоте при низких таймингах. При расширении памяти желательно подбирать модули с таймингами, аналогичными уже установленным.
RAID для оперативной памяти
Ошибки при хранении данных в оперативной памяти неизбежны. Они классифицируются как аппаратные отказы и нерегулярные ошибки (сбои). Память с контролем четности способна обнаружить ошибку, но не способна ее исправить.
Для коррекции нерегулярных ошибок применяется ECC-память, которая содержит дополнительную микросхему для обнаружения и исправления ошибок в отдельных битах.
Метод коррекции ошибок работает следующим образом:
При записи 64 бит данных в ячейку памяти происходит подсчет контрольной суммы, составляющей 8 бит.
Когда процессор считывает данные, то выполняется расчет контрольной суммы полученных данных и сравнение с исходным значением. Если суммы не совпадают – это ошибка.
Технология Advanced ECC способна исправлять многобитовые ошибки в одной микросхеме, и с ней возможно восстановление данных даже при отказе всего модуля DRAM.
Исправление ошибок нужно отдельно включить в BIOS
Большинство серверных модулей памяти являются регистровыми (буферизованными) – они содержат регистры контроля передачи данных.
Регистры также позволяют устанавливать большие объемы памяти, но из-за них образуются дополнительные задержки в работе. Дело в том, что каждое чтение и запись буферизуются в регистре на один такт, прежде чем попадут с шины памяти в чип DRAM, поэтому регистровая память оказывается медленнее не регистровой на один такт.
Все регистровые модули и память с полной буферизацией также поддерживают ECC, а вот обратное не всегда справедливо. Из соображений надежности для сервера лучше использовать регистровую память.
Многопроцессорные системы и память
Для правильной и быстрой работы нескольких процессоров, нужно каждому из них выделить свой банк памяти для доступа «напрямую». Об организации этих банков в конкретном сервере лучше почитать в документации, но общее правило такое: память распределяем между банками поровну и в каждый ставим модули одного типа.
Если пришлось поставить в сервер модули с меньшей частотой, чем требуется материнской плате – нужно включить в BIOS дополнительные циклы ожидания при работе процессора с памятью.
Для автоматического учета всех правил и рекомендаций по установке модулей можно использовать специальные утилиты от вендора. Например, у HP есть Online DDR4 (DDR3) Memory Configuration Tool.
Итого
Вместо пространственного заключения приведу общие рекомендации по выбору памяти:
Для многопроцессорных серверов HP рекомендуется использовать только регистровую память c функцией коррекции ошибок (ECC RDIMM), а для однопроцессорных — небуферизированную с ECC (UDIMM). Планки UDIMM для серверов HP лучше выбирать от этого же производителя, чтобы избежать самопроизвольных перезагрузок.
В случае с RDIMM лучше выбирать одно- и двухранговые модули (1rx4, 2rx4). Для оптимальной производительности используйте двухранговые модули памяти в конфигурациях 1 или 2 DIMM на канал. Создание конфигурации из 3 DIMM с установкой модулей в третий банк памяти значительно снижает производительность.
Список короткий, но здесь все самое необходимое и наименее очевидное. Конечно же, старый как мир принцип RTFM никто не отменял.
Применение модулей LRDIMM в высокопроизводительных серверах
LRDIMM (Load-Reduced Dual Inline Memory Module или «DIMM со сниженной нагрузкой») – тип модулей памяти, поддерживаемых серверными платформами с 2012 года. Модули LRDIMM схожи с регистровыми модулями DIMM и подходят к тем же разъемам памяти. Однако принцип работы LRDIMM отличается от RDIMM. Используя LRDIMM в обычном сервере можно сделать 512Гб, 1Тб или 1,5Тб памяти.
Буфер памяти – основа технологии LRDIMM
Регистровые модули DIMM подключаются напрямую к шине, соединенной с контроллерами памяти процессора. В режиме работы с модулями DIMM контроллер памяти управляет каждой микросхемой DRAM, подключенной к управляющей линии модуля. И чем больше этих микросхем в модуле памяти (так называемые ранги), тем больше электрическая нагрузка на контроллер. Ранг – количество наборов микросхем, подключенных к одной линии выбора микросхемы. Ранг является характеристикой модуля памяти. Ниже показаны двух- и четырехранговый модули памяти.
Двухранговый модуль – это два логических модуля, распаянных на печатной плате и пользующихся поочередно одним и тем же физическим каналом передачи данных. Четырехранговый – аналогичное решение, но уже в четырехкратном масштабе.
RDIMM – это регистровый модуль памяти. Наименование «регистровый» означает, что модули этого типа имеют буферизирующий регистр, который используется для буферизации адресных и командных сигналов.
В случае LRDIMM к шине добавлена специальная микросхема буфера памяти, прикрепленная к каждому модулю. При работе контроллера с модулями LRDIMM управление сводится к отправке пакетной информации (данные и команды) в этот буфер модуля – iMB (Isolation Memory Buffer). В отличие от модулей RDIMM, буферизуются не только сигналы управления, но и данные.
Буфер управляет всеми операциями чтения и записи в DRAM. Через него проходят сигналы данных и команд/адресов – это посредник между контроллером памяти (Host Memory Controller) и DRAM.
При добавлении новых микросхем DRAM (рангов) на регистровые модули DIMM электрическая нагрузка модулей памяти повышается. С увеличением количества рангов на канал памяти снижается быстродействие памяти – скорость её работы. Для модулей RDIMM оптимальной является установка не более двух модулей DIMM на канал, поскольку при использовании третьего банка скорость работы памяти снижается. Канал – это «путь» от модуля памяти к контроллеру, по которому передаются считываемые и записываемые данные.
Модули LRDIMM не имеют таких ограничений, потому что используют микросхемы буфера памяти. При работе с LRDIMM контроллеры памяти в процессорах функционируют в последовательном режиме. Команды и данные передаются в буфер памяти, который управляет всеми операциями чтения и записи в DRAM.
Умножение рангов
Модули LRDIMM значительно снижают электрическую нагрузку микросхем DRAM на шину данных, а благодаря так называемому умножению рангов (Rank Multiplication). Физические ранги DRAM выглядят для контроллера памяти как один логический ранг большей емкости. Ниже показано умножение рангов для трех LRDIMM на канал памяти.
Умножение рангов можно отключить, установить в 2:1 или 4:1 – до 8 физических рангов на LRDIMM. Например, четырехранговые модули LRDIMM преобразуются для контроллера памяти в двухранговые. То есть четырехранговый модуль контроллер воспринимает как двухранговый, а восьмиранговый – как четырехранговый. За счет этого нагрузка многорангового модуля становится в два раза ниже. В результате сервер может поддерживать модули LRDIMM с повышенными скоростями по сравнению с модулями RDIMM.
Уменьшение электрической нагрузки позволяет системе с LRDIMM работать с большей скоростью (тактовой частотой памяти) при той же емкости, или же увеличить емкость ОЗУ, сохранив ту же скорость, что в конфигурации с RDIMM.
Таким образом, на практике LRDIMM можно использовать для увеличения скорости работы памяти и/или увеличения ее емкости. Модули LRDIMM обеспечивают более высокие скорости при большей емкости для пользователей, требованиям которых не удовлетворяют двухранговые модули RDIMM емкостью 16 Гбайт или четырехранговые модули RDIMM емкостью 32 Гбайт.
Например, двух процессорный сервер с двадцатью четырьмя разъемами памяти можно сконфигурировать следующим образом:
Если использовать четырехранговые модули LRDIMM, которые контроллер памяти воспринимает как двухранговые, то можно установить до 12 модулей по 32 Гбайта на процессор – всего 768 Гбайт памяти, работающей на более высокой частоте. Сейчас появились LRDIMM на 64 и 128 Гигабайт, это позволяет получить фантастический объем памяти на сервере — до 1,5-2Тб!
Заметим, что комбинировать LRDIMM и DIMM нельзя – система просто не запустится.
Особенности LRDIMM
Кроме увеличения емкости оперативной памяти и её быстродействия архитектура LRDIMM обладает рядом других полезных особенностей. iMB, буфер памяти LRDIMM, поддерживает средства тестирования DRAM и LRDIMM, включая прозрачный режим и MemBIST (Memory Built-In Self-Test), VREF (voltage reference) для шины данных (DQ) и команд/адресов (CA), проверку четности для команд, встроенное управление, аналогичное регистру 32882 для RDIMM, опциональный интерфейс SMBus (Serial Management Bus) для регистров конфигурации и состояния LRDIMM, а также интегрированный температурный датчик.
Прозрачный режим (Transparent Mode): используется для тестирования модуля памяти. Модуль работает просто как буфер и передает сигналы и данные на микросхемы DRAM.
MemBIST: для инициализации DRAM и тестирования компонентов память LRDIMM поддерживает функцию MemBIST (Memory Built-In-Self Test). Она служит для полного тестирования DRAM. Тестирование выполняется с рабочей частотой, используется доступ по шине команд/адресов или по SMBus.
VREF: модули LRDIMM могут использовать внешние параметры напряжения для данных (VREFDQ) и команд/адресов (VREFCA) или внутренние, из буфера памяти. Если VREF задается буфером памяти, то уровнем напряжения может управлять хост – контроллер памяти. Для этого используются регистры конфигурации буфера памяти. Программируемые уровни напряжения позволяют поставщикам модулей памяти и системных компонентов гарантировать надежность и устойчивую работу интерфейсов памяти LRDIMM.
Проверка четности: чтобы выявить на шине команд/адресов искаженные команды, для входящих команд в буфере памяти выполняется проверка четности. При ошибке генерируется сигнал ERROUT_n.
Интерфейс SMBus: буфер памяти поддерживает управление по дополнительному последовательному каналу (out-of-band serial management bus). Оно позволяет записывать и читать данные из регистров состояния.
Температурный датчик: он встроен в буфер памяти и обновляется 8 раз в секунду. Обращаться к нему можно через интерфейс SMBus. Для передачи сообщения контроллеру памяти о высокой температуре можно использовать пин EVENT_n буфера.
Как «разогнать» LRDIMM?
Небуферизированная шина данных остается слабым звеном системы памяти RDIMM. Например, четырехранговый модуль DDR3 RDIMM – это четыре электрических нагрузки на шине данных. Поэтому максимальная скорость четырехрангового DDR3 RDIMM – 1066 MT/с (млн. транзакций в сек) в конфигурации «один DIMM на канал» (один DPC) и 800 MT/с в конфигурации «два DIMM на канал» (два DPC). В LRDIMM буфер использует и шину данных, и шину команд/адресов. Это позволяет увеличить скорость передачи данных и плотность памяти.
Ниже показана диаграмма шины данных четырехрангового модуля RDIMM в конфигурации «два DIMM на канал». Она демонстрирует, что при наличии 8 электрических нагрузок на шине данных целостность сигнала в канале памяти серьезно деградирует, что ограничивает частоту. При восьми электрических нагрузках и 1333 MT/с максимальное «окно данных» (data eye) на шине сокращается до 212 пс в идеальной точке VREF и не превышает 115 мВ при максимальном напряжении. «Окно данных» – это период времени, когда контроллер может считать данные, и этот период сокращается при росте частоты, на которой работает память.
Эффект сжатия окна данных означает, что два четырехранговых модуля RDIMM в конфигурации «два DIMM на канал» для работы на скорости 1333 MT/с не подходят. Приходится выбирать компромисс между емкостью памяти и её скоростью.
ниже показана диаграмма окна данных в случае двух четырехранговых модулей LRDIMM в конфигурации «два DIMM на канал». Электрическая нагрузка 8 физических рангов DRAM заменена двумя электрическими нагрузками буфера памяти. Целостность сигнала значительно улучшилась. Хотя условия аналогичны предыдущей иллюстрации, окно данных увеличилось с 212 до 520 пс, а его максимальная высота выросла со 115 до 327 мВ.
Улучшение целостности сигнала означает, что LRDIMM может работать на скорости 1333 MT/с и выше, даже при нескольких модулях LRDIMM на канал. Не нужно будет выбирать между емкостью и пропускной способностью памяти.
Немного о ёмкости системной памяти
Одно из главных преимуществ LRDIMM – это возможность значительно увеличить емкость ОЗУ, не жертвуя скоростью работы памяти. Благодаря электрической изоляции DRAM от шины данных можно добавлять к каждому DIMM дополнительные ранги при сохранении целостности сигнала, устанавливать на каждый канал памяти дополнительные микросхемы DIMM. Распространенный вариант – LRDIMM емкостью 32 Гбайта. Это 4Rx4 модуля по 4 Гбайта, DDP (dual-die package) DRAM. Поскольку каждый LRDIMM представляет для контроллера памяти одну электрическую нагрузку, можно также установить больше DIMM на канал.
Возьмем, к примеру, двухпроцессорный сервер с тремя разъемами памяти DIMM на канал, четырьмя каналами на ЦП. С помощью LRDIMM емкость ОЗУ у него можно увеличить по сравнению с RDIMM в два-три раза. Ниже приведены максимальные емкости RDIMM и LRDIMM для различных скоростей и напряжений.
Например, для памяти 1,5В DDR3 при скорости 800 MT/с у системы с полным комплектом RDIMM емкость ОЗУ при использовании 16GB 2Rx4 RDIMM на канал может достигать 384 Гбайт. Применение модулей LRDIMM позволяет удвоить эту емкость – до 768 Гбайт. Ограничения системной платы (обычно это 8 рангов DRAM на канал) преодолевается умножением рангов LRDIMM. В данном случае получается 12 физических рангов на канал.
При скорости 1066 или 1333 MT/с ограничения целостности сигнала не позволяют использовать в конфигурации с RDIMM более трех DIMM на канал. Для памяти 1,5В DDR3 с быстродействием 1066 или 1333 MT/с максимальная емкость ОЗУ с RDIMM будет 256 Гбайт. У LRDIMM нет таких ограничений, и можно установить три DIMM на канал при 1066 MT/с (или 1333 MT/с). При этом общая емкость ОЗУ составит 768 Гбайта, то есть втрое больше. Для памяти 1,35В DDR3L со скоростью 1333 MT/с преимущество LRDIMM еще значительнее.
А что с энергопотреблением LRDIMM?
Модули памяти LRDIMM не только позволяют увеличить емкость оперативной памяти севера, но и сделать это с минимальными потерями энергоэффективности. Хотя буфер памяти в LRDIMM в конфигурации «один DIMM на канал» потребляет больше, чем RDIMM в той же конфигурации, в конфигурациях высокой плотности – 2 и 3 DIMM на канал – разница нивелируется.
Ниже показано нормализованное энергопотребление на RDIMM или LRDIMM в конфигурациях с одним и с двумя DIMM на канал при различном быстродействии памяти. Поскольку фактическая потребляемая мощность зависит от плотности и используемой технологии DRAM, относительная мощность показана для модулей LRDIMM и RDIMM одного поколения DRAM. Это модули 4Rx4 емкостью 32 Гбайта. Мощность модуля RDIMM при 800 MT/с принята за единицу. Для измерения использовались стандартные тесты с 50% операция записи и 50% операций чтения.
При 800 MT/с в конфигурации «один DIMM на канал» LRDIMM потребляет на 17% больше электроэнергии, чем RDIMM, но в конфигурации «два DIMM на канал» разница составляет всего 3%. При 1066 MT/с это 15%, но в конфигурации «два DIMM на канал» разница также невелика. При 1333 MT/с потребление мощности на LRDIMM в конфигурации «два DIMM на канал» на 28% меньше, чем в конфигурации «один DIMM на канал».
Ниже представлены аналогичные результаты для 100% чтения. Так как LRDIMM используется в основном в системах с высокой плотностью памяти, больший интерес представляет потребление на LRDIMM в конфигурации «два DIMM на канал». Потерь по энергоэффективности в этом случае практически нет.
Большая часть платформ Intel E5 может поддерживать два модуля LRDIMM на канал при частоте 1333 МГц и напряжении 1,5В и три модуля LRDIMM на канал при 1066 МГц, что позволяет использовать конфигурации с двенадцатью модулями LRDIMM на процессор; при использовании четырехранговых модулей RDIMM задействуются только 8 разъемов на процессор и максимальная скорость составляет 800 МГц.
Нужны ли модули LRDIMM?
Как узнать, нужно ли вообще использовать модули LRDIMM? Определите скорость передачи данных памяти для вашего сервера (см. документы вендора, касающиеся производительности). Если вам необходимо более 8 x 32 Гбайта на процессор, то нужны модули LRDIMM, в противном случае достаточно будет четырехранговых модулей RDIMM емкостью 32 Гбайта с частотой 800 МГц. Если необходимы частоты 1066 МГц или 1333 МГц, следует использовать только модули LRDIMM.
Ниже показаны ограничения по рангам и максимальным частотам функционирования памяти на примере двухпроцессорных материнских плат Supermicro X9 (LGA2011) и X10 (LGA2011-3) серий при установке процессоров Intel Xeon E5 2600 серии разных поколений.
Supermicro X10 Series + E5-2600 v3 (Haswell)
Двухпроцессорные платы Supermicro X10 Series не поддерживают небуферизированные модули памяти (UDIMM). Очевидно, что для достижения максимальной емкости оперативной памяти и максимальной скорости ее функционирования необходимы модули типа LRDIMM DDR4.
Hynix HMTA8GL7AHR4C-PBM2: Оперативная память для сервера, емкость памяти: 64 Гбайта, пропускная способность: PC12800, тип: DDR3 LRDIMM.
Kingston KVR16LL114/32 – модуль памяти DDR3L, емкость 32 Гбайта, форм-фактор LRDIMM, 240-контактный, частота 1600 МГц, поддержка ECC, CAS Latency (CL): 11. Средняя цена такого модуля – 28 тыс. руб.
Модуль памяти Samsung DDR4 2133 Registered ECC LRDIMM 32Gb. Средняя цена – около 22 тыс. руб. Это 288-контактный модуль LRDIMM с частотой 2133 МГц. Есть поддержка ECC, CAS Latency (CL): 15.
Модуль памяти Samsung 32GB 288-Pin DDR4 SDRAM DDR4 2133 (PC4 17000) Server Memory Model M386A4G40DM0-CPB, Cas Latency 15.
В целом модули LRDIMM позволяют до 35% повысить пропускную способность оперативной памяти по сравнению со стандартными модулями RDIMM.
Наибольший эффект применение LRDIMM даст для приложений, интенсивно использующих оперативную память, облачных вычислений и задач HPC (high-performance computing), когда надо загружать в ОЗУ и обрабатывать большие объемы данных. В виртуальной среде это дает возможность увеличить «плотность» виртуальных машин. В дата-центрах – повысить энергоэффективность и уменьшить TCO (Total Cost of Ownership).
Альтернатива? LRDIMM на 128Гб!
Технология не стоит на месте и Samsung представила новые модули памяти LRDIMM емкостью 128 Гбайт. В них применяется технология упаковки микросхем под названием TSV (Through Silicon Via) – чипы DRAM соединяются вертикально с помощью электродов, проходящих через микроскопические отверстия, как они сделали на 3D VNAND.
Память TSV DDR4 DRAM в модулях 128GB RDIMM считается настоящим технологическим прорывом. Ее преимущества – удвоенная по сравнению с прежними стандартными модулями емкость, высокая скорость и эффективность. Благодаря 20-нм техпроцессу у памяти 128GB TSV DDR4 на 50% снижено энергопотребление по сравнения с модулями 64GB LRDIMM. Остается прояснить цену вопроса.
Практическая польза
128Гб в сервер с 8 местами под память можно собрать на DDR3 RDIMM по 16Гбх8, то есть 9000 рублей * 8 = 72000 рублей. На LRDIMM – это две планки на 64Гб по 30500р каждая, то есть затраты составят 61000 рублей, что дешевле традиционного решения. Более того, теперь нет особого смысла переплачивать за материнские платы с 16 слотами памяти – 99% серверов можно собрать на 8-слотовых платах. Это выходит 512Гб памяти на стандартную X9DRL.
Пока крупные DDR4 LRDIMM на 64Гб стоят по 75000р за штуку (модуль памяти 64GB PC17000 LR M386A8K40BM1-CPB0Q SAMSUNG в ЭЛКО). Если ставить по 32Гб, то цена LRDIMM DDR4 в 21000р за штуку – это 84000р за 128Гб, что немногим дороже обычной регистровой памяти.
Всё это позволяет нам в HOSTKEY сдавать крупные выделенные сервера ещё дешевле, снижать цену на виртуальные машины и делать частные кластеры ещё надёжнее и за меньшие деньги.
Немного о HOSTKEY
С 2008 года мы сдаём выделенные и виртуальные сервера в аренду, предоставляем услуги размещения серверов в 4 датацентрах Москвы, включая два Тиер-III сертифицированных ЦОД. Мы специализируемся на крупных выделенных серверах и создании частных облаков и кластеров для наших клиентов на их основе.
Для наших читателей у нас есть горячее предложение: Сервера в наличии на базе суперкомпьютеров Т-Платформы и процессоров Intel Xeon E5-2630v2 со скидкой 15% до конца декабря (или пока они не закончатся) при использовании промокода TMW5U0S8SE
Например, для сравнения:
– 2xE5-2630v2 (12×2,6 GHz)/64Gb RAM/1x1Tb SSD+1x1Tb 7,2K HDD = 17000р в месяц, со скидкой 14450.
– 2xE5-2630v2 (12×2,6 GHz)/128Gb RAM/1x2Tb SSD+1x2Tb 7,2K HDD = 25700р в месяц, со скидкой 21800
– 2xE5-2630v2 (12×2,6 GHz)/256Gb RAM/2х2Tb Samsung SSD = 36500р в месяц, со скидкой 31000
– 2xE5-2630v2 (12×2,6 GHz)/32Gb RAM/2х600Gb SAS 10K = 13650р в месяц, со скидкой 11600р
Все цены с НДС, конфигурация возможна практически любая.
Все сервера подключены на гигабитном канале, лимит трафика 10Тб без ограничений. К каждому выделенному серверу предоставляется удаленный доступ через IPMI, возможна организация VLAN на скорости до 10Gbps.