faqs.org.ru

 Главная > Компьютеры и комплектующие > Носители информации >

FAQ по практической реализации RAID

Секция 2 из 2 - Предыдущая - Следующая

3. Полнофункциональные RAID-контоллеры.
Данные RAID-контроллеры содержат «на борту» все необходимое для работы с высокопроизводительными дисковыми системами: BIOS, позволяющий независимо от используемой ОС конфигурировать и форматировать RAID любого уровня; RISC-процессор для быстрого вычисления контрольных сумм и коррекции ошибок «на лету»;
кэш-память для хранения часто используемых данных; до 3-х канальных контроллеров, работающих независимо, каждый из которых поддерживает до 15 дисководов. Такие RAID-контоллеры выпускаются в виде платы для установки в PCI шину. Наиболее известные модели:

Ultra Wide SCSI контроллер фирмы Mylex DAC960PJ/DAC960PG

Ultra2 SCSI контроллер фирмы Mylex eXtremeRAID 1100

Ultra Wide SCSI контроллер фирмы AMI MegaRAID® Ultra (Series 428)

Ultra2 SCSI контроллер фирмы AMI MegaRAID® Ultra2 LVD (Series 438)


Mylex DAC960PJ/DAC960PG

Mylex eXtremeRAID 1100

AMI MegaRAID® Ultra (Series 428)

AMI MegaRAID® Ultra2 LVD (Series 438)

Основные характеристики RAID-контоллеров:

Модель/параметр Mylex DAC960PJ/DAC960PG Mylex eXtremeRAID 1100 AMI MegaRAIDR Ultra (Series 428) AMI MegaRAIDR Ultra2 LVD (Series 438)
RISC процессор i960RD 66MHz / i960RP 33MHz StrongArm SA 110 233MHz i960 CA 33 Mhz i960RD 66MHz
Кэш 4-128MB ECC EDO JEDEC SIMM 32MB/64MB на плате 2*4-64MB FPM parity SIMM 4-64MB ECC EDO JEDEC SIMM
Разрядность PCI шины 32 bit 64 bit 32 bit 32 bit
Поддерживаемые уровни RAID 0, 1, 0+1, 3, 5, 10, 30, 50, JBOD 0, 1 , 0+1, 3, 5, 10, 30, 50& JBOD 0, 1, 3, 5, 10, 30 & 50 0, 1, 3, 5, 10, 30 & 50
Кол-во SCSI каналов 1-3 3 1-3 1-3
Тип SCSI канала на контроллере UltraWide SCSI Ultra2 SCSI (LVD) UltraWide SCSI Ultra2 SCSI (LVD)
Кластеризация RAID-контоллеров Нет Да (NT only) Optional Firmware with Multi-Initiator Support Да
Автоматическое определение неисправных дисков Да Да Да Да
Поддержка Hot swapping Да Да Да Да
Поддержка Hot spare Да Да Да Да
Батарейный модуль для защиты кэша Поставляется отдельно Поставляется отдельно Да
Программа конфигурирования In BIOS In BIOS In BIOS In BIOS
Программа управления Global Array Manager Global Array Manager Power Console Plus Power Console Plus
MTBF, часов 200,000 200,000 ? ?
Драйвера для ОС Windows NT server 3.51/ 4.0, NetWare 3.x/4.x/5.x and SMP, SCO UnixWare 2.x, UNIX OSR 5.x Windows NT server 3.51/ 4.0, NetWare 3.x/4.x/5.x and SMP, SCO UnixWare 2.1/7.0, UNIX OSR 5.x Windows NT 3.51/4.0, NetWare 3.1x/4.x, SCO UNIX SVR 4.2/ODT 3.0/ 5.0, OS/2 2.x/ Warp 3.x/4, UnixWare SMP 2.x/7.0, Solaris 2.6 Windows NT 3.x/4.0, NetWare 3.1x/4.x/5.0, SCO UNIX SVR 2.x/4.2/ODT 3.0/ 5.0, UnixWare&SMP 2.x/7.0, Linux Redhat, Solaris 2.6/7, OS/2 Warp

а) Одноканальный Ultra2 SCSI PCI RAID-контоллер фирмы American Megatrends (AMI) MegaRAIDR Express Plus (Series 466). Основные характеристики:
- Поддерживаемые уровни RAID: 0, 1 , 0+1, 3, 5, 10, 30, 50& JBOD
- RISC сопроцессор Intel i960RRP 32 bit 33 MHz
- Кэш 4-128MB, один 72 Pin FPM parity SIMM
- AMIBIOSR RAID Firmware на Flash EPROM
- Хранение конфигурации RAID в энергонезависимой памяти
- Звуковая сигнализация аварийных состояний
- Поддержка Hot Spare для замены "на лету" вышедшего из строя дисковода
- Поддержка Hot Swap для подключения новых дисководов без выключения системы
- Программа управления MegaRAIDR Management
- Драйвера для Windows NT3.5x/4.0, NetWare3.1x/4.x/5.0, SCO UNIX 2.x SVR 4.2/ODTR 3.0/5.0, Linux Redhat, Solaris 2.6/7, OS/2 Warp

Выводы: полнофункциональные RAID-контроллеры отвечают самым высоким требованиям, как по производительности, так и по надежности и их можно рекомендовать для серверов среднего и верхнего уровней. Пользователям следует обратить внимание на повышенные требования к качеству модулей памяти, используемых для кэша, особенно в контроллерах с тактовой частотой RISC процессора более 33 MHz. Рекомендуем, во избежание проблем, приобретать контроллеры с уже установленными <фирменными> модулями памяти.

4. Внешние RAID-контроллеры.

Несмотря на прекрасные характеристики выше перечисленных RAID-контроллеров, все они имеют существенный недостаток, связанный с их конструкцией. Эти контроллеры являются <внутренними> в том смысле, что они управляются и получают напряжение питания через внутреннюю PCI шину системной платы. Очевидно, что сбои и отказы системной платы могут привести к искажениям или потере данных в RAID-массиве. От этого недостатка свободны так называемые внешние RAID-контроллеры. Здесь термин <внешние> имеет двойное значение: а) такие контроллеры, как правило, размещаются в отдельном корпусе (обычно вместе с RAID-массивом), имеющем свой независимый блок питания и б) управляются через внешний канал SCSI-контроллера, подключенного к системной плате. С точки зрения SCSI-контроллера внешний RAID-контроллер с дисковым массивом выглядит как один SCSI дисковод. Даже конструктивно внешний RAID-контроллер имеет габариты 3,5" или 5,25" дисковода. На лицевой панели внешнего RAID-контоллера может находиться ЖК-индикатор, отображающий состояние и параметры контроллера и клавиатура для управления и настройки. Другой особенностью конструкции является модульность: внешний RAID-контроллер может состоять из основной <материнской> платы и <дочерних> плат, на которых располагаются дополнительные каналы. Разные модели <дочерних> плат могут содержать разные типы каналов-Ultra Wide SCSI, LVD SCSI или FC-AL, причем эти каналы могут быть двунаправленными, то есть работать как Host для подключенных к ним дисков, или как Drive при подключении к другому контроллеру. Очевидно, что внешние RAID-контроллеры стоят значительно дороже, чем аналогичные <внутренние> модели, однако эта разница окупается за счет более широких возможностей внешнего RAID-контроллера.

Наличие двунаправленных каналов и внешнее исполнение позволяет создавать так называемые кластерные дисковые системы с недостижимой ранее надежностью. В таких системах несколько серверов соединены одновременно с несколькими RAID-контроллерами, которые, в свою очередь, управляют несколькими общими дисковыми массивами, причем отказ любого компонента такой системы (сервера, RAID-контроллера, диска, блока питания, кабеля и т.д.) не ведет к отказу всей системы, а только несколько снижает ее производительность.

Наиболее известные модели внешних RAID-контроллеров:

Ultra2-to-Ultra2 SCSI RAID-контоллер фирмы Infortrend IFT-3101U2G

Ultra2-to-Ultra2 SCSI RAID-контоллер фирмы Infortrend IFT-3102U2G

Fibre to Ultra2 SCSI RAID-контоллер фирмы AMI MegaRAIDR Explorer 500

Fibre to Ultra2 SCSI RAID-контоллер фирмы Mylex DACFL



Infortrend IFT-3101U2G

Infortrend IFT-3102U2G

AMI MegaRAIDR Explorer 500

Mylex DACFL

Модель/параметр Infortrend IFT-3101U2G Infortrend IFT-3102U2G AMI MegaRAIDR Explorer 500 Mylex DACFL
Формат 3.5" full-height 5.25", half-height 3.5" full-height 5.25", half-height
RISC сопроцессор 64-bit RISC 100 MHz Dual i960RD 66MHz
Кэш 8-128MB ECC EDO JEDEC SIMM 8-128MB ECC EDO JEDEC SIMM 16-128MB ECC SDRAM DIMM 2*4-128MB
Поддерживаемые уровни RAID 0, 1, 0+1, 3, 5, 10, 30, 50, JBOD 0, 1 , 0+1, 3, 5, 10, 30, 50& JBOD 0, 1, 3, 5, 10, 30 & 50 0, 1, 0+1, 3, 5, 10, 30, 50, JBOD
Кол-во и тип SCSI каналов на основном модуле 2 Ultra2 SCSI 4 Ultra2 SCSI 2 Ultra2 SCSI (to Connect to the Drives)2 Fibre (to Connect to the Host) 4 Ultra2 SCSI (to Connect to the Drives)2 Fibre (to Connect to the Host)
Кол-во и тип SCSI каналов на дочерних модулях 2 Ultra2 SCSI (IFT-9152)2 Ultra Wide, Diff. (IFT-9152D)2 Fibre (IFT-9152F) 4 Ultra2 SCSI (IFT-9174) 2 Ultra2 SCSI + 2 Ultra Wide, Diff. (IFT-9174U2D)2 Ultra2 SCSI + 2 Fibre (IFT-9174U2F) . .
Кластеризация RAID-контоллеров Да Да . Windows NT and UNIX
Автоматическое определение неисправных дисков Да Да Да Да
Поддержка Hot swapping Да Да Да Да
Поддержка Hot spare Да Да Да Да
Батарейный модуль для защиты кэша Нет IFT-9070 + IFT-9010 (Поставляется отдельно) Да Да
Способы конфигурирования и управления С лицевой панели, с эмулятора терминала через RS-232, с сервера, с рабочей станции через сеть С лицевой панели, с эмулятора терминала через RS-232, с сервера, с рабочей станции через сеть С лицевой панели, с эмулятора терминала через RS-232, с сервера, с рабочей станции через сеть Global Array Manager
MTBF, часов 200,000 200,000 ? 100,000
Драйвера для ОС OS independent OS independent OS independent OS independent

Выводы: внешние RAID-контроллеры обеспечивают самый высокий уровень производительности и надежности из всех типов RAID-контроллеров. Их можно рекомендовать для серверов среднего и верхнего уровней. Наличие FC-AL каналов позволяет разнести сервер и RAID-массив на значительное расстояние для защиты данных. Двунаправленные каналы позволяют объединять контроллеры и дисковые массивы в сверхнадежный кластер. Нечувствительность к операционным системам упрощает настройку и устраняет <вечный источник> проблем - <кривые> драйвера. Единственный недостаток - относительно высокая цена, однако, в ряде случаев, применение внешнего RAID-контроллера может дать экономию средств. Например, если в системе должны работать два сервера с RAID-массивами, то применение одного внешнего RAID-контроллера с общим дисковым массивом, подключенного к SCSI контроллерам каждого из серверов, позволит сэкономить стоимость внутреннего RAID-контроллера, рационально использовать дисковое пространство, упростить настройку и обслуживание.

Что, помимо контроллера, необходимо для практической реализации RAID?

Как уже отмечалось, основная задача RAID-контроллеров - обеспечение высокой надежности хранения и быстрого доступа к данным, хранящимся в дисковом массиве, а также высокого уровня сервиса при обслуживании дискового массива. Для оптимального функционирования RAID-контроллера и полного использования его возможностей необходимо при заказе RAID-массива (помимо самого контроллера и дисководов) обсудить ряд вопросов, которые в значительной степени повлияют на качество работы и стоимость будущего RAID-массива.

Технология Hot Swap (замена "на лету") вышедшего из строя дисковода
Как уже отмечалось, основные задачи RAID-контроллеров - обеспечение высокой надежности хранения и быстрого доступа к данным, хранящимся в дисковом массиве, а также высокого уровня сервиса при обслуживании. Однако само по себе применение RAID-контроллера не исключает вероятность выхода из строя любого из дисководов, входящих в RAID-массив. В этом случае, если используется RAID с избыточностью (т.е. любого уровня кроме <0>), система может продолжать работать (благодаря избыточности данных RAID-контроллер сможет восстановить информацию, хранившуюся на <потерянном> дисководе). Но такой режим работы уже не является защищенным (сбой или выход из строя любого дисковода приведет к полной потере всех данных) и пользователь вынужден остановить систему, чтобы извлечь неисправный дисковод и заменить его на новый. Если даже кратковременная остановка системы или вмешательство в нее не желательно, то необходимо применить технологию Hot Swap, которая позволяет менять дисководы (и не только их) не выключая системы. Для этого необходимо:

а) RAID-контроллер, поддерживающий режим Hot Swap (и этот режим должен быть включен);
б) Специальный конструктив, который позволит менять дисководы, не разбирая корпус системы.
В качестве такого конструктива можно использовать:
1) Специальный корпус для винчестера - <рэк> (rack), состоящий из "коробочки", внутри которой находится 3,5" дисковод, которая вставляется в П-образную рамку, закрепляемую в стандартное 5,25" гнездо корпуса системы. На рамке рэка расположены блок управления питанием дисковода и замок с ключом, который механически запирает/отпирает дисковод и включает/выключает напряжение, подаваемое на дисковод. Обычно рэки имеют переключатель SCSI ID-номера дисковода, индикатор SCSI ID-номера, индикатор обращения к дисководу и 1 или 2 вентилятора. Достоинства: удобный, защищающий дисковод корпус, безопасная (для работающей системы) процедура замены дисковода, наличие индикаторов и охлаждающих вентиляторов. Недостатки: относительно высокая цена (от $50 до $150 на дисковод), дополнительные разъемы и схемы, которые могут стать источником отказов.
2) <корзина> для SCSI-дисководов с разъемом SCA (80 контактный разъем, в котором объединены сигнальные провода и питание). <корзина> представляет собой П-образную раму, которая занимает два или четыре стандартных 5,25" гнезда корпуса системы, и, в которую можно вставить до трех или шести SCA SCSI-дисководов соответственно. Ответные части SCA SCSI-разъемов впаяны в печатную плату, заменяющую гибкий шлейф, на которой установлены переключаемый SCSI-терминатор, разъемы для подключения к контроллеру и к следующей корзине и перемычки (переключатели) для установки SCSI ID-номера дисководов. В <корзине> могут быть установлены вентиляторы. Достоинства: относительно невысокая цена (около $60 на дисковод), простая конструкция. Недостатки: корпус дисковода не защищен от механических повреждений во время замены, процедура замены дисковода небезопасна для работающей системы, отсутствуют индикаторы SCSI ID-номера и индикаторы обращения к дисководу.
Технология Hot Spare (горячее резервирование) вышедшего из строя дисковода
Технологию Hot Spare иногда рассматривают как алтернативу Hot Swap, хотя это не совсем верно. Для реализации Hot Spare необходимо:
а) RAID-контроллер, поддерживающий режим Hot Spare (и этот режим должен быть включен);
б) По крайней мере, один дополнительный дисковод к которому, так же как и к остальным дисководам, входящим в дисковый массив, подключены питающий и сигнальный кабель.
Во время инициализации RAID-массива этот дополнительный дисковод включается в состав RAID, но не как активный, а как Hot Spare, т.е. находящийся в горячем резерве. В случае выхода из строя любого из дисководов, входящих в RAID-массив, RAID-контроллер автоматически отключает неисправный дисковод и активизирует резервный. Перенос (восстановление) информации также происходит в фоновом режиме без прерывания работы системы.

Достоинства: время, в течение которого RAID-массив находится в незащищенном режиме сведено к минимуму.
Недостатки: требуется дополнительный дисковод (который большую часть времени не участвует в работе системы, но потребляет энергию и выделяет тепло); после <срабатывания> Hot Spare в массиве больше не остается резервного дисковода и, чем раньше, тем лучше, потребуется остановить систему, что бы заменить неисправный дисковод. Выход очевиден: применять технологию Hot Spare вместе с Hot Swap!

Кабельная система
Когда к контроллеру подключается один или два дисковода, которые находятся внутри корпуса компьютера, у пользователя не возникает проблем с интерфейсным кабелем, который соединяет эти устройства. Другое дело, когда необходимо подключить к контроллеру большое количество дисководов и тем более, если они находятся в отдельном корпусе, удаленном от контроллера. Дело в том, что каждое устройство, подключаемое к общему интерфейсному кабелю, вносит значительную активную (омическую) и реактивную (емкостную) нагрузку. Да и сам интерфейсный кабель имеет распределенную емкость. Все это приводит к тому, что при некоторой длине интерфейсного кабеля и/или при некотором количестве подключенных к этому кабелю устройств (для RAID-массива это, как правило, дисководы) система дисковод-контроллер не сможет нормально функционировать на заданной скорости.

Проблема осложняется тем, что ошибка в расчете кабельной нагрузки (т.е. допустимой длины кабеля и допустимого количества подключенных устройств) может проявиться далеко не сразу. Например, в SCSI-интерфейсе используется технология повторения передачи команды или данных, если предыдущая передача прошла с ошибкой, а многие SCSI-контроллеры умеют автоматически снижать скорость передачи до уровня, при котором количество ошибок передачи будет на приемлемом уровне. Таким образом, внешне кажется, что все работает нормально, вот только быстродействие системы далеко от ожидаемой!

Таким образом, прежде чем проектировать дисковую систему, полезно обратиться к техническому описанию на контроллер, где, как правило, приведены зависимости между скоростью обмена, количеством устройств и допустимой длиной интерфейсного кабеля. Здесь полезно еще раз отметить неоспоримое преимущество интерфейса Ultra2 SCSI над Ultra Wide SCSI, которое благодаря технологии LVD позволяет не только в два раза увеличить скорость обмена, но и при этом как минимум в два раза увеличить допустимую длину интерфейсного кабеля.

Другая особенность кабельной системы - терминаторы - устройства, которые не дают образовываться отраженным от концов интерфейсного кабеля сигналам и обеспечивают необходимый ток в сигнальных проводах. Для осуществления первой функции терминаторы должны устанавливаться по обоим концам интерфейсного кабеля и только там. Некоторые пользователи в целях экономии используют терминаторы, которые имеются на некоторых дисководах. Для дисковых массивов, особенно использующих интерфейс Ultra2 SCSI, это недопустимо. Так как все дисководы в массиве должны быть одинаковыми и взаимозаменяемыми, лучшим решением будет отдельный терминатор, который монтируется на конце интерфейсного кабеля за последним дисководом (при этом, естественно, на всех дисководах терминация должна быть выключена). Для осуществления второй функции желательно, чтобы этот терминатор был активным, тогда необходимый уровень тока в линии будет постоянно поддерживаться на нужном уровне, независимо от количества подключенных дисководов.

Что делать, если требуемая длина интерфейсного кабеля превышает максимально допустимую при заданном количестве дисководов и скорости обмена? Возможны следующие варианты:

- разбить дисковый массив на 2-3 группы дисководов и применить 2-х или 3-х канальный RAID-контроллер, каждый из каналов которого будет обслуживать свою небольшую группу дисководов;
- применить внешний RAID-контроллер, если дисковый массив должен быть внешним;
- применить другой интерфейс: например, Ultra2 SCSI вместо Ultra Wide SCSI или Fibre Chanel место Ultra2 SCSI.


Источник питания
При проектировании дисковой системы необходимо обратить внимание на качество исполнения источника питания. Причины две:

- каждый дисковод потребляет до 40 Ватт (особенно в момент пуска), что дает значительную нагрузку на блок питания;
- бесполезно пытаться создать надежный RAID-массив только за счет надежного RAID-контроллера и избыточного дискового массива, если все это будет подключено к ненадежному источнику питания.
Вывод: для питания дискового массива необходимо применять резервированный (т.е. сдвоенный, с функцией горячей замены) блок питания с отдаваемой мощностью не менее 250 Ватт.

Дополнительное охлаждение
Как уже отмечалось, компоненты RAID-массива (контроллер и особенно дисководы) потребляют и, соответственно, выделяют в виде тепла сотни Ватт. Это тепло необходимо постоянно отводить иначе перегрев может привести к отказу контроллера или дисководов. Для этой цели используются дополнительные вентиляторы, часть которых работает непосредственно на обдув дисководов, часть на вытяжку горячего воздуха, а часть на приток холодного.

Copyright (c) 1997-2000 3DNews
При цитировании документа ссылка на сайт с указанием автора обязательна. Полное заимствование документа является нарушением российского и международного законодательства и возможно только с согласия редакции 3DNews.

Секция 2 из 2 - Предыдущая - Следующая

Вернуться в раздел "Носители информации" - Обсудить эту статью на Форуме
Главная - Поиск по сайту - О проекте - Форум - Обратная связь

© faqs.org.ru