Архитектуры хранения данных для совместного доступа
Основные преимущества совместного доступа к ресурсам хранения/резервного копирования можно сформулировать следующим образом. Для дисковых систем:
• уменьшение административных затрат;
• лучшая централизация ресурсов;
• масштабируемость и простое развертывание;
• нет необходимости в дополнительных серверах.
Для ленточных систем:
Амортизация ленточных систем.
Так как несколько серверов пользуются одним и тем же устройством, уменьшается общая стоимость владения системой. За те же деньги можно получить гораздо большую емкость.
Упрощение управления.
Централизация и организация совместного доступа к ресурсам резервного копирования позволяет уменьшить количество подлежащих резервному копированию/архивированию серверов.
Уменьшение рисков.
Минимальная зависимость от работоспособности единственного сервера резервного копирования. При выходе из строя сервера его функции можно передать другому подключенному к сети серверу.
Эволюция и перспективы резервного копирования данных
Александр Горловой
«Экспресс-Электроника», #06/2003
В важности резервного копирования данных сомневаться не приходится. С другой стороны, постоянно совершенствуются технологии хранения данных, требования как к хранилищам данных, так и к системам резервного копирования становятся все более жесткими. Что же мы имеем сейчас и что нас ожидает?
До недавнего времени хранение данных было лишь малой частью компьютерной инфраструктуры на предприятии. По мере роста объемов и ценности, увеличивалась и значимость данных, а их хранение стало одной из важнейших составляющих современного центра обработки данных. Если в 2000–2001 годах объемы вкладываемых в системы хранения средств примерно соответствовали объемам средств, тратившихся на сами серверы, то к 2003 году соотношение изменилось, и объем средств, вкладываемых в системы хранения данных существенно превысил аналогичный объем для серверов (примерно 25% против 75%). Правда, теперь к стоимости самого оборудования прибавляется стоимость средств для управления данными.
Можно сказать, что хранение данных стало ключевым ресурсом современных информационных технологий и важность этого ресурса постоянно растет.
Совершенствование сетевых технологий, эволюция архитектур и быстродействия процессоров обусловили развитие сегодняшнего компьютерного мира. Также эволюционировали инфраструктуры систем хранения данных. При изменении требований к этим системам улучшались и технологии записи и чтения магнитных лент. В настоящее время основными областями применения магнитных лент являются резервное копирование, архивирование, системы HSM (иерархическое хранение данных).
Наиболее часто магнитные ленты используются для резервного копирования данных. Развитие технологии хранения данных привело к упрощению организации совместного пользования устройствами, увеличению пропускной способности соединений, оптимизации поддержки работоспособности и лучшему масштабированию.
Существует несколько типовых архитектур хранения данных.
Технологии подключения к ресурсам в среде совместного доступа
В настоящее время основными применяемыми технологиями являются Fibre Channel и сетевые технологии на основе Ethernet (в основном 100BaseT и Gigabit Ethernet).
Среда Fibre Channel — это логическое развитие стандарта SCSI, более привлекательное для хранения данных. Fibre Channel представляет физический транспортный уровень и набор спецификаций, которые позволяют маршрутизировать и пересылать по оптическим линиям команды SCSI. Можно сказать, что Fibre Channel предоставляет новый уровень возможностей пользователям параллельного SCSI (возможности коммутации, организация петель, большая пропускная способность, большие расстояния).
Перспективы развития технологии Fibre Channel представлены в таблице 1.
Среда на базе Ethernet
Привлекательность Ethernet и его производных заключается в том, что это устоявшийся и широко распространенный стандарт, чего нельзя сказать о Fibre Channel. Отработанные технологии маршрутизации и коммутации позволяют разработчикам эффективно поектировать сети и специально под трафик систем хранения данных, и соединения «островов» хранения данных.
Кроме того, идея использовать единую технологию для огранизации SAN и LAN выглядит довольно привлекательно, так как в этом случае не нужен дополнительный специально обученный персонал для работы с Fibre Channel и не потребуется более дорогое оборудование.
Правда, несмотря на то, что стандарты Ethernet и Gigabit Ethernet уже существуют, процесс приспособления сетевых технологий для хранения и резервного копирования данных только начинается.
Для устройств NAS (подключаемое к сети хранилище данных) некоторые стандарты уже сформировались (Network File System — NFS, Common Internet File System — CIFS).
Сегодня работа над упрощением подключения сетевых систем хранения продолжается. Некоторые сложности вызваны тем, что все архитектуры хранения данных имеют в основе своей блоки команд SCSI. Дисковые и ленточные устройства последние 20 лет работали под прямым управлением блоков команд SCSI, получаемых от операционной системы или приложения.
Fibre Channel можно рассматривать всего лишь как среду передачи SCSI по оптическим линиям. Для протоколов уровня файлов требуется другой подход. Компании-производители (например, Network Appliance) использовали и оптимизировали существующие стандарты (NFS, CIFS), что облегчило доступ к ресурсам хранения данных (дисковые системы) по сетям Ethernet, используя UDP/IP, TCP/IP. До недавнего времени термин Network Attached Storage или Appliance обозначал только дисковую (т. е. первичную) систему хранения данных.
С появлением Gigabit Ethernet ситуация изменилась. В некоторых реализациях компоненты Gigabit Ethernet могут работать с существующими кабельными сетями (cat5 или лучше). В настоящее время уже ожидается начало поставок 10 Gigabit Ethernet.
На рис. 2 представлена величина пропускной способности для сетей и для подключаемых устройств. Можно заметить, что в течение многих лет развитие сетевых технологий не приводило к значительному росту пропускной способности. Коммутируемая среда Gigabit Ethernet определила экспоненциальный рост пропускной способности сетей.
Сетевые технологии применительно к хранению и резервному копированию имеют свои достоинства и недостатки.
Достоинства
• Обслуживающий персонал уже знаком с основными технологиями.
• Возможность проектировать сети с заданным трафиком. Использование подсетей, технологий коммутации и маршрутизации позволяет достаточно комфортно наращивать сеть по мере необходимости.
• Устойчивые, отработанные драйверы, устойчивость к сбоям и распространенность. Драйверы пишутся и встраиваются в приложения и операционные системы уже много лет. Все основные операционные системы имеют поддержку TCP/IP. В основу SCSI (соответственно и Fibre Channel) заложен постулат гарантированных коммуникаций (т. е. то, что было отправлено, будет получено адресатом).
В основе TCP/IP, наоборот, заложена устойчивость к сбоям в канале передачи (повторная отправка, перемаршрутизация в случае неблагоприятных условий).
• Высокая эффективность вложенных средств. Благодаря большим объемам потребления сетевого оборудования и конкуренции между изготовителями стоимость сетевой инфраструктуры сильно уменьшилась и продолжает сокращаться. На рис. 3 приведены изменения стоимости сетей в пересчете на один порт.
Недостатки
Сетевые приложения, особенно приложения, работающие с лентами, требуют передачи по сети больших блоков данных. Сетевые технологии, основанные на TCP/IP, требуют обработки стеков TCP на обоих концах тракта передачи данных. Обработка стека в свою очередь является довольно ресурсоемкой задачей и может существенно снизить производительность всей системы. Все изготовители лихорадочно работают над созданием аппаратных ускорителей (которые могли бы снять с CPU функции обработки стека TCP) или над созданием более быстрых процессоров.
Если для Gigabit Ethernet эти трудности так или иначе удалось преодолеть, то с выходом на рынок технологии 10 Gigabit Ethernet достигнутый уровень снова станет «нулевой отметкой».
Стандартов для подключения ленточных устройств к сети до недавнего времени не существовало. А в отсутствии стандартов изготовители ленточных NAS-устройств сталкиваются со следующими трудностями:
• Недостаток сетевых стандартов для ленточных устройств. Существующие стандарты для дисковых устройств для лент непригодны для лент. Сейчас формируются новые стандарты именно для ленточных устройств и, скорее всего, через некоторое время установится несколько стандартов.
• Недостаточная гибкость приложений. Приложения резервного копирования в основном рассчитаны на работу с обычными подключенными к серверам SCSI-приводами магнитных лент и роботизированными механизмами. Поэтому приложение при работе полностью захватывает ленточные ресурсы. Для того чтобы те же приложения могли работать в новой среде, требуется добавление специальных программных модулей.
Эти опции для организации совместного доступа к устройствам первоначально были сделаны для сетей хранения данных (SAN) на базе Fibre Channel.
• Ленточные ресурсы требуют подключения на уровне блоков данных. Стандарты подключения на уровне файлов, которые хороши для дисковых систем (NFS, CIFS), в данном случае не годятся.
• Важность уровня производительности. В отличие от дисковых систем, приложения, работающие с лентами, требуют несколько большей пропускной способности и поддержания постоянного потока данных. Только в этом случае ленточное устройство будет работать с максимальной эффективностью. Это стало возможным только с появлением Gigabit Ethernet и технологии коммутации. Другая сложность состоит в том, что обработка стеков TCP/IP требует много процессорных ресурсов. Это решается при помощи более быстрых процессоров и сетевых карт с аппаратной обработкой стеков.
• Размер пакетов. Для приложений, работающих с лентами, увеличение блоков данных, передаваемых по шине SCSI, ведет к существенному повышению производительности системы. Для устройств с произвольным доступом это совсем не так, потому что данные на дисках заведомо имеют фрагментарную структуру. Большинство операций с дисками заканчивается чтением или записью небольших объемов данных. Для лент, наоборот, как правило, передаются мегабайты или гигабайты данных. Поэтому увеличение размера блока или пакета данных позволит увеличить пропускную способность за счет уменьшения дополнительной нагрузки. В технологиях TCP/IP используются пакеты с переменной длиной от 60 до 1518 байт. Для сетей хранения данных предложен новый стандарт, Jumbo Frames, где размер сетевого пакета составляет примерно 9000 байт.
Для того чтобы в полной мере пользоваться преимуществами совместного доступа к ленточным устройствам, изготовителям нужно преодолеть указанные выше трудности. Необходимые для этого технологии доступны уже сегодня.
Для организации совместного доступа к ресурсам хранения/резервного копирования по IP-сетям в настоящее время существует несколько протоколов.
Это протокол, ориентированный на хранение данных и предназначенный для подключения SCSI-устройств при помощи сетей TCP/IP. На рис. 4 показано, как работает среда iSCSI.
Аналогично протоколу ITP, в среде iSCSI используется виртуальный адаптер, который принимает команды SCSI от операционной системы и транслирует их в маршрутизируемые сетевые пакеты. Переданная по сети команда на приемной стороне реассемблируется и передается на SCSI-устройство.
ITP
Протокол предложен компанией Spectra Logic специально для обеспечения работы приводов магнитных лент, автозагрузчиков и библиотек с существующими приложениями и операционными системами, пока спецификация iSCSI
не будет окончательно ратифицирована. Так же, как и в случае iSCSI, команды SCSI инкапсулируются в серию небольших сетевых пакетов и маршрутизируются на соответствующее устройство, подключенное к сети. ITP использует технологию TCP/IP, что позволяет гарантировать доставку пакетов по назначению. ITP работает аналогично iSCSI, за исключением некоторых дополнений, улучшаюших безопасность и интероперабельность между существующими устройствами, операционными системами и приложениями резервного копирования. Пользователи ITP легко смогут перейти на iSCSI, как только этот стандарт будет ратифицирован и появятся соответствующие программные драйверы устройств.
iFCP
Это протокол-шлюз, предназначенный для подключения построенных на Fibre Channel сетей хранения данных (SAN) и устройств SCSI. FCP представляет собой протокол Fibre Channel для SCSI. Он картирует команды SCSI и связанные с ними данные на транспортный уровень Fibre Channel FC-2. iFCP картирует существующий стандарт FCP и связанные с ним службы Fibre Channel на TCP/IP. Можно использовать даже при ненадежной работе основной сети IP.
Основное преимущество iFCP как протокола — вход в SAN заключается в картировании FCP на TCP, делая возможным сетевые (а не «точка-точка») соединения между сетями хранения. Таким образом, iFCP предлагает альтернативу для туннелирования фреймов Fibre Channel в TCP/IP.
Для существующих драйверов и контроллеров FCP протокол iFCP предоставляет надежную транспортную среду между доменами SAN, и при этом никаких модификаций существующих продуктов не требуется.
Так как xFCP используют уровень FC layer 4, то можно ожидать интероперабельности с огромным числом существующих сегодня на рынке устройств и приложений SAN. Эта стратегия предоставляет возможность миграции от сегодняшней продукции к завтрашним сетям хранения данных, основанных на IP.
mFCP (Metro FCP) — сетевой протокол для хранения данных, интероперабельный с iFCP. Это протокол для глобальных и локальных сетей хранения данных, который позволяет устройствам хранения FCP применять для сетевых подключений UDP/IP и Gigabit Ethernet. Протокол mFCP представляет прямую альтернативу транспортному механизму Fibre Channel. Существующие драйверы и контроллеры FCP можно использовать без всяких модификаций. iFCP предназначен для работы в высоконадежных сетях с малой задержкой. За счет того, что тактовая частота у Gigabit Ethernet выше, чем у Fibre Channel, можно получить и большую пропускную способность.
NDMP — Network Data Management Protocol, сетевой протокол управления данными. Это протокол, базирующийся на открытых стандартах, предназначенный для выполнения резервного копирования сетевых устройств хранения данных в гетерогенной среде на больших предприятиях. Разработан совместно Network Appliance и IntelliGuard Software.
Архитектура состоит из клиент-серверной модели, где приложение резервного копирования является клиентом NDMP-сервера. Сервер NDMP имеет две функции:
1. Сервер данных — служба читает данные с диска и формирует в специальном формате поток данных NDMP или читает поток NDMP и записывает его на диск, в зависимости от того, какая операция (резервное копирование или восстановление данных) выполняется.
2. Сервер лент — служба считывает поток NDMP и записывает его на ленту или считывает данные с ленты и формирует поток NDMP, в зависимости от выполняемой операции.
Jumbo Frames. С появлением Gigabit Ethernet, увеличением сетевого трафика, инициатив использования IP для целей хранения данных обычная упаковка данных в небольшие сетевые пакеты стала препятствием для достижения максимальной производительности сетей, серверов и устройств хранения данных. Увеличение размера фрейма с 1518 до 9000 байт — совершенно логичный шаг к увеличению производительности. Увеличенные и стандартные пакеты прозрачны друг для друга, поэтому они вполне могут сосуществовать в одной сети. Применение Jumbo Frames позволяет с одной стороны увеличить пропускную способность на 50%, а с другой стороны, уменьшить на 50% загрузку центрального процессора.
Есть и другие протоколы, связанные с сетевым хранением данных. Это SNMP — Simple Network Management Protocol. Протокол создан как интероперабельный инструмент управления большой сетью с оборудованием от разных производителей. Также есть HTTP/FTP. Данный протокол схож с SNMP, используется для доступа к устройствам через веб с целью конфигурации и апгрейда внутреннего программного обеспечения.
В рамках одной статьи невозможно разобрать все существующие протоколы, определить их достоинства и недостатки. Но этого и не требуется. К тому же само разнообразие говорит о том, что единого на все случаи решения нет и пока не предвидится.
Что же делать системному администратору, когда для обеспечения оптимальной работы системы резервного копирования данных в корпоративной сети нужно пользоваться несколькими протоколами?
Самый простой и дорогой способ — поставить несколько специализированных библиотек магнитных лент и по мере необходимости продолжать этот процесс.
Более интересное решение — концепция специализированной операционной системы для магнитных лент, предложенная компанией Spectra Logic. Фирменное название TAOS (Tape Appliance Operation System).
Эта архитектура предлагает подход, который, с одной стороны, базируется на существующих стандартах, а с другой — не зависит от конкретного протокола. В нем поддержаны все существующие для ленточных систем сетевые стандарты.
Кроме того, по мере возникновения могут легко добавляться новые протоколы. Первоначально TAOS служил связью между сетями Fibre Channel и устройствами SCSI. Сейчас же фокус сместился в сторону Ethernet и IP.
Преимущества такого подхода особенно хорошо видны на фоне современных тенденций к изменению архитектур хранения данных и связанных с ними протоколов. TAOS-устройства будут поддерживать все основные стандарты хранения данных. Включенное в сеть Ethernet такое устройство само определит присутствующие компоненты (сетевые платы, адаптеры, контроллеры дисков или лент и т. д.), к которым произведено подсоединение, и выберет способ коммуникаций. Если окажется, что устройство включено не в среду TAOS, то взаимодействие произойдет согласно используемому в сети протоколу (iSCSI, iFCP и т. д.). Когда же устройство подключено к среде TAOS, взаимодействие устройств будет гораздо эффективнее, так как архитектура TAOS более оптимизирована для работы с ленточными системами, чем любой из стандартных протоколов.
Для того чтобы начать пользоваться архитектурой TAOS, требуется наличие виртуального адаптера и ленточного устройства с контроллером TAOS, причем это может быть как недорогой автономный привод магнитных лент, так и большая корпоративная библиотека магнитных лент.
Работа арихитектуры TAOS видна из рис. 5. Подразумевается выполнение стандартной операции резервного копирования или восстановления. В качестве приложения может быть стандартное приложение резервного копирования (NetBackup от Veritas, NetWorker от Legato, ARCServe от Computer Associate). Оборудование резервного копирования включает в себя библиотеку магнитных лент с роботизированной системой, приводом (приводами) магнитных лент SCSI.
Приложение инициирует процесс резервного копирования. Вначале процесса приложение транслирует запрос данных в команды операционной системы. Для среды с интерфейсом SCSI операционная система транслирует эти команды в команды SCSI и передает их на уровень драйвера устройств.
Это виртуальный адаптер, или драйвер TAOS, который встраивается в операционную систему и воспринимается ОС как обычный контроллер SCSI.
После «пакетизирования» команд SCSI виртуальный адаптер запускает стандартные службы TCP/IP, или «стек» (для Windows NT это Winsock32). Стек TCP/IP операционной системы направляет пакеты на сетевую карту для дальнейшего маршрутизирования на устройство назначения.
Драйвер устройств TAOS выполняет две задачи. Для маршрутизации SCSI по IP драйвер должен быть сконфигурирован так, чтобы указывать на IP-адрес контроллера (контроллеров) TAOS, стоящих в ленточных устройствах/библиотеках. Вторая функция заключается в соответствующей трансляции протокола. Уровень трансляции протокола может быть сконфигурирован для работы с любым из протоколов хранения данных (iSCSI, ITP и т. д.).
По завершении обработки стека и протокола, контроллер передает команды SCSI на устройство (роботизированная система или привод магнитных лент). Архитектура контроллера такова, что преобразование возможно как на SCSI, так и на Fibre Channel или каком-нибудь новом стандарте, который появится в будущем.
Далее, SCSI устройство обычно передает обратно статус. Весь процесс передачи команды SCSI через IP происходит в обратном направлении. Как только операционная система или приложение получают статус от устройства, может быть запущена следующая команда из последовательности резервного копирования.
Архитектура TAOS обладает следующими преимуществами:
• Независимость от протокола. По мере появления, можно добавлять новые протоколы.
• Совместимость с современными приложениями для управления хранением данных. Несколько виртуальных контроллеров (драйверов TAOS) могут пользоваться одним и тем же физическим ленточным устройством.
• Поддержка всех распространенных операционных систем. В настоящее время есть поддержка для Windows NT, 2000, Sun Solaris, Linux. Существует поддержка работы с NAS устройствами Network Appliance. Работы по поддержке остальных операционных систем в настоящее время продолжаются.
• Поддержка автономных приводов магнитных лент и библиотек. TAOS предоставляет прозрачное подключение для любых автозагрузчиков SCSI, Fibre Channel, оборудованных приводами Sony AIT или DDS, Exabyte VXA, Mammoth, Quantum/Tandberg DLT1, DLT, SDLT, DDS, LTO от Seagate, HP.
• Доступность решений начального уровня. Благодаря невысокой стоимости архитектура TAOS может быть использована и для подключения недорогих автономных приводов магнитных лент.
• Доступность решений класса High-End. С целью полного обеспечения потребностей рынка корпоративных систем есть план развития архитектуры TAOS, где учитываются повышенные требования к производительности, устойчивости к сбоям, функциональности. Этот подход реализован в фирменной архитектуре библиотек магнитных лент Gator, где используется несколько контроллеров TAOS, называемых Quad Interface Controller.
И в завершении обзора архитектуры TAOS несколько слов о логической организации одноименного контроллера.
Физический уровень межсоединений. Назначение в форматировании и передаче данных на подключенные устройства. Каждый контроллер имеет часть для подключения к хосту системы (в настоящее время есть Fibre Channel, 10/100BaseT, Gigabit Ethernet). Для Ethernet-устройств уровень межсоединений имеет сетевые службы MAC и TCP/IP.
Со стороны SCSI обеспечивается подключение к приводам магнитных лент и роботизированным системам.
«Движок» передачи данных.
Используется высокоскоростной «движок» DMA, состоящий из буферной памяти и микропроцессорной архитектуры.
На этом обзор теоретической части можно закончить и перейти к практическому разделу.
В качестве примера реализации системы резервного копирования разберем задачу, где требуется в течение одного часа записать на ленту 1 Tбайт данных.
Эта задача была решена командой специалистов из Network Appliance, Spectra Logic и Veritas в Технологическом центре в г. Колорадо-Спрингс (США), в феврале 2002 года.
Использованное оборудование:
• Библиотека магнитных лент: Spectra 64000 c 16 приводами Sony AIT-3.
• Дисковая подсистема: четыре устройства хранения данных NetApp F880 с двумя полками по 14 дисков каждая, всего 28 дисков по 72 Гбайт, каждое устройство имеет два порта Fibre Channel.
• ПО резервного копирования: Veritas NetBackup Data Center 4.5 с опцией NDMP.
• Подключения: двойная сеть SAN, в которой использовано для коммутатора Brocade 2400 Silkworm. Использованы «медные» кабели.
• Диски и расположение файлов: каждое NAS-устройство имеет два тома по 14 дисков, объединенных в RAID, каждый том состоит из двух Q-деревьев по 64 Гбайт.
• Сервер резервного копирования: два сервера, каждый из которых имеет процессор Pentium III 400 и ОС Windows 2000 Professional.
Решение должно обладать быстрым доступом к дискам и быть масштабируемым, не должно предъявлять серьезных требований к серверам.
Отправной точкой была скорость проводных соединений.
Выбран стандартный 1- Гбайт канал Fibre Channel. Теоретически для того, чтобы передать 1 Tбайт данных за час, требуется пропускная способность канала 285 Mбайт/с. На самом деле необходима большая скорость для компенсации задержек, времени, затрачиваемого на позиционирование и другие операции с носителями. Исходя из этого, было определено, что для получения нужной скорости передачи требуется четыре канала Fibre Channel.
Выбор компонентов
Были рассмотрены разные архитектуры дискового хранения данных. Выбрана архитектура NAS, так как она позволяет снизить нагрузку на сервер резервного копирования.
NAS от Network Appliance с NDMP позволяет проводить резервное копирование непосредственно по Fibre Channel на ленточную систему, минуя сервер. Были выбраны 4 устройства Network Appliance F880, которые и образовали 4 независимых канала Fibre Channel.
Библиотека Spectra 64000 имеет интегрированный Fibre Channel, при этом внешних мостов FC-SCSI не требуется.
Для управления резервным копированием был выбран Veritas NetBackup DataCenter 4.5 с опцией NDMP.
Организация дискового хранилища
Резервное копирование большого количества данных за небольшой период времени требует от дисковой системы высокой производительности. Система должна одновременно выполнять несколько операций чтения без замедления выполнения каждой операции. Самым лучшим подходом является организация RAID из достаточно большого числа дисков, чтобы у каждого диска было достаточно времени для позиционирования и чтения данных без прерывания потока данных для резервного копирования. Для организации работы приложений типа реляционных баз данных тоже требуется параллельное выполнение большого количества операций чтения.
В нашем случае: для резервного копирования 1 Tбайт данных было создано 16 деревьев директорий по 64 Гбайт каждая.
Эта структура распределена по четырем NAS-устройствам. Таким образом, на каждом из них размещается по четыре дерева директорий. Каждый NAS-сервер состоит из двух томов RAID, каждый том, в свою очередь, состоит из 14 дисков (включая один диск с четностью). Один том RAID из 14 дисков позволяет поддерживать параллельно два потока данных с достаточной скоростью.
В каждом томе создано по два Q-дерева, чтобы разделить два дерева директорий в каждом томе. Применение Q-деревьев также позволяет ПО резервного копирования эффективно разделять потоки данных, что увеличивает общую производительность за счет резервного копирования поддиректорий.
Построение масштабируемого решения
Для достижения скорости 80 Mбайт/с с одного NAS-устройства происходит резервное копирование на четыре привода магнитных лент AIT-3. В результате тестирования было также определено, что для получения нужной пропускной способности каждое NAS-устройство должно иметь два канала Fibre Channel. В результате добавления второго канала Fibre Channel появился некоторый запас по производительности и надежности. Второй порт Fibre Channel должен быть подключен к отдельному коммутатору. Таким образом были определены дополнительные пути доступа к магнитным лентам, что является одной из стратегий достижения высокой готовности.
Соединение всех компонентов
Для подключения устройств NAS к библиотеке магнитных лент по Fibre Channel была построена сеть хранения данных. Каждое NAS-устройство имеет два порта Fibre Channel, подключаемых к своему коммутатору Brocade. К каждому коммутатору подключено четыре интерфейсных модуля F-QIP библиотеки Spectra 64000. Процесс резервного копирования контролируют серверы Windows 2000, подключенные к Ethernet.
На одном сервере установлен NetBackup DataCenter 4.5, и этот сервер является мастер-сервером. На втором сервере установлен NetBackup DataCenter 4.5 media server.
Для проведения резервного копирования/восстановления данных с NAS-устройств была установлена опция NetBackup for NDMP.
Протокол NDMP предоставил необходимый контроль процесса резервного копирования, выполняемого на NAS-устройствах. Сервер выполняет приложение резервного копирования NDMP, от начала до конца по сети, в то время как данные, записываемые на ленту, идут по другому пути, которым в данном случае является Fibre Channel. Каджое NAS-устройство, подключенное к сети хранения данных, имеет доступ к 16 подключенным к Fibre Channel приводам магнитных лент.
ПО NetBackup отслеживает, какие задания передаются на какой привод. Также контролируется расписание начала выполнения заданий. После выполнения резервного копирования ПО каталогизирует, какие файлы были скопированы, когда и в какой области носителя хранятся.
Традиционное прямое подключение к серверу (Direct Attached Storage — DAS)
В этом случае устройство для хранения данных и устройство для резервного копирования подключены непосредственно к серверу. Соответственно, как доступ к данным от подключенных клиентов, так и резервное копирование происходят через сервер. Эта архитектура обладает определенными недостатками с точки зрения дисковой системы (не очень хорошая масштабируемость и проблемы при организации совместного доступа), а также специфичными для ленточных устройств недостатками: снижение производительности, так как при резервном копировании данных с подключенных к серверу клиентов все данные идут через сервер, а это увеличивает сетевой трафик и дает дополнительную нагрузку на процессор сервера; доступ — локальная сеть и сервер резервного копирования являются составными частями единого ресурса резервного копирования. В случае отказа одного или другого, выполнение операции резервного копирования/восстановления на клиентских машинах будет невозможно; стоимость — при добавлении серверов в сеть, соответственно, добавляются и дисковые подсистемы и устройства для резервного копирования.
Корень проблемы
Сегодня самым распространенным типом ячеек флэш-памяти является Stacked Gate Cell (ячейки с многослойным затвором), который имеет наиболее простую реализацию. Кроме того, именно на его базе созданы все известные ныне разновидности ячеек флэш-памяти. А потому именно его мы возьмем в качестве примера для объяснения трудностей технологии. Основа Stacked Gate Cell - видоизмененный полевой транзистор с так называемым дополнительным плавающим затвором. Если проводить аналогию с DRAM, этот затвор играет роль конденсатора, другими словами, хранит запрограммированное значение. Если на плавающий затвор воздействовать путем организации двух квантовых процессов, которые создают два разных по значению заряда, то с учетом полученной суперпозиции зарядов формируется поле основного (управляющего) транзистора. Для изоляции плавающего затвора от остальных компонентов транзистора (стока, истока и затвора) служит тончайший слой (порядка 10 нм при 10-мк техпроцессе) окиси кремния. Итак, чтобы сообщить полагающийся заряд базе (управляющий заряд), приходится прибегать к различным ухищрениям. Например, для удаления содержимого ячейки, в случае если сток и исток являются полупроводниками p-типа, необходимо создать в канале отрицательное поле, блокирующее процесс дрейфа электронов. Таким образом, между разнополярными истоком и управляющим затвором прикладывается напряжение, которое создает магнитное поле с высокой напряженностью (порядка 10 МВ/см) вдоль оксидной границы раздела дополнительного и управляющего затвора. Следовательно, в результате квантового эффекта Фаулера - Нордхейма (Fowler - Nordheim) заряд с плавающей базы перетекает к истоку. Электрический барьер поля исчез, транзистор проводит ток (соответствует "1") - ячейка пуста.
Для программирования ячейки напряжение прикладывается уже между стоком и управляющим затвором. Плавающий затвор в этом случае питается так называемыми горячими электронами (Channel Hot Electrons), которые генерируются в канале транзистора. Упомянутые электроны обладают высокой энергией, достаточной в том числе и для преодоления потенциального барьера разделяющей пленки окиси кремния.
Однако эффективность процесса программирования в данной конфигурации не очень высока, поэтому приходится прикладывать высокое напряжение таким образом, что ток между истоком и стоком достигает 1 мА. Необходимо отметить: высокое напряжение, а также длительное протекание токов, несоизмеримо высоких по сравнению с размерами токоведущих частей транзистора, приводит к значительному снижению надежности и устойчивости работы памяти. Стоит ли говорить, что при снижении уровня детализации, являющегося главным гарантом планомерного развития флэш-технологии, эта проблема лишь усугубляется?
Помимо описанной сложности, в еще большую проблему выливается чрезмерное уменьшение толщины изоляционной пленки (двуокиси кремния), происходящее при снижении уровня детализации. По достижении толщины на уровне 80 Ангстрем (современный уровень 90 Ангстрем) начинается утечка заряда, и, как следствие, невосстановимая утеря записанной информации. Кроме того, при уровне детализации 45 нм (который, по мнению экспертов, будет достигнут уже в 2006-2007 году), напряжение необходимое для перемещения электронов на плавающий затвор, становится столь значительным, что начнет вызывать серьезные перекрестные наводки в процессе записи.
В результате специалисты называют предельным уровнем детализации производственную норму 65 нм либо 45 нм. Именно по достижении полупроводниковым оборудованием таких уровней детализации о EEPROM-технологии можно будет забыть, занявшись поиском новых энергонезависимых типов памяти, о которых мы поговорим немного позже, а пока перейдем к технологиям, которые смогли бы продлить жизнь флэш-ячейкам, по крайней мере, в ближайшем обозримом будущем.
На черный день
Для того чтобы преодолеть преграду на пути увеличения плотности записи без внесения принципиальных изменений в структуру ячейки микросхемы флэш-памяти и внедрения новых технологических процессов производства полупроводниковых чипов, компания M-Systems совместно с Toshiba разработала и предложила для широкого использования технологию x2. Суть ее заключается в том, что в стандартную многоуровневую (multilevel cell - MLC) NAND-ячейку флэш-памяти можно записать удвоенное количество информации. Необходимо отметить, что сама по себе MLC-ячейка, разработанная в свое время специалистами Intel, позволяет хранить два бита информации. Это достигается тем, что StrataFlash (коммерческое название MLC-технологии) оперирует четырьмя уровнями заряда, кодирующими два бита, которые физически и содержит ячейка. Уровень заряда определяет напряжение, которое необходимо приложить к управляющему затвору, чтобы открыть транзистор. На практике, в ячейки записывался аналоговый (многоуровневый) сигнал. В итоге тип флэш-памяти MLC NAND и без того весьма популярный благодаря меньшему размеру ячейки по сравнению с классической NOR, несомненно, станет еще более распространенным. Самое важное, что к имеющимся преимуществам MLC NAND добавится возможность одновременного исполнения программного кода и долговременного хранения данных, а также возможность хранения двух битов в одной MLC-ячейке. Кроме того, поскольку флэш-память на основе технологии х2 обрела некоторые черты RAM, ей будет свойственно несколько новых возможностей. В первую очередь, поддержка режима прямого доступа к памяти (DMA), а также возможность реализации встроенных алгоритмов коррекции ошибок.
Аналогичной технологией располагает и AMD, только для NOR-памяти. Сейчас компания начала поставки образцов чипов флэш-памяти емкостью 256 Мбит, созданных с применением технологии MirrorBit. Суть последней, как и в случае с х2, заключается в записи в одной ячейке памяти двух битов информации, позволяя, таким образом теоретически добиться вдвое большей плотности записи информации, нежели в чипах флэш-памяти, использовавшихся до сих пор.
Прорыв, пусть и небольшой, обещает использование нанотрубок. Например, очень перспективной видится разработка компании Motorola, недавно продемонстрировавшей первую в отрасли 4-мегабитовую микросхему флэш-памяти, основанную на использовании так называемых кремниевых нанокристаллов - образований, напоминающих сферы (диаметр порядка 50 Ангстрем), которые размещаются между двумя оксидными слоями и способны сохранять определенный заряд, за счет чего и осуществляется запись информации. Подобное решение рассматривается многими экспертами как наиболее вероятная замена нынешней технологии, которая, по их словам, при уменьшении уровня детализации становится неэффективной (в частности, с точки зрения энергопотребления). Одна из главных проблем, решенных специалистами Motorola, - получение монодисперсных нанокристаллов оптимального размера. Тестовый массив нанокристаллов был изготовлен на 200-мм кремниевых заготовках с применением 90-нм техпроцесса (одно из достоинств технологии заключается в возможности применения существующего оборудования). Этот наномассив показал, что скорость функционирования работы флэш-памяти можно существенно увеличить, так как тунеллирование зарядов в нанокристаллы происходит значительно быстрей, чем в стандартные ячейки флэш-памяти, а уменьшение габаритов всего массива данных может положительно сказаться на скорости работы управляющей микросхемами логики.
На грани прорыва
Эрнст Долгий,
«Экспресс-Электроника» , # 5/2004
Стремительность, с которой распространяется флэш-память, поражает, и сегодня трудно представить электронное устройство, не использующее для тех или иных целей энергонезависимую память. А потому не случайно рынку флэш-памяти пророчат даже больший оборот, чем рынку DRAM. С другой стороны, есть и проблемы. О путях их решения и пойдет разговор.
Особенность рынка информационных технологий такова, что при прочих общепринятых законах маркетинга немаловажную роль играет и привязка к сфере технологий. Другими словами, пока популярная (массовая) технология уверенно развивается, на нее делают ставки и инвесторы, и производители, а значит - и потребители. Ну а как только на ее развитии начинают сказываться технологические проблемы, участники рынка понемногу переводят линейки своих продуктов на конкурентную платформу. Примером может служить бурный рост популярности устройств хранения информации на базе EEPROM-технологии (Electrically Erasable Programmable Read-Only Memory, или попросту flash), который начался как раз тогда, когда специалисты заговорили о конце эры накопителей на базе магнитной технологии. Впрочем, пессимистические прогнозы не реализовались и абсолютно все участники рынка накопителей на жестких дисках буквально в течение одного года представили разработки, позволяющие преодолеть влияние супермагнитного предела. (Суть его заключается в том, что магнитные домены, составляющие плоскость магнитных дисков, из-за чрезмерного уменьшения оказываются не в состоянии стабильно удерживать направление магнитного момента в продолжение длительного промежутка времени и, как следствие, записанную информацию.) В результате соизмеримые с жесткими дисками флэш-хранилища широкого распространения не получили, а сама технология энергонезависимой памяти на базе EEPROM стала решением для малоемких и компактных систем хранения информации, в частности, сменных флэш-карт. Когда выяснилось, что по ряду производственных факторов эта технология вряд ли сможет быть усовершенствована, на рынке появились накопители на магнитных жестких дисках в формате флэш-карт - IBM Microdrive и новое решение компании Toshiba с поперечным размером 0,85 дюйма, аналогичные флэш-картам большого объема. Таким образом, мы можем наблюдать пример неочевидной конкуренции магнитной технологии и EEPROM-решений, которые лихорадит, как только перспективность одной из них оказывается под вопросом.
Прогнозы специалистов о закате флэш-технологии датируются 2006-2007 годом (данные D-Day). Что касается нынешнего состояния рынка флэш-памяти, по данным Semiko Research, объем рынка всевозможных решений на базе энергонезависимой EEPROM-памяти составил порядка $8 млрд (2,198 млрд микросхем) и по прогнозам Nikkei Market Access достигнет $14 млрд (2,53 млрд штук - на 15,1% больше, чем в предыдущем) уже в этом году. Ну а для того, чтобы понять, в чем же состоит проблема флэш-технологии, следует привести небольшой технологический экскурс.
Точка невозвращения
Однако многие эксперты все-таки не верят в перспективы флэш-памяти в сфере миниатюризации и увеличения скорости функционирования. Считают, что куда более рациональным методом развития энергонезависимых технологий памяти является ферроэлектрический принцип хранения информации (Ferroelectric RAM). Памяти FeRAM (FRAM), принцип функционирования которой базируется на свойствах ферроэлектриков, всегда приписывали простоту, скорость и надежность в эксплуатации, свойственную DRAM, а также энергонезависимость и время хранения, присущее флэш-памяти. К дополнительным достоинствам FeRAM необходимо также отнести стойкость к радиации и другим проникающим излучениям. Это может быть широко востребовано в специальных приборах, например, исследовательских, предназначенных для нужд космоса или дозиметрических - для работы в жестких условиях высокой радиоактивности либо загрязненной окружающей среды.
Напомним, для ферроэлектриков характерна достаточно большая электрическая проницаемость, а также спонтанная поляризация. Наличие последней говорит о том, что без наложения электрического поля материал уже имеет некую поляризацию, способную после наложения внешнего электрического поля менять свой знак. Поляризация материала при нулевом электрическом поле имеет два противоположных по знаку значения - они могут быть истолкованы как "0" или "1", для организации интерпретатора двоичной системы исчисления. Кроме того, ферроэлектрикам присущ гистерезис поляризации, в зависимости от электрического поля, то есть имеется некоторое запаздывание одной характеристики от другой.
Современные достижения производителей памяти FeRAM еще раз подтверждают большую перспективность этой технологии. Очень показательны достижения компании Hynix Semiconductor, которая недавно заявила о новых результатах в области освоения производства микросхем FeRAM. Компания представила опытные образцы ферроэлектрических чипов объемами 4 и 8 Мбит и сообщила, что вскоре сможет увеличить их емкость в сотни раз.
Первая особенность новинок - использование структуры 1T1C (один транзистор, один конденсатор), вместо принятой многими другими производителями более сложной схемы 2T2C (два транзистора, два конденсатора). Применение упрощенной схемы позволит уменьшить рабочее напряжение ниже 1 В, снимая ограничение стандартной FeRAM, а также увеличить скорость ее функционирования. Вторая особенность Hynix FeRAM - использование нестандартного ферроэлектрического материала Bismuth Lanthanum Titanate, что, по заявлению производителя, позволило значительно увеличить устойчивость чипов к внешним электромагнитным шумам и повысить их общую надежность. По сообщению компании, они разработаны с таким расчетом, что выпуск более емких, 64-Мбитных чипов не потребует дополнительных затрат - очевидно, они могут быть созданы простым комбинированием существующих 4- и 8-мегабитных чипов. Что касается остальных характеристик микросхем производства Hynix, при производстве по техпроцессу 0,25 мк (по крайней мере, это относится к опытным образцам) они работают на напряжении 3 В, характеризуются временем доступа 60-70 нс и способны обеспечить до 100 млрд циклов чтения/записи.
Компания Ramtron International Corporation, разработчик FeRAM, недавно сообщила, что Promise Technology Inc. собирается применить эту память в RAID-контроллерах. Речь идет о 3-вольтовых 256-кбит чипах FM18L08, которые будут использоваться в RAID-системах для хранения информации о сделанных транзакциях и т. п. Как отмечается в пресс-релизе, основной причиной выбора Promise именно такой памяти стала реализованная в чипах технология NoDelay (без задержек). Компания Promise предполагает интегрировать в свои продукты чипы с параллельным интерфейсом и временем хранения данных без источника питания - до 10 лет. Также они характеризуются неограниченным числом циклов перезаписи, время доступа - 70 нс, рабочее напряжение - 3,0-3,65 В.
Подводя итоги, отметим, FeRAM, являясь в технологическом плане потомком современных типов памяти, вобрала наилучшие их черты - энергонезависимость и неплохую скорость работы.
Таким образом, ее смело можно считать реальным претендентом на роль базовой технологии для создания запоминающих устройств нового поколения. И хотя большая часть проблем, присущих данной памяти, уже преодолена, некоторые вопросы использования этой технологии все же остаются открытыми. Например, предпочтение ферроэлектриков фиксированной величины электрического сигнала и релаксация, а также отсутствие экономичного способа организации объемных массивов ячеек FeRAM. Эти проблемы придется еще решить. Впрочем, ученые уверены, что проблема увеличения плотности массива памяти FeRAM - временная, и аналитики компании Matsushita, даже при имеющихся научных результатах, прогнозируют рост рынка ферромагнитной памяти до $690 млн к 2005 году.
Другой тип памяти, столь же перспективный, как FeRAM, заключает в себе энергонезависимость и неплохие скоростные показатели функционирования. Речь идет о Magnetic RAM (MRAM). Данный тип памяти должен заложить основы новой парадигмы универсальной оперативной памяти, которая придет на смену микросхемам DRAM, SRAM и флэш-памяти. Вместо конденсаторов, применяемых в микросхемах DRAM, технология MRAM предусматривает использование тонкой магнитной пленки, тогда как в привычных микросхемах памяти информация сохраняется благодаря формированию соответствующим образом распределенного заряда конденсаторов. В устройствах MRAM хранение информации будет осуществляться за счет намагничивания пленки, что снимает необходимость периодического обновления памяти MRAM, как это происходит во всех современных разновидностях динамической памяти.
Структура логического элемента магниторезистивной памяти представлена двумя ферромагнитными слоями, разделенными проводящим слоем. Если намагниченности обоих слоев совпадают, электрическое сопротивление ячейки мало - это соответствует логической единице. Если же намагниченности слоев направлены в разные стороны, электрическое сопротивление ячейки велико, и это состояние соответствует логическому нулю.
MRAM вполне заслуженно называют технологией памяти следующего поколения, так как скоростные показатели существующих прототипов очень высоки - по данным IBM, время записи в MRAM может достигать всего 2,3 нс, что более чем в 1000 раз быстрее, нежели время записи в флэш-память, и в 20 раз быстрее скорости обращения к ферроэлектрической памяти.
По оценкам, время чтения произвольного бита может составлять не более 3 нс, то есть в 20 раз меньше, чем для DRAM, причем потребляемый ток равен примерно 2 мА (DRAM потребляет в 100 раз больше). Кроме того, MRAM, в отличие от SRAM, неуязвима к внешним электромагнитным воздействиям.
Сегодня на рынке доступны MRAM-чипы компании Cypress. Данный чип имеет объем 64 кбит, на 100% совместим с ее же чипом SRAM (8х8 кбит). Время доступа к произвольному биту в этом образце составляет около 70 нс, диапазон рабочих напряжений - 4,5-5,5 В, максимальная потребляемая мощность - 330 мВт, а минимальная - 495 мкВт. Производитель гарантирует более 1000 циклов записи-перезаписи. Что касается форм-фактора, он стандартен - JEDEC STD 28-pin DIP, 28-pin SOIC и TSOP, то есть безболезненно может быть установлен в те продукты, которые ранее использовали статическую память. Имеется в арсенале Cypress и другой чип - объемом 256 кбит, также совместимый с соответствующим SRAM-чипом (32х8 кбит) и обладающий аналогичными характеристиками и форм-фактором.
По оценкам аналитика компании Pathfinder Research Фреда Зибера, к 2005 году спрос на микросхемы MRAM может достичь $40 млрд, превысив спрос на аналогичные разработки в 100 раз. "Технология MRAM выглядит очень многообещающей, - отметил Зибер. - Конечно, пройдет еще немало времени, прежде чем она появится в коммерческих системах. Но если данная технология будет развиваться в соответсвующем направлении, она со временем вытеснит с рынка микросхемы DRAM, не говоря уже о конкурирующих типах".
Врезка. FeRAM - кто был первым?
В продолжающемся свыше десяти лет споре о том, кто первый описал принцип работы и запатентовал ферроэлектрическую память (FeRAM), недавно была поставлена точка. Владелец прав определен, награда нашла героя. Американский Офис Патентов и Торговых Марок доказал, что компания National Semiconductor имеет полное право называться создателем FeRAM. Проигравшая сторона - компания Ramtron Internationa, которая, благодаря решению апелляционного суда США в 2000 году, последние четыре года владела патентами на FeRAM, согласилась перечислить National Semiconductor компенсацию в размере $2,5 млн.
Напомним, National Semiconductor подала иск против Ramtron в 1991 году (патент компания Ramtron получила в 1989-м). И, как видно сегодня, National Semiconductor было за что сражаться.
