Говоря о современных жестких дисках, нельзя не коснуться вопроса о конкуренции магнитных носителей и флэш-памяти (которая уже сегодня наблюдается в ряде продуктовых сегментов, например, среди MP3-плееров). Производители жестких дисков всячески открещиваются от конкуренции, говоря, скорее, о сосуществовании и даже об интеграции обеих технологий в так называемых гибридных винчестерах. Подобные устройства используют магнитную технологию для хранения больших массивов информации, а флэш-память применяется для наиболее часто используемых данных (в частности, модулей операционной системы). По всей видимости, через несколько лет «чистых» жестких дисков практически не останется — их место займут «гибридные» накопители. Было бы наивно полагать, что в ближайшем будущем удельная стоимость флэш-памяти приблизится к показателям магнитных носителей. Вместе с тем возникает вопрос — а требуются ли конечным пользователям те объемы информации, которые способны хранить будущие винчестеры? Конечно, количество и качество цифрового контента растет, но ведь растут и скорости доступа в Интернет. Сейчас нетрудно представить ситуацию, когда весь контент будет расположен в централизованных интернет-хранилищах, а конечные пользователи станут пользоваться им оттуда, даже не скачивая. И далеко не факт, что этим пользователям понадобится винчестер, ведь с функциями загрузки системы и редактирования личных данных вполне справится более производительная и экономичная флэш-память. Такое положение вещей можно наблюдать уже сегодня в так называемых домовых сетях.
Добавим, что подобные тезисы можно услышать и от руководителей ведущих IT-компаний. Например, во время своего визита в Москву руководитель Microsoft Билл Гейтс (Bill Gates) рассказывал о перспективах создания дешевого универсального устройства, предназначенного, прежде всего, для активной работы в Сети. Похожий проект есть и у компании AMD — Personal Internet Communicator. Такие устройства вряд ли будут обладать большим объемом дисковой памяти просто потому, что они в ней совершенно не нуждаются. Впрочем, даже если IT-отрасль пойдет по этому пути развития, винчестеры все равно останутся — они будут присутствовать хотя бы в тех самых централизованных хранилищах контента. Здесь у жестких дисков пока нет разумной альтернативы: флэш-память не обеспечивает должного объема, а лента, соответственно — скорости.
График.Радикальные технологические изменения ближайших 10 лет
Данил Анисимов, Евгений Патий
"Экспресс Электроника"
За последние полгода мировая индустрия жестких дисков отметила сразу две знаменательные даты. В сентябре 2006-го исполнилось ровно 50 лет со дня выхода в свет дисковой системы IBM RAMAC (Random Access Method of Accounting and Control), а буквально месяц назад компания Hitachi Global Storage Technologies объявила о выпуске первого винчестера форм-фактора 3,5 дюйма объемом 1 Тбайт.
Создание IBM RAMAC, первой коммерческой системы с произвольным доступом к данным, считается официальным рождением жесткого диска. За время, прошедшее с этого момента, индустрия сделала гигантский шаг вперед. Судите сами: объем накопителей увеличился примерно в 200 тыс. раз, их удельная стоимость — в 25 млн, а поверхностная плотность записи — в 75 млн раз (см. таблицу).
Год выпуска | 1956 | 1991 | 2007 |
Объем | 5 Мбайт | 40 Мбайт | 1 Тбайт |
Количество пластин | 50 | 3 | 5 |
Диаметр пластины | 24 дюйма | 3,5 дюйма | 3,5 дюйма |
Плотность записи | 2 кбит/дюйм2 | 10 Мбит/дюйм2 | 150 Гбит/дюйм2 |
Скорость вращения | 1200 об/мин | 3500 об/мин | 7200 об/мин |
Среднее время доступа | 1 с | 30 мс | 4,17 мс |
Максимальная скорость интерфейса | 9 кбайт/с | 800 кбайт/с | 300 Мбайт/с |
Удельная стоимость | $10 000/Мбайт | $6/Мбайт | $0,4/Гбайт |
Таблица. Сравнение основных параметров винчестеров
Созданная 50 лет назад система IBM RAMAC напоминала два больших холодильника. Она состояла из 50-ти покрытых оксидом железа 24-дюймовых пластин, способных хранить 5 Мбайт информации. Для сравнения: текстовый файл с четырьмя томами романа Льва Толстого «Война и мир» занимает на современных дисках 2,5 Мбайт данных, то есть система IBM RAMAC была способна вместить два таких файла. По тем временам это был весьма существенный показатель, достаточный для решения большинства задач. Поэтому абсолютный объем жестких дисков на первых порах увеличивался не сильно, разработчики пытались повысить показатель плотности записи, уменьшая габариты устройств и их стоимость.
Любопытно, что компьютеры на основе дисковой системы IBM RAMAC не продавались, а сдавались в аренду. Причем, несмотря на относительно высокую стоимость арендной платы, компания IBM сумела найти более сотни заказчиков.
Главное отличие между данными технологиями заключается в направлении намагниченности доменов — в случае параллельной записи оно параллельно плоскости диска, а в случае перпендикулярной, соответственно, перпендикулярно (см. схему). Однако если мы посмотрим на конкретный домен в отдельности, то никакой разницы не увидим, поскольку суперпарамагнитный предел не зависит от направления намагниченности. Причина более высокой плотности перпендикулярной записи объясняется не какими-то внутренними характеристиками одного домена, а силами взаимодействия между соседними ячейками.
Схема. Параллельная и перпендикулярная запись
Из школьного курса физики известно, что постоянные магниты, расположенные одинаковыми полюсами друг к другу, отталкиваются, а разными, наоборот, притягиваются. Как следствие, при использовании технологии последовательной записи возникают силы магнитного взаимодействия соседних доменов, влияющие на магнитные поля каждой из этих частиц. Другими словами, магнитная энергия каждого домена может уменьшиться, и тогда вероятность влияния термофлуктуаций на магнитный порядок данного домена увеличится. При использовании перпендикулярного расположения доменов их влияние друг на друга существенно уменьшается. Возникает естественный вопрос — почему же, несмотря на кажущуюся простоту и широкую известность метода, коммерческие реализации перпендикулярной записи появились спустя 50 лет после создания первого жесткого диска?
Ответ на него можно разделить на две основные части. Во-первых, традиционная параллельная технология успешно развивалась и до недавнего времени не сталкивалась с жесткими физическими ограничениями. Во-вторых, техническая реализация перпендикулярной записи была сопряжена с рядом сложностей, обусловленных принципиально другим способом расположения магнитных доменов. Действительно, перпендикулярная запись требует наличия специальной дополнительной подложки под слоем записи, а также принципиально других, «двусторонних», головок, способных генерировать более сильное магнитное поле. Вполне возможно, перпендикулярная запись могла появиться и раньше, только производители не хотели осложнять себе жизнь и постепенно совершенствовали параллельную технологию, пока она не приблизилась к физическому пределу.
По оценкам экспертов, современная технология перпендикулярной записи имеет физический предел плотности в 500 Гбит/дюйм2. Предполагается, что он будет достигнут в 2010 году. Таким образом, использование данного типа записи позволит довести емкость 3,5-дюймовых винчестеров до нескольких терабайт, а дальнейшее увеличение объема пока не представляется возможным. Сегодня видны два основных вектора развития индустрии жестких дисков — структурированная и термоассистирующая запись. Рассмотрим их подробнее.
Концептуальная идея структурированных носителей крайне проста, однако перспективы ее практической реализации до сих пор не понятны. Как видно из рис. 1, в современных накопителях каждый магнитный домен состоит из нескольких десятков (70–100) мелких структурных элементов («зерен»), каждое из которых теоретически способно выполнять функции домена и содержать в себе 1 бит информации.
Рисунок 1.Традиционная запись
Рисунок 2. Структурированная запись
В результате появляется возможность уменьшить суперпарамагнитный предел: увеличить размеры отдельного «зерна» и хранить единицу информации в меньшем количестве «зерен». Основная сложность внедрения структурированных технологий заключается в производстве требуемых носителей. Если плотность записи составляет 100 Гбит/дюйм2 (современные носители), то линейный размер одного «острова» (множества «зерен», хранящих 1 бит) должен равняться 86 нм, а для перехода к терабитным плотностям требуются «островки» длиной в 27 нм (квадрат линейного размера ячейки обратно пропорционален плотности — то есть при росте плотности вчетверо размер ячейки уменьшается вдвое). Таким образом, для того чтобы изготовить структурированные диски, требуется технология, способная наносить на поверхность носителя отпечатки столь малой длины. Значение 27 нм находится на пределе возможности оптической литографии — метода, применяющегося сегодня для изготовления микросхем и продуктов на их основе (например процессоров). Поэтому производители жестких дисков планируют применять другие литографические методы или использовать самоорганизующиеся материалы (примером подобного материала может послужить железо-платиновый сплав — FePt). Добавим, что материал носителя — не единственная проблема структурированной технологии, инженерам также придется разработать механизмы синхронизации магнитных импульсов головки и «островов», а также создать специальные навигационные метки для головки. В настоящее время разработки, связанные со структурированными носителями, ведут как минимум две лидирующие компании-производителя — Hitachi Global Storage Technologies (HGST) и Seagate. Причем первая из них возлагает на данный метод большие надежды. Согласно информации HGST, появление коммерческих структурированных носителей должно произойти в 2010 году, а предел их теоретической плотности может достигнуть отметки несколько терабит на квадратный дюйм. Если же разработчикам удастся придумать материалы с однозернистыми «островами», то возможны и вовсе фантастические результаты — с плотностью до нескольких десятков и даже сотен терабит.
Как мы уже отмечали выше, термоассистируемая запись сочетает два способа обхода суперпарамагнитного эффекта — с помощью изменения температуры и использования веществ с высокой коэрцитивностью. Подобные вещества стабильны, они имеют низкий суперпарамагнитный предел, однако для изменения их магнитного состояния (записи) требуется значительная коэрцитивная сила, которая не может создаваться современными головками. В технологии HAMR она и не создается — во время записи носитель нагревается, его коэрцитивность падает и требуемая сила становится гораздо меньше. После того как запись завершена, носитель остывает и остается в стабильном состоянии на долгое время (рис. 3).
Рисунок 3. Лазер для нагрева носителя, интегрированный в головку записи
Планируется, что нагрев малой части носителя будет происходить с помощью теплового лазера, интегрированного в записывающую головку. Тут же возникает масса проблем — во-первых, непонятно, как «запихнуть» лазер в головку, во-вторых, как обеспечить нагрев именно той области, которая необходима, в-третьих, как ее охладить. Кроме того, требуется учитывать макроскопическое нагревание винчестера. Как известно, эта проблема актуальна даже в современных жестких дисках. Наконец, важно придумать материал носителя с заданными свойствами, а именно: с высокой коэрцитивностью при комнатной температуре и низкой при температуре записи.
Разработки HAMR-технологий ведутся довольно давно (с конца прошлого века), однако эксперты до сих пор расходятся в оценках максимальной плотности записи и сроках массового применения подобных винчестеров. Так, компания HGST называет предел в 15 Тбит/дюйм2, а Seagate предполагает, что HAMR-носители могут достигнуть плотности 50 Тбит/дюйм2. По всей видимости, широкого распространения данной технологии можно ожидать в 2010– 2013 годах. Несмотря на то, что структурированная и термоассистируемая записи абсолютно различны, теоретически эти методы не противоречат друг другу. Другими словами, в будущем возможно появление накопителей, сочетающих оба подхода. Однако необходимо понимать, что одной из главных сложностей разработки и структурированных, и термоассистируемых носителей является дисковый материал, то есть разработать доступное вещество, удовлетворяющее требованиям обеих технологий, будет крайне сложно.
Артём Рубцов, R.LAB
Уточнение связи между русскоязычной и англоязычной терминологией выполнено Леонидом Воржевым.
Цель этой статьи — описать устройство современного жёсткого диска, рассказать о его главных компонентах, показать, как они выглядят и называются. Кроме того, мы покажем связь между русскоязычной и англоязычной терминологиями, описывающими компоненты жестких дисков.
Для наглядности, разберём 3.5-дюймовый SATA диск. Это будет совершенно новый терабайтник Seagate ST31000333AS. Осмотрим нашего подопытного кролика.
Зелёный текстолит с медными дорожками, разъемами питания и SATA называется платой электроники или платой управления (Printed Circuit Board, PCB). Она служит для управления работой жесткого диска. Чёрный алюминиевый корпус и его содержимое называется гермоблоком (Head and Disk Assembly, HDA), специалисты также называют его «банкой». Сам корпус без содержимого также называют гермоблоком (base).
Теперь снимем печатную плату и изучим размещённые на ней компоненты.
Первым в глаза бросается большой чип, расположенный посередине – микроконтроллер, или процессор (Micro Controller Unit, MCU). На современных жёстких дисках микроконтроллер состоит из двух частей – собственно центрального процессора (Central Processor Unit, CPU), который производит все вычисления, и канала чтения/записи (read/write channel) — особого устройства, преобразующего поступающий с головок аналоговый сигнал в цифровые данные во время операции чтения и кодирующий цифровые данные в аналоговый сигнал при записи. Процессор имеет порты ввода-вывода (IO ports) для управления остальными компонентами, расположенными на печатной плате, и передачи данных через SATA-интерфейс.
Чип памяти (memory chip) представляет собой обычную DDR SDRAM память. Объем памяти определяет размер кэша жёсткого диска. На этой печатной плате установлена память Samsung DDR объемом 32 Мб, что в теории даёт диску кэш в 32 Мб (и именно такой объём приводится в технических характеристиках жёсткого диска), но это не совсем верно.
Дело в том, что память логически разделена на буферную память (кэш) и память прошивки. Процессору требуется некоторый объём памяти для загрузки модулей прошивки. Насколько нам известно, только Hitachi/IBM указывают действительный объём кэша в описании технических характеристик; относительно остальных дисков, об объёме кэша остаётся только гадать.
Следующий чип – контроллер управления двигателем и блоком головок, или «крутилка» (Voice Coil Motor controller, VCM controller). Кроме того, этот чип управляет вторичными источниками питания, расположенными на плате, от которых питается процессор и микросхема предусилителя-коммутатора (preamplifier, preamp), расположенная в гермоблоке. Это главный потребитель энергии на печатной плате. Он управляет вращением шпинделя и движением головок. Ядро VCM-контроллера может работать даже при температуре в 100° C.
Часть прошивки диска хранится во флэш-памяти. При подаче питания на диск микроконтроллер загружает содержимое флэш-чипа в память и приступает к исполнению кода. Без корректно загруженного кода диск даже не пожелает раскручиваться. Если на плате отстутствует флэш-чип, значит, он встроен в микроконтроллер.
Датчик вибрации (shock sensor) реагирует на опасную для диска тряску и посылает сигнал об этом контроллеру VCM. Контроллер VCM немедленно паркует головки и может остановить вращение диска. Теоретически, такой механизм должен защищать диск от дополнительных повреждений, но на практике он не работает, так что не роняйте диски. На некоторых дисках датчик вибрации обладает повышенной чувствительностью, реагируя на малейшую вибрацию. Полученные с датчика данные позволяют контроллеру VCM корректировать движение головок. На таких дисках установлено как минимум два датчика вибрации.
На плате имеется ещё одно защитное устройство — ограничитель переходного напряжения (Transient Voltage Suppression, TVS). Он защищает плату от скачков напряжения. При скачке напряжения TVS перегорает, создавая короткое замыкание на землю. На этой плате установлено два TVS, на 5 и 12 вольт.
Теперь рассмотрим гермоблок.
Евгений Патий
"Экспресс Электроника"
Сегодня наблюдается бурный рост рынка носителей информации, предназначенных для корпоративных пользователей. Это неудивительно, поскольку увеличиваются объемы обрабатываемых данных, которые необходимо каким-то образом хранить.
Особый сегмент рынка составляют средства для резервного хранения информации. Наибольшее распространение получили такие решения для резервирования данных, как жесткие диски и ленточные носители.
Первый метод выбирают компании с ограниченным бюджетом на IT, второй — предприятия, ставящие во главу угла надежность и безопасность. Однако совершенно очевидно, что существующие подходы уже не могут справиться с нарастающими объемами информации и обеспечить быстрое оперативное резервирование, сделать «слепок во времени».
Сегодня необходим качественный прорыв в технологиях хранения. И если с объемом ситуация разрешима — в конце концов можно увеличить число жестких дисков или ленточных кассет для резервирования, то скорость уже давно стала узким местом всего процесса резервирования. Реалии требуют универсального накопителя, сопоставимого или превосходящего по объемам жесткий диск и ленточный картридж, но выполняющего процедуры записи и считывания с гораздо большей скоростью. Решить проблему могут устройства на основе голографических технологий.
Еще пять лет назад начались работы в этой области: в 2000 году на рынке технологий хранения данных возникла новая компания InPhase Technologies, приступившая к созданию устройств записи данных принципиально нового типа. Новый разработчик появился не на пустом месте — о создании этого небольшого предприятия объявила корпорация Lucent Technologies.
InPhase занялась созданием голографических систем хранения на основе технологии, разработанной в бюро Bell Labs. В отличие от существующих методов записи информации на поверхность диска, новая технология позволяет использовать всю толщину материала, то есть запись ведется не по поверхности, а по объему. Помимо многократного увеличения плотности записи, данная разработка предоставляет возможность повысить скорость считывания информации — за один «машинный отсчет» с носителя можно скачать до 1 млн бит информации.
Внешний Serial ATA RAID-контроллер совсем незначительно опережает Matrix Storage в файловом варианте — и довольно ощутимо (на 16%) в варианте SQL. Хотя с оптимальным значением strip size Matrix RAID-0 работает быстрее (см. основную статью).
Таким образом, внешний Serial ATA RAID-контроллер более предпочтителен для серверов или ПК, на которых есть выделенные RAID-массивы под конкретные задачи. Но если у вас только два HDD — однозначно лучше использовать Matrix Storage. И надежность получите, и практически ту же производительность.
stripe — непрерывная последовательность дисковых блоков. stripe может быть размером с один дисковый блок, но может состоять и из тысяч.
Устройства RAID разделяют содержащие их разделы дисков на страйпы; различные уровни RAID различаются в способе организации страйпов и в том, как размещаются на них данные. Взаимодействие между размером stripe, типичными размерами файлов в системе и их положением на диске — все это определяет общую производительность подсистемы RAID.
В RAID-0 компоненты разделов делятся на страйпы и затем чередуются. В результате получаем один большой виртуальный раздел. Такой подход не предполагает избыточности и снижает общую надежность: отказ одного диска уничтожит весь раздел.
Сергей Антончук, "Комиздат"
Статья посвящена вопросу производительности дисковой подсистемы при использовании технологии Matrix Storage.
Напомним, что технология Matrix Storage реализована в новых южных мостах ICH6R и ключевой ее возможностью (если не говорить о реализации стандартных RAID-0 и RAID-1) является реализация такой схемы работы, при которой на двух дисках создается два массива уровней RAID-0 и RAID-1 (matrix RAID-0 и matrix RAID-1).
Тестирование серьезной технологии, конечно же, требует серьезного инструмента. Поэтому данное исследование проводилось в деловом приложении, использующем трехуровневую архитектуру. А точнее — в "1С:Предприятие 8.0".
"1С:Предприятие" работало в трехуровневой архитектуре "клиент — сервер приложения — SQL-сервер" на одном ПК. При этом основную нагрузку на дисковую подсистему ПК давал SQL-сервер.
Тестирование именно в этой архитектуре было выбрано потому, что производительность RAID-0 вообще и Matrix RAID-0 в частности серьезно зависит от параметра strip size.
Очевидно, что быстродействие системы в целом наибольшим будет тогда, когда данные от приложения или к нему будут поступать от дисковой подсистемы порциями, равными размеру strip size.
Но в компьютере всегда работает множество приложений с разной спецификой, поэтому размер strip size для RAID-0 в системах общего назначения — это всегда значение компромиссное. Однако если у нас есть приложение, которое должно работать быстро — пусть даже в ущерб всем остальным, то RAID-0 можно подстроить именно под него.
Вообще, такую настройку легче всего (и наиболее правильно) делать для SQL-серверов. Легче — потому что кратность данных, с которой SQL сервер взаимодействует с дисковой подсистемой, всегда известна. Это размер страницы (page size).
Для MS SQL сервера размер страницы составляет 8 Кб. Индексы записываются восьмистраничными блоками по 64 Кб.
Для Matrix RAID-0 значение strip size по умолчанию составляет 128 Кб. Так что, если планируется работа ПК, в основном, в качестве SQL-сервера (как в нашем случае), необходимость оптимизации налицо.
Вот этим и займемся.
Чтобы все было по-настоящему, на двух SATA- дисках Maxtor MaXLine III 250 Гб были построены два раздела: Matrix RAID-1 — для системы и бэкапов; Matrix RAID-0 — для свопа, временных файлов и рабочей SQL-базы.
Matrix RAID-0 сначала создавался по умолчанию, затем размер strip size задавался в 64 Кб, 32 Кб, 16 Кб и 8 Кб.
Вот что получилось в результате замеров производительности серверного трехуровневого варианта работы "1С:Предприятие 8.0" для одного клиента:
Мы намеренно не делали сравнение внешнего и внутреннего RAID-контроллеров основной темой статьи. Дело в том, что эти контроллеры довольно сильно отличаются по функциональности — как ни странно это звучит на первый взгляд.
Технология Matrix Storage очень гибкая. Мало того что она позволяет создавать на двух HDD разделы RAID разных типов — она еще дает возможность достаточно просто использовать различные размеры strip size. Для внешних Serial ATA RAID-контроллеров, как правило, существуют определенные ограничения: например, не для всех strip size раздел может быть загрузочным.
Зато внешние Serial ATA RAID-контроллеры обычно имеют средства для миграции, позволяющие "зазеркалить" существующий HDD или, что сложнее, преобразовать его (естественно, добавив еще один HDD) в RAID-0.
Недостатком Matrix Storage также можно признать довольно большую (до 12%) загрузку ЦПУ.
В нашем случае в качестве "оппонента" ICH6R был выбран Adaptec 1210SA. Неплохой контроллер с очень хорошим софтом, работающим почти под всеми ОС и поставляемый в исходниках.
Но в случае с Adaptec 1210SA загрузочным для Windows может быть только раздел RAID-0 со strip size 64 Кб. И именно с этим показателем и проводились измерения с HDD Maxtor MaXLine III. Результаты ниже.
Хотя наш интерес в этом тестировании был искренним и чисто познавательным, подсказки о том, какой именно режим будет оптимальным, все же были. Хотя их поиском мы занялись позже. При создании раздела RAID-0 внизу экрана высвечивается такая информация:
Что называется, читайте инструкцию, она рулез. Кроме того, запрос в Google "strip size производительность" уже на первом экране среди прочего мусора выдает следующую ссылку:
в руководствах по Tuning Oracle говорят о striping factor.
По их руководствам stripe size =striping factor*Block size(Cylinder).
А типичный striping factor — 32 блока.
Следовательно, если принять Block size= 512|1024 bytes (зависит от модели и производителя): stripe size =32 *512|1024 =16|32 Kb.
Попадание 100%. Именно эти размеры и оказались оптимальными. Oracle и MSSQL — это, конечно, разные СУБД, но физика процесса одинакова везде.
Почему мы выбрали для тестирования SQL вариант работы "1С:Предприятия 8.0"? Ведь система может работать, например, и в файл-серверном варианте. Дело в том, что "1С:Предприятие" версии 8 с выделенным SQL-сервером работает гораздо быстрее, чем в файловом варианте. При уже упоминавшемся первом обзоре LGA775 (К+П № Х, стр. ХХ) время выполнения "проведения по партиям" и запроса в отчете "взаиморасчеты с комитентами" составили 1095 с и 119 с соответственно. Это в файловом варианте. Сравните с показателями 36 с и 32 с — наилучшими в SQL-системе. Ради тридцатикратного прироста производительности можно и повозиться.
Помимо "образцового" Maxtor MaXLine III 250 Гб, который обычно используется в наших тестированиях, у нас была возможность опробовать пару винчестеров ST3160827AS (160 Гб, 7200 оборотов в минуту, среднее время доступа 8,5 мс; интерфейс Serial ATA, буфер 8 Мб).
Мы обратили внимание на эти HDD, так как они тоже поддерживают NCQ (native command queuing). У "образцового" Maxtor MaXLine III 250 Гб другой объем несколько большее время доступа (9,3 мс — это хуже) и больший кэш (16 Мб, это лучше). Подбором strip size здесь мы уже не занимались, хотя и сделали два измерения для 64 и 32 Кб. Результаты ниже.
HDD от Seagate чуть опережает Maxtor. Можно сделать вывод, что время доступа при работе с деловыми приложениями имеет большее значение, чем больший кэш.
|
This Web server launched on February 24, 1997 Copyright © 1997-2000 CIT, © 2001-2009 CIT Forum |
Внимание! Любой из материалов, опубликованных на этом сервере, не может быть воспроизведен в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. Подробнее... |
Узнать точную стоимость дизельного генератора, а также другую полезную информацию Вы сможете, связавшись с менеджером нашей фирмы! |