Кластерные системы хранения Isilon IQ
Производительность, отказоустойчивость и масштабируемость корпоративного уровня для хранения неструктурированных данных
Информация – один из ключевых стратегических активов современного бизнеса. Множество компаний, вне зависимости от сферы их деятельности - от финансовой и банковской до телекоммуникаций, масс-медиа и медицины, сталкиваются с проблемой взрывного роста объемов хранимых данных. При этом по статистике до 80% корпоративных данных неструктурированны и представляют собой файлы самых разнообразных форматов: аудио- видеозаписи, изображения, CAD\CAM модели, электронные документы и т.д.
Современный высокодинамичный бизнес предъявляет жесткие требования к надежности хранения данных, непрерывности и скорости доступа к ним. При этом решение для хранения неструктурированных данных должно быть максимально эффективно с экономической точки зрения. Оно должно обеспечивать приемлемый уровень капитальных и эксплуатационных затрат, гарантировать высокий уровень масштабируемости и, как следствие, надежную защиту инвестиций.
Оптимальным решением, наиболее полно удовлетворяющим всем этим, зачастую противоречивым, требованиям являются масштабируемые кластерные системы хранения Isilon IQ.
Инновационная архитектура
Традиционно для хранения неструкруированных данных применяются сетевые системы хранения (NAS), обеспечивающие доступ к данным на уровне файлов. Преимуществами NAS-систем являются простота, экономичность, возможность одновременного доступа к данным множества приложений и пользователей, работающих на различных платформах.
Традиционно оборотной стороной медали являлась относительно невысокая производительность и большое время отклика системы. Однако инновационная архитектура систем хранения Isilon IQ разрушает этот стереотип и делает доступной для NAS-систем производительность уровня СХД корпоративного класса.
Система хранения Isilon IQ включает в себя, по меньшей мере, 3 узла, объединенных посредством Infiniband в высокопроизводительный отказоустойчивый кластер. Масштабирование системы по емкости и производительности осуществляется за счет добавления новых кластерных узлов. В максимальной конфигурации Isilon IQ поддерживает 144 узла, обеспечивающих в общей сложности хранение более 10 ПБ данных. Внешние интерфейсы (front-end) реализованы в виде гигабитных портов 1000 Base-T или десяти гигабитных портов 10G CX4, благодаря чему внедрение Isilon IQ не требует развертывания дорогостоящей и сложной в эксплуатации сети хранения данных SAN.
Благодаря инновационной кластерной архитектуре, системы хранения Isilon IQ имеют следующие преимущества перед традиционными NAS-системами:
- потрясающий уровень производительности с линейным ее масштабированием
- широкие возможности масштабирования по емкости
- отказоустойчивость для задач уровня «business critical»
- простое централизованное управление
Линейное масштабирование производительности
Кластер Isilon IQ может включать в себя до 144 узлов. Каждый узел представляет собой высокопроизводительный сервер с установленной дисковой емкостью. В зависимости от модели в узлах кластера могут использоваться как быстрые SAS диски 15k RPM, так и диски SATA-II. Кроме того, системы хранения Isilon S-series и X-series оснащены SSD дисками для хранения метаданных, что позволяет существенно сократить время отклика. Объединенные посредством высокоскоростного низколатентного соединения Infiniband, узлы кластера работают как единое целое, объединяя в единый пул процессорные ресурсы, оперативную и кэш память. За счет применения ряда инновационных решений, Isilon IQ обеспечивает близкое к линейному увеличение производительности кластера по мере добавления узлов.
Разработанная компанией Isilon файловая система OneFS обеспечивает синхронизацию хранимых на узлах данных и когерентность кэш-памяти. Все узлы в кластере являются активными, система полностью симметрична, что упрощает обеспечение отказоустойчивости и устраняет возможные узкие места. Общая производительность кластера зависит от количества узлов и их модели и может превышать 1,7 млн. IOPS.
Гибкое увеличение емкости
Системы хранения Isilon обеспечивают масштабирование емкости хранения в самых широких пределах: максимальная емкость хранения может превышать 10ПБ. Уникальной особенностью Isilon IQ является возможность пропорционального увеличения емкости системы и ее производительности, чего не происходит в традиционных NAS-системах. Масштабирование системы происходит за счет добавления дополнительных узлов в кластер. В ряде случаев, когда нужна дополнительная емкость, но нет необходимости в увеличении производительности (или наоборот) можно использовать специальные узлы расширения - Extension Nodes – позволяющие быстро добавить системе 6-12 ТБ емкости или увеличить ее производительность. Столь гибкие возможности масштабирования недостижимы для традиционных NAS-систем, в которых возможно лишь линейное увеличение емкости, а увеличение производительности возможно лишь при модернизации контроллера или его замене на более производительный.
Отказоустойчивость для задач уровня «business critical»
Отказоустойчивость системы хранения и возможность непрерывного доступа к данным – ключевые требования к системе хранения корпоративного уровня. Кластерные NAS-системы Isilon IQ гарантируют исключительно высокий уровень доступности, столь необходимый современному бизнесу. Это становится возможным благодаря нескольким составляющим: уникальной кластерной архитектуре системы хранения, передовой файловой системе OneFS, а также набору системного программного обеспечения, предназначенного для повышения надежности хранения.
В отличие от традиционных СХД, обеспечивающих дублирование основных компонентов (контроллеров и межконтролерных соединений) и реализацию механизмов RAID, сиcтемы хранения Isilon IQ представляют собой отказоустойчивый кластер, каждый узел которого является полноценным контроллером. Таким образом, отказоустойчивость системы обеспечивают не 2, а до 96 контроллеров, работающих в режиме «active-active». При этом хранимые данные распределяются по всем узлам массива с избыточностью от N+1 до N+4, что предусматривает выход из строя до 4 дисков или узлов без риска утраты данных или прерывания доступа к ним. В сочетании с возможностью автоматического дублирования и независимого хранения на разных узлах кластера до 4 копий документа, данный функционал гарантирует практически 100% доступность данных. Отдельно стоит отметить, что степень избыточности и количество копий данных зависит от присвоенного им класса хранения, который может быть присвоен на уровне всей файловой системы, тома, директории, или даже отдельного файла.
Системное ПО, какое как Isilon SnapshotIQ™, Isilon SmartConnect™ и Isilon SyncIQ™ , реализует надежные механизмы резервного переключения маршрутов и балансировки нагрузки, создания моментальных снимков (snapshot) и удаленной репликации данных в асинхронном режиме. Набор этих инструментов позволяет обеспечить максимально надежную защиту данных в т.ч. гарантировать отказоустойчивость и возможность восстановления быстрого данных в случае чрезвычайной ситуации. В сочетании с «врожденной» отказоустойчивостью решения, обусловленной самой архитектурой, можно говорить о надежности Isilon IQ уровня СХД Enterprise класса, но по более привлекательной цене.
Врезка:
Автомобильный портал Auto.ru – один из самых посещаемых интернет-ресурсов в рунете. Ежедневно на сайте размещается более 150000 частных и коммерческих объявлений, новостей, обзоров, а количество посещений достигает полумиллиона в день. Популярный портал формирует значительную нагрузку на серверную платформу: постоянный, минимальный трафик составляет 400 Mbps, а интенсивность запросов ввода-вывода порядка 15000 IOPS.
Внедрение кластерной системы хранения IsilonIQX-series для хранения огромного массива фотоизображений стало крайне эффективным решением для обеспечения требуемого уровня производительности. В рамках проекта более 70 серверов было заменено кластером Isilon из 13 узлов, объединенных посредством Infiniband и обеспечивающим надежное хранение данных и непрерывный доступ к ним.
Благодря тому, что система хранения ISILON способна выполнять роль web сервера, отпадает необходимость внедрения front-end серверов, что упрощает архитектуру решения.
Простое управление всеми уровнями хранения из единой консоли
Isilon IQ – идеальное решение для работы в гетерогенной инфраструктуре, позволяющее создать консолидированное, управляемое из единой консоли сетевое хранилище данных объемом до 1ПБ. В отличие от SAN-систем, распределенная файловая система OneFS не требует трудоемких операций по «нарезке» логических разделов (LUN), настройки множественных путей доступа (multipathing) и т.д., упрощая тем самым выделение ресурсов и организацию доступа к ним.
Отдельно стоит отметить недостижимую для традиционных NAS и SAN систем простоту и скорость увеличения производительности и/или емкости системы хранения. Нехватка ресурсов устраняется простым добавлением в кластер нового узла. При этом не возникает необходимости в остановке работы системы или внесении изменений в работу бизнес-приложений. При добавлении в систему нового узла, система хранения Isilon IQ быстро перераспределяет нагрузку без участия администратора. Тоже происходит и в случае замены сбойного узла. Все это делает возможным наискорейшее развертывание приложений и сервисов столь нужное для соответствия ритму современного бизнеса.
Входящие в состав OneFS инструменты позволяют автоматизировать многие рутинные процессы, сделав хранение данных более гибким, а работу администраторов проще:
- Благодаря функции AutoBalance добавление узла в кластер происходит в течение менее 60 секунд и не требует выполнения операций по подготовке миграции данных. После добавления нового узла начинается автоматическое перераспределение данных и нагрузки. При этом все операции происходят в фоновом режиме с минимальным воздействием на производительность системы
- ПО SmartConnect обеспечивает динамическую балансировку нагрузки и аварийное переключение путей доступа межу узлами кластера. Не требуя установки агентов на клиентское оборудование, SmartConnect позволяет администраторам централизованно управлять клиентскими подключениями и обеспечивать множество путей для непрерывного доступа к данным. Благодаря интеллектуальной системе политик, SmartConnect позволяет определять количество ресурсов, выделяемых серверу приложений или пользователю в соответствии с требованиями бизнес-приоритетов. Все это позволяет максимизировать эффективность работы системы и привести в соответствие стоимость хранения данных и их ценность для бизнеса.
Эффективность хранения (снижение TCO)
Как было сказано выше, до 80% данных в корпоративных системах хранения неструктурированы, при этом их объем растет с пугающей быстротой. Именно поэтому рынку необходимы системы хранения, ориентированные на неструктурированные данные и сочетающие в себе отличную производительность и оптимизацию капитальных и эксплуатационных расходов. Такие, как Isilon IQ.
Снижению издержек на хранение данных при использовании NAS Isilon IQ способствуют:
- Уникальная высокоэффективная кластерная инфраструктура
- Использование в качестве узлов кластера серверов стандартной архитектуры
- Возможность использования недорогих и емких SATA дисков без ущерба производительности и надежности
- Использование в качестве интерфейсов подключения (front-end) гигабитных портов 1000Base-T или десяти гигабитных портов 10G CX4 не требует развертывания дорогостоящей и сложной в эксплуатации SAN-архитектуры
- Гибкое масштабирование емкости и производительности
- Надежная защита инвестиций. «Плати по мере роста»
- Динамическая балансировка ресурсов, обеспечение высокого уровня их утилизации (70-80%)
- Максимальная степень автоматизации процессов управления системой хранения и данными, существенно сокращающая расходы на администрирование и обслуживание системы хранения.
Линейки серии Isilon IQ
S-Series | X-Series | NL-Series |
---|---|---|
Высокопроизводительное решение, идеально подходящее на роль основного хранилища. Предназначено для высоконагруженных систем с интенсивным вводом-выводом. В зависимости от количества узлов может обеспечивать производительность более 1.7 млн IOPS. Модельный ряд: IQ 5400S Емкость: от 16.2 TB до 518.4 TB Производительность: до 1.7млн IOPS Приложения: Мультимедиа широковещание, потоковая обработка видео, визуализация, post production 3d-проектирование, симуляция и анализ в реальном времени Высоконагруженные сервисы: видео, аудио, Web2.0 |
Максимально гибкое универсальное решение, удачно находящее компромисс между емкостью, производительностью и стоимостью хранения. Отлично подходит для приложений, работающих с большими объемами данных, формирующими значительную нагрузку на СХД Модельный ряд: IQ 1920X, IQ 3000X, IQ 6000X, IQ 9000X, IQ 12000X, IQ 36000X, IQ 72000X Емкость: от 5.76 TB до 10.4 PB Max. скорость чтения: 45 GBps Приложения Мультимедиа широковещание, потоковая обработка видео, визуализация, post production Internet/Web 2.0: online трансляции и видео по запросу, хранение предоставление доступа к аудио записям и фото-архивам. Web-аналитика, системы статистики Медицина: данные томографии и др исследований Естесственные науки: георазведка, картография, анализ электромаг нитной совместимости и т.д. 3d-проектирование, симуляция и анализ в реальном времени, САПР |
Лучшее соотношение цена\емкость без ущерба производительности и масштабируемости. Идеально для организации хранилища второго уровня (вторичное хранилище) благодаря более чем приемлемой производительности сочетающейся с отличной масштабируемостью и эффективностью. Обеспечивает идеальное соотношение стоимость/TB и минимизирует TCO Модельный ряд: IQ 36NL & IQ 72NL Емкость: от 252 TB до 10.4 PB Плотность хранения: 36 TB или 72 TB в 4U Приложения Хранилище второго уровня и архивирование disc-to-disc для максимально быстрого восстеновления данынх с минимальными RTO и RPO В сочетании с ПО удаленной репликации Isilon SyncIQ™ - в качестве резервной системы хранения для обеспечения максимальной отказоустойчивости и катастрофоустойчивости. |
Модуль расширения емкости
При необходимости расширения емкости хранения системы Isilon, наиболее экономичным и эффективным является использование подключаемых по SAS-интерфейсу модулей расширения. Данные модули предназначены для работы с системами X-серии и позволяют быстро добавить до 24 таких модулей на каждый из узлов кластера, без прерывания работы сервисов хранения, при этом их емкость составляет от 6 до 12 ТБ.
Модуль увеличения производительности
В случае нехватки производительности системы хранения, Isilon рекомендует использовать аппаратные акселераторы – специализированные модули без установленной дисковой емкости, подключаемые по Infiniband. Данные модули могут быть быстро добавлены в кластер Isilon IQ серии S или X с целью увеличения пропускной способности массива на 400мб/с с однопотоковом режиме и до 700мб/с в случае множественного доступа.
Высокооптимизированный «Back-up Accelerator» специально разработан для увеличения производительности систем хранения Isilon, используемых в роли хранилища резервных копий данных. Данный модуль легко и без дополнительных затрат интегрируется в существующий кластер Isilon для увеличения пропускной способности до 480Мб/сек. Такой подход позволяет максимально гибко подстраиваться под растущие требования бизнеса к времени восстановления данных в случае сбоя.