Цифровые видеоархивы под управлением XenData Software
Краткое описание программных продуктов X32 и X64:
Программные продукты X32 и X64 Editions представлены 5-ой версией ПО XenData Archive Series. Данные продукты могут управлять одной или несколькими автоматизированными ленточными библиотеками на базе Windows-сервера и создавать цифровые видео архивы, оптимизированные под требования современной медиа-индустрии с учетом необходимости разумного бюджетирования. Решения на базе X32 и X64 проверены множеством заказчиков и используются в более чем 100 компаний по всему миру.
Решения на базе X32 и X64 обладают высокой производительностью, гарантированными процедурами многоразового чтения\записи в режиме реального времени. Кроме того, решение представляет цифровой видео архив в качестве стандартной файловой системы Windows, что позволяет использовать ее в сочетании с множеством приложений. Создаваемый видео архив также может быть масштабирован от терабайт к петабайтам. Для структур, работающих с особенно большими объемами информации , решение может быть построено на базе MX64 Edition XenData Archive Series, функционирующего на нескольких серверах для обеспечения исключительно высокого уровня передачи данных.
ПО XenData X32 и X64 – соответствие стандартам ИТ.
Создание цифровых видео архивов для нужд телевещания связано с разработкой сложной архитектуры проекта, а также с наличием специализированных форматов и интерфейсов. В результате довольно часто итоговое решение достаточно дорого в инсталляции и требует определенных усилий по поддержанию, а его архитектура функционирует только с определенными типами файлов и специализированными видео серверами.
Отличительная особенность ПО XenData в том, что она создает цифровой архив на базе платформы Windows Server 2003 с ясной архитектурной составляющей и универсальными интерфейсами. Программное обеспечение легко интегрируется в операционную систему Windows-сервера, обеспечивая при этом высокую производительность, а также простую конфигурацию.
Архивное ПО XenData имеет стандартный интерфейс файловой системы с одним логическим диском. Решение оптимизировано под использование стандартного сетевого протокола Windows (CIFS/SMB) или FTP-передачу файлов. Такой универсальный подход к организации интерфейса означает, что архив может быть использован одновременно множеством приложений, включая приложения ПО каталогизации, работающие под Windows и OS X от Apple. Более того, решения на его базе не привязывают пользователя к одному конкретному MAM, решению автоматизации или NLE-системе.
В дополнение к стандартному интерфейсу файловой системы решение характеризуется следующими особенностями:
- Система архивирует все типы файлов и может осуществлять частичное восстановление файла вне зависимости от его формата
- Для записи на ленту система использует формат открытого стандарта POSIX TAR.
- Все информационные сообщения, а также предупреждения и уведомления об ошибках записываются в стандартный Windows Event Log и далее могут выводиться на экран или отправляться по e-mail.
- Система полностью соответствует модели безопасности Microsoft, базирующейся на активной директории (Active Directory), что означает отсутствие необходимости постоянного администрирования.
Особенности лицензирования ПО позволяют использовать лицензию как для XenData X32 Edition под Windows 2003, 32 бит, так и для XenData X64 Edition под Windows 2003, 64 бит. Пользователь может начать работать с X32 Edition, а затем позже перейти к X64 Edition1.
Доступные варианты ПО XenData
5-я версия программного обеспечения XenData Archive Series доступна в 3-х модификациях:
| Количество серверов | Поддерживаемые версии Microsoft Server | |
| X32 Edition | 1 | Windows 2003, Standard или Enterprise Editions (32 bit) Storage Server 2003 ,Std. или Enterprise Editions (32 bit), поддержка версий R2 и не R2 |
| X64 Edition | 1 | Windows 2003 R2, X64 Standard или Enterprise Editions Storage Server 2003 R2, X64 Std. или Enterprise Editions |
| MX64 Edition | 3 или более | Windows 2003 R2, X64 Standard или Enterprise Editions Storage Server 2003 R2, X64 Std. или Enterprise Editions |
Программные продукты X32 и X64 приходят на смену 4-ой и более ранним версиям Video Edition. X32 и X64 имеют идентичный функционал интерфейса пользователя. Версия MX64 обеспечивает более высокую общую производительность, чем X32 и X64, и идеальна для нужд крупных медийных компаний.
Возможен обмен картриджами с данными формата LTO между всеми 3-мя вариантами архивного ПО XenData.
Примечание 1: Лицензия разрешает инсталляцию, использование, доступ и запуск. только одной копии X32 или X64 для одного компьютера.
Формат хранения на ленте LTO
Версии X32 и X64 поддерживают лидирующий на рынке формат ленточного хранения LTO. Последнее поколение LTO-4 обладает следующими характеристиками:
| LTO-4 | |
| Объем хранения на картридж (без сжатия) | 800 ГБ |
| Количество часов записи при потоке SD (25 Mб\сек) | 71 час |
| Количество часов записи при потоке HD (50 Mб\сек) | 35.5 часов |
| Maкс. скорость передачи данных (без сжатия) | 120 MБ/с |
| Время жизни стандартной ленты медиа архива | 30 лет |
| Каждый ленточный картридж LTO-4 характеризуется объемом до 800 ГБ, что означает хранение 70-ти часов записи при потоке SD, 35-ти часов записи при потоке HD и более 17-ти часов при потоке 100 Mб\сек. |
LTO-картриджи снабжены штрих-кодами и обеспечивают удобное отслеживание как в пределах ленточной библиотеки, так и в режиме хранения “на полке”.Все LTO- картриджи содержат встроенный чип памяти. Когда картридж инициализируется в ленточной библиотеке под контролем ПО XenData, информация о штрих-коде заносится на этот чип. Эта функция оказывается особенно полезной, в случае когда «ленточка» экспортируется из библиотеки и переносится в отдельно стоящий ленточный привод. Ленточные приводы не содержат устройства считывания штрих-кода, но способны считывать информацию с чипа. ПО XenData обеспечивает постоянную идентификацию штрих-кода, даже в том случае, когда «ленточка» используется в отдельно стоящем приводе.
Конфигурация цифрового видеоархива XenData
Архив состоит из следующих компонентов:- 1 или несколько роботизированных ленточных библиотек
- Сервер с кэш-паматью на дисках под управлением ОС Windows Server 2003
Вы можете увидеть базовую конфигурацию на рисунке. Ленточная библиотека подключена к серверу по SCSI, SAS или Fibre Channel. Дисковый массив может быть подключен прямым подключением по SAS или по сети SAN.
ПО XenData функционирует под Windows 2003-сервером и представляет ленточную библиотеку и дисковый массив как один логический том. Комбинированная система хранения, состоящая из ленточной библиотеки и дискового массива, в итоге является для пользователя одним логическим томом очень большого объема.
Решение оптимизировано для передачи больших файлов по сети через FTP или стандартный сетевой протокол Windows (CIFS/SMB). Другие сетевые протоколы тоже поддерживаются, но компания XenData рекомендует использовать FTP и CIFS/MB для работы с высокопроизводительными цифровыми видео- приложениями.
Взаимодействие оболочки по управлению данными и ПО цифрового архива.
Оболочка по управлению данными - Digital Asset Management (DAM) – обеспечивает индексирование цифрового материала и возможность поиска и «вытаскивания» необходимых файлов. Система управления ресурсами хранит индексированный материал в виде файлов, которые могут быть размещены в одном или более цифровых видео архивах.
ПО XenData создает цифровой видео архив, управляя ленточной библиотекой и дисковым массивом и представляя эти физические устройства в качестве стандартной файловой системы Windows. Более того, ПО обеспечивает иерархическое управление хранимой информацией, ее защиту посредством репликации ленточных картриджей, а также возможность частичного чтения файлов.
ПО XenData обеспечивает легкое взаимодействие DAM и непосредственно создаваемого архива за счет наличия специализированной файловой системы. DAM, обладающий функцией хранения информации на жестком диске, обычно не требует модификации при работе с архивами под управлением ПО XenData.
Легкая интеграция с Windows и Mac OS X - клиентами
Растущая популярность продуктовой линейки для создания и редактирования видео от компании Apple «Apple’s Final Cut» привела к тому, что все больше гетерогенных сетей на практике используются для взаимодействия клиентов как Windows, так и Mac OS X. OS X обеспечивает быстрое соединение с архивами XenData с использованием SMB-протокола. Политика файлового менеджмента ПО XenData обеспечивает совместимость с специфическими Mac-файлами, DS-Store и fork-файлами, гарантируя оптимизацию производительности архива.
Политика файлового менеджмента ПО XenData
Системный администратор задает политики, согласно которым определяется место хранения файла в цифровом видео архиве. Эти политики поддерживают управление иерархическим хранением (hierarchical storage management - HSM) и автоматическую репликацию картриджей.
ПО XenData Archive Series поддерживает 3 уровня иерархического хранения:
«Online» - с размещение файла на дисковом массиве, а так же, как правило, с дополнительным размещением его на ленте. В этом случае файл будет извлечен с диска посредством доступа через сеть.
«Near-line» - как минимум одно размещение файла на «ленте» в пределах библиотеки и отсутствие размещений на дисковом массиве. В этом случае при осуществлении доступа к файлу по сети, ПО XenData автоматически переносит файл с «ленты» в кэш-память диска.
«Off-line» - без размещения на диске и с одним или более размещением файла на «ленте». При этом все размещения на «ленте» экспортированы из ленточной библиотеки.
Защита информации осуществляется автоматическим созданием множественных размещений файла. ПО XenData способно автоматически создавать копии цифровых лент для длительного хранения вне ленточной библиотеки.
В пределах единичного сервера могут быть заданы различные политики, приспособленные под нужды конкретных типов архивируемых файлов. Типичная для ПО XenData политика файлового менеджмента проиллюстрирована на диаграмме ниже.
При записи файла, вначале происходит его запись на дисковый массив. После успешной записи на диск,
файл размещается в очередь для записи на основной картридж. После завершения этой операции файл находится в двух положениях: на диске и на ленте.
Функция репликации картриджа опциональна и задается политикой администратора. Для библиотеки с достаточным количеством картриджей она может быть задана как «немедленная операция». В качестве альтернативы репликация может осуществляться через определенный промежуток времени, или ежедневно в определенное время. В процессе репликации файл записывается на 1 или более дополнительных картриджей, а затем его можно удалять с дискового массива.После удаления файла с дискового массива, устанавливается его атрибут позиционирования «off-line» и файл продолжает быть доступным с «ленты» внутри библиотеки. При установке стандартного атрибута «off-line», Microsoft увеличивает период ожидания файла при передаче его по сети, чтобы обеспечить необходимый промежуток времени для восстановления файла с ленты. При чтении с ленты, файл автоматически восстанавливается на диске, т.к. одновременно происходит его передача по сети.
Возможность частичного чтения. ПО XenData управляет большими файлами, используя контролируемую фрагментацию файла. Администратор может опционно задать политики, согласно которым большие файлы подразделяются на фрагменты. Данная особенность ПО XenData скрыта от приложений, занимающихся чтением и записью файлов, и используется для многогигабайтных файлов. Необходимость фрагментированного чтения возникает при работе с большими объемами цифрового видео. Так, например, файл в 40 ГБ архивируется с заданием политики, в соответствии с которой он делится на 40 фрагментов по 1 ГБ. В этом случае при запросе на часть файла, ПО выполняет быстрый поиск первого фрагмента, содержащего необходимую часть файла, и восстанавливает только ту информацию, которая была запрошена. Без использования фрагментации для восстановления одного фрагмента размером 1 ГБ необходимо было бы прочесть весь файл размером 40 ГБ, что заняло бы продолжительное время. На практике использование контролируемой фрагментации легко внедряется и повышает общую производительность при работе с большими файлами.
Управление Off-line файлами
Архивы под управлением ПО XenData часто используются в решениях, когда файлы находятся как в режиме online так и near-line. Это означает, что файлы автоматически доступны как с кэш-памяти диска, так и непосредственно с «ленты». В таком режиме при необходимости репликации картриджа картриджи с дополнительными копиями экспортируются из библиотеки после заполнения. При этом в библиотеке всегда остается один из реплицированных картриджей.
Архивное ПО XenData может также использоваться в режиме, когда некоторые файлы находятся в состоянии off-line. Это означает, что объем архива становится практически неограниченным. Одновременно возникает необходимость вмешательства оператора для переноса лент с полки в библиотеку, когда нужно восстановить off-line файл.
При переводе файла в статус «off-line» путем экспорта всех картриджей, содержащих данный файл, он продолжает быть видимым в файловой системе. Однако это не полный файл, а так называемый «фантомный», имеющий сходные атрибуты с полной версией (размер файла, модификация и пр.). При получении запроса от программы на доступ к такому файлу, происходит возврат с информацией о том, что файл недоступен. Дополнительно ПО XenData размещает сообщение в Windows Event Log и отправляет электронное уведомление и\или выводит информацию на экран, показывая, какой именно картридж содержит запрашиваемый файл. Эта функция помогает правильно и легко идентифицировать необходимый картридж и импортировать его в библиотеку. Файл восстанавливается автоматически при получении архивом запроса на чтение.
ПО XenData Archive Series предлагает 2 пути отслеживания взаимодействия файлов в файловой системе, а также их фактическое местонахождение в процессе хранения:- С помощью XenData History Explorer можно идентифицировать физическое местонахождение всех ссылок на все файлы, включая старые версии файлов и удаленные файлы. Программа идентифицирует штрих-коды всех лент, на которых содержится конкретный файл.
- С помощью XenData Tape Cartridge Contents Report, который каталогизирует содержание любого картриджа и позволяет экспортировать отчет в таблицу Excel.
Управление ленточным контентом
ПО XenData обеспечивает всеобъемлющее управление «лентами». Вы всегда можете получить полную информацию о картридже и его содержимом, переместить информацию с ленты на ленту, чтобы освободить место на ленте от предыдущих версий файлов и удаленных файлов, а также осуществить подготовку к переходу на следующее поколение картриджей – и все это с помощью XenData Management Console (XMC).
Статистика: краткий отчет по статистике для конкретной «ленты» может быть получен с использованием XMC. В него входит следующая информация:
- Количество записанных файлов и занимаемый ими объем
- Объем, доступный после операции перепаковки.
Операция перепаковки для восстановления пространства ленточного картриджа:
После удаления файла из архива под управлением ПО XenData, он исчезает из интерфейса файловой системы, но остается на ленточном картридже. Точно также при записи в архив новой версии файла, последняя версия является единственно доступной через интерфейс файловой системы. Однако старая версия файла остается на ленточном картридже. Пространство, занятое удаленными файлами, а также старыми файловыми версиями, может быть восстановлено посредством операции перепаковки, при которой происходит копирование только текущих файлов. Некоторые программы, например, Final Cut Server, “удаляют” каждый файл, восстановленный из архива, и функционал перепаковки ПО XenData удачно сочетается с подобными приложениями.
Переконфигурирование ленточных массивов: превращение существующего ленточного массива из нереплицированного в реплицированный осуществляется посредством консоли управления ПО XenData (XMC). При этом используется операция перепаковки, в ходе которой копируется содержание нереплицированных картриджей на новый набор лент с возможностью репликации.
Усовершенствование системы: Наиболее недорогой способ увеличения объема существующего архива – переход на следующее поколение стандарта LTO. Например, при использовании операции перепаковки информация, хранящаяся на LTO-2 картриджах может быть перенесена в формате 4:1 на LTO-4.
Легкое перемещение файлов между архивами
Архивное ПО XenData MX64 Edition для использования под множеством серверов, а также решения на базе X32 или X64 Edition полностью поддерживают взаимозамену картриджей. После заполнения картриджа происходит автоматическая каталогизация его содержания в конце ленты. Содержание картриджа может быть импортировано в новый архив посредством чтения каталога, что занимает всего несколько минут.
Способность легкого и быстрого переноса «ленточек» между архивами под управлением ПО XenData, вне зависимости от того, какой именно продукт (MX64, X64 или X32 Edition) используется, при ежедневной работе может быть применена для:
- Переноса копий картриджей, автоматически создающихся на главном узле, в другой архив под управлением ПО XenData при организации защиты от катастроф.
- Передачи видео файлов между группой телевизионных станций.
Управление штрих- кодом
В дополнение к автоматической записи штрих-кода в чип памяти картриджа, архивное ПО XenData также осуществляет управление штрих-кодом и обеспечивает:
- Автоматический выбор пустого носителя, следующего по номеру за текущим.
- Автоматический выбор парных штрих-кодов для реплицированных картриджей.
- Заркалирование внутри множества ленточных библиотек на базе выбора парных штрих-кодов.
Как уже описывалось ранее, одной из ключевых особенностей ПО XenData является поддержка репликации картриджа. Можно настроить ПО таким образом, что репликация с целью защиты от катастроф будет производиться автоматически. Эта особенность программного обеспечения используется для создания пары реплицированных картриджей. После заполнения, один из картриджей экспортируется из библиотеки и размещается на хранение в любом безопасном месте.
При осуществлении репликации ПО XenData использует обычную последовательность штрих-кодов, но при наличии парных, но различных штрих-кодов ПО будет обращаться к парным штрих-кодам для репликации картриджей.
X0007AL4
X0007BL4
X0008AL4
X0008BL4
X0009AL4
X0009BL4
ПО XenData видит «A» – маркированные картриджи в качестве основных и произведет репликацию на парные «В» - маркированные картриджи до начала использования любых других пустых картриджей в ленточной библиотеке.
Зеркалирование файлов в ленточных библиотеках
Концепция использования парных штрих-кодов для соответствующих пар реплицируемых картриджей, описанная выше, может получить дальнейшее развитие. ПО в этом случае будет управлять двумя (или более) ленточными библиотеками, подключенными к серверу, как показано на рисунке ниже, посредством парных штрих-кодов, введенных соответственно в 2 библиотеки. При этом система будет осуществлять зеркалирование файлов в пределах этих библиотек.
Считывая A – B сочетание штрих-кодов, как описано выше, и размещая все «А» ленточки в одну библиотеку, в все «В» ленточки в другую, ПО будет автоматически производить зеркалирование между двумя библиотеками, выбирая соответствующие пары штрих-кодов для реплицируемых пар лент.
X32 и X64 версии: особенности и преимущества
Стандартная файловая система. Фактически архив представляет собой стандартную файловую систему Windows с одним логическим диском. Решение использует стандартный атрибут определения положения файла вне жесткого диска. Преимущество: легкая интеграция в стандартные приложения и существующую сетевую инфраструктуру без необходимости модификации.
Стандартное аппаратное обеспечение: ПО XenData работает на стандартном аппаратном обеспечении. Преимущество: относительно невысокая общая стоимость владения.
Оптимизация для CIFS/SMB и FTP: Архив оптимизирован для CIFS/SMB сетевого протокола, и это делает его идеальным для передачи по сети под Windows, а также обеспечивает превосходной способностью к взаимодействию клиентами Mac, работающими под OS X. Архив также оптимизирован для передачи через FTP. Преимущества: обеспечивается высокая производительность при работе со средствами передачи, принятыми при обеспечении передачи видео файлов.
Совместимость с OS X- клиентами: Архив имеет специальные политики файлового менеджмента, приспособленные под нужды клиентов Mac, работающих с OS X. Таким образом достигается оптимальное управление файлами DS_Store и файлами системного ресурса для Mac. Преимущество: совместимость как с Mac, так и с Windows-клиентами.
Автоматическая репликация картриджа: репликация картриджей производится автоматически в соответствии с политиками, заданными администратором. Преимущество: легко создавать копии для хранения off-site и в целях защиты информации.
Поддержка множества наборов лент: ПО позволяет размещать группы файлов на определенных наборах лент. Преимущество: администратор может группировать родственные файлы на одном и том же наборе лент.
Динамическое расширение набора лент: Система динамически расширяет набор лент при необходимости увеличения объема. Преимущество: минимизация системного администрирования.
Off-line управление ленточным картриджем: Система сохраняет метаданные файловой системы для картриджей, находящихся в off-line. Преимущество: система поддерживает неограниченное количество лент «на полке».
Перепаковка ленты: На новую ленту осуществляется копирование только текущих файлов, без файлов удаленных и старых версий. Преимущество: обеспечивает восстановление полезного объема ленты и обеспечивает возможность легкой миграции при появлении следующих поколений LTO.
Частичное чтение больших файлов: При работе с очень большими файлами часто возникает необходимость прочтения только части файла. Например, это необходимо для много-гигабайтных видео файлов при создании короткого клипа. ПО XenData поддерживает частичное чтение больших файлов. Преимущество: хорошая производительность при работе с большими файлами.
Уведомления по e-mail. Уведомление о возможных ошибках в работе аппаратного комплекса или проблемах с архивом отправляется по e-mail и\или сообщениями непосредственно на экране дисплея.
Безопасность в соответствии со стандартами Microsoft: Программное обеспечение XenData Archive Series полностью интегрировано в систему безопасности Microsoft Windows, базирующейся в Active Directory. Преимущество: легкая интеграция в существующие стандарты безопасности, минимизация административных затрат.
Открытый стандарт на ленточные технологии: Открытый стандартный формат TAR, используемый для хранения файлов на ленте, позволяет считывать информацию с ленточных картриджей, применяя различные утилиты. Преимущество: использование открытых стандартов совместно с существующими стандартами аппаратного обеспечения гарантирует доступность информации, хранимой на ленте, в течение длительного времени.
Высокая масштабируемость: Версии X32 и X64 поддерживают широкий спектр ленточных библиотек, позволяющих хранить петабайты информации. В случае добавления к решению второй ленточной библиотеки, существующая версия ПО может быть расширена до версии MX64 для достижения наивысшей производительности.