03.07.2025
 
 

 

Как построить оптимальную систему хранения данных
Автоматизация - Построение систем хранения данных

как построить оптимальную систему хранения данных

Многолетний опыт работы в области построения систем хранения данных (СХД) дает мне право рассматривать эту тематику шире и представить методику создания целостной системы, обеспечивающей резервное копирование, архивирование, структурированное хранение и восстановление данных в требуемые сроки.

Процесс проектирования таких систем должен опираться на пофайловый анализ подлежащих хранению данных, который рекомендуется проводить на основе следующей информации о файлах: даты их создания, модификации, последнего обращения к ним, расширение, расположение в каталогах файловой системы.

Общие положения и понятия

К сожалению, различные производители программного обеспечения нередко вкладывают в такие понятия, как резервное копирование , архивирование и структурированное хранение , разный смысл. Поэтому для понимания изложенных в статье вопросов сначала необходимо определиться с терминологией.

Под резервным копированием (backup) следует понимать создание копий файлов с целью быстрого восстановления работоспособности системы в случае возникновения аварийной ситуации. Эти копии хранятся на носителях (магнитооптические диски, магнитные ленты), которые нередко называют резервными, определенный срок и затем перезаписываются. Таким образом, с ростом объема информации на серверах число резервных носителей увеличивается относительно медленно. Резервному копированию, как правило, подлежат данные, часто требуемые пользователям. Эти данные можно определить по тому периоду времени, который прошел со дня последнего обращения к их файлам. Считается, что он не должен превышать 120 дней. Для обеспечения надежности защиты данных желательно иметь по три резервных копии последних редакций файлов.

Резервное копирование может быть полным (full), инкрементальным (incremental) и дифференциальным (differential). При полном резервном копировании создается копия всех данных, подлежащих резервному копированию. Недостаток этой процедуры необходимость значительного времени на ее осуществление, а достоинство относительно быстрое восстановление информации из одной полной копии.

При дифференциальном копировании дублируются только файлы, созданные или измененные со времени проведения последнего полного копирования. И чем больше это время, тем дольше будет осуществляться дифференциальное копирование. В случае краха системы администратору для восстановления данных придется задействовать последние полную и дифференциальную копии.

При инкрементальном копировании дублируются только те файлы, которые были созданы или изменены после последнего полного, дифференциального или инкрементального копирования. Время выполнения такого копирования относительно мало, но в случае утраты информации ее придется восстанавливать, используя последнюю полную и все последующие инкрементальные копии, что является самой длительной процедурой восстановления.

Обычно для достижения компромисса между временем резервного копирования данных и временем их восстановления выбирается схема, согласно которой раз в неделю проводится полное копирования и ежедневно инкрементальное.

Под архивным копированием (archive) следует понимать процесс создания копий файлов, предназначенных для бессрочного или долговременного хранения. Носители, на которых они хранятся, называют архивными. Периодическое проведение архивного копирования позволит иметь копии нескольких разных версий одних и тех же файлов. Как правило, архивируются данные, которые никем не модифицировались 90 или более дней. Впрочем, особо важные файлы иногда помещаются в архив независимо от времени их последней модификации. Обычно считается, что для обеспечения надежности хранения нужно иметь 2 3 архивных копии всех редакций файлов, подлежащих архивированию.

Архивное копирование тоже может быть полным, инкрементальным и дифференциальным. При организации процесса архивирования делаются полные копии, к которым, как правило, раз в месяц добавляются инкрементальные копии. Дифференциальное архивное копирование обычно не выполняется. Как показывает практика, количество архивных носителей на предприятии довольно быстро растет.

Набором носителей информации называется группа резервных или архивных носителей, периодически используемая в процессе копирования. С целью повышения надежности хранения информации не следует помещать более одной копии одного и того же файла на один носитель или набор носителей. Таким образом, чтобы иметь три копии (как это рекомендуется), нужно задействовать три разных набора носителей. При этом для защиты данных от всевозможных катастроф и стихийных бедствий один из наборов следует хранить в удаленном месте.

Смена рабочего набора носителей в процессе копирования называется их ротацией. В настоящее время наиболее широко используются две схемы ротации: дед отец сын ( grandfather father son ) и ханойская башня ( Tower of Hanoi ). Последняя схема обеспечивает более равномерное распределение информации по наборам носителей.

Концепция структурированного хранения подразумевает организацию иерархической структуры устройств хранения информации. На первом (верхнем) уровне находятся жесткие диски, а на других (нижних) уровнях магнитооптические и ленточные накопители. При этом часть жесткого диска и магнитооптические и/или ленточные накопители объединяются в единый логический диск, на котором обычно хранят редко используемую информацию. Система структурированного хранения может включать в себя как устройства оперативного доступа, работающие без вмешательства оператора (жесткие диски и библиотеки магнитооптических дисков или ленточных носителей), так и одиночные накопители, в которых носители заменяются оператором вручную. Назначение структурированного хранения удешевление процесса хранения редко используемых данных.

При физическом перемещении файла между устройствами разных уровней структурированного хранения его логическое местоположение в файловой системе сервера остается неизменным. Приложения обращаются к файлам по их логическому местоположению. В системах структурированного хранения на носители более низких уровней обычно перемещаются файлы, к которым пользователи не обращались в течение определенного времени (как правило, не менее 120 дней). Перемещение файлов в системе структурированного хранения организуется таким образом, чтобы объем свободного пространства на дисках серверов поддерживался на заданном уровне. Не рекомендуется перемещать исполняемые файлы и файлы из системных каталогов.

 


Читайте:


Добавить комментарий


Защитный код
Обновить

Диспетчеризация пунктов:

Автоматизированная система энергоучета тепловой энергии на тепловыводах Новосиби

News image

Система энергоучета и диспетчеризации охватывает тепловые выводы четырех ТЭЦ в г. Новосибирске и одной ТЭЦ в Новосибирской области. На каждой из пяти ТЭЦ Master SCADA установлены узлы энергоучета...

СИСТЕМА МОНИТОРИНГА И УПРАВЛЕНИЯ ЭЛЕКТРООБОРУДОВАНИЕМ СКЛАДСКОГО КОМПЛЕКСА

News image

Заказчик: ООО «Юг Логистик - сервис», г. Москва Описание технологического процесса: Объектом мониторинга и удалённого управления являются системы электрооборудования и отдельные агрегаты складск...

Региональная диспетчерская система газопроводной сети

News image

Заказчик: ОАО «Уральские газовые сети», Екатеринбург. Региональная газораспределительная организация Свердловской области. Наблюдаемыми объектами являются газорегуляторные пункты (ГРП) газопровод...

 

Теория АСУ:

Контрольно-измерительные приборы - КИП. Классификация, характеристики, контроль,

News image

Контрольно-измерительные приборы можно классифицировать по следующим основным признакам: по роду измеряемой величины, способу получения информации, метрологическому назначению, расположению. По р...

Применение автоматизированных тепловых пунктов - ключ к энергосбережению в систе

News image

Существующие системы централизованного теплоснабжения были спроектированы в условиях социалистического хозяйства, и этот факт в значительной степени определяет их низкую энергетическую эффективность...

Методы автоматизации

News image

Методы автоматизации производства и научные основы автоматизации развиваются главным образом по 3 направлениям.Во-первых, разрабатывают методы эффективного изучения закономерностей объектов управлен...

Внедрение информационных систем

News image

Кроме того, внедрение информационных систем позволяет улучшить ряд показателей: Производительность труда (операционная эффективность) имеет отношение к скорости, стоимости и качеству выполнения р...

Техника безопасности при эксплуатации и ремонте приборов и средств автоматизации

News image

Электрические приборы и средства автоматизации, приборы, устанавливаемые во взрывоопасных помещениях и наружных установках, должны удовлетворять требованиям Правил устройства электроустановок (ПУЭ)....

 
 

Программные решения в автоматизации:

Большинство Web серверов позволяют

News image

· удаленным клиентам отображать информацию о процессе только в режиме чтения. Но некоторые разработчики уже объявили о поддержании в ближайших верс...

Ci Technologies строит ПО SCADA Citect на собственном опыте

News image

Бесшовное (гладкое) расширение до сотен тысяч точек в/в и большого числа ПК Примерно год назад на рынке SCADA-продуктов в Нидерландах появился но...

Создание сценариев

News image

Совершенно очевидно, что каким бы мощным инструментом кодогенерации ни обладал программный пакет, при создании более или менее сложной прикладной за...

Поддержка работы с внешними устройствами

News image

Использование любого программного пакета класса InTouch имеет смысл тогда, когда прикладная задача может легко взаимодействовать с устройствами типа...

Проект оценки SCADA-продуктов в CERN

News image

Для выявления наиболее подходящего для задач CERN (построение системы управления детектором) продукта SCADA рекомендуется запустить этап практическо...

Java: новая исполнительная среда для встроенных систем?

News image

Рассмотрим теперь различные модели, лежащие в основе парадигмы встроенный Java , и покажем, что Java мог бы использоваться, в одной из моделей, одн...

 

Примеры удачного внедрения:

ПТК ТИСУ

Программно-технический комплекс теплового контроля, измерений, сигнализации и управления сигнализацией гидроагрегата – ПТК ТИСУ предназначен для реш...

Система управления производством (на примере Японии)

Система управления производством фирмы «Тоёта» была разработана и усовершенствована «Тоёта Мотор Корпорейшн» и после 1973 г. была принята многими др...

ПТК ТМ

Программно-технический комплекс телемеханики – ПТК ТМ обеспечивает функции диспетчерского управления в объеме обмена телеинформацией с системными оп...

Система изнутри

Чтобы не получилось как у М. Жванецкого - снаружи уже можем, теперь бы изнутри , проанализируйте использованные при разработке системы информационн...

Отсутсвие постановки задачи менеджмента на предприятии

Наверное, этот пункт является наиболее значимым и сложным. На первый взгляд, его тема перекликается с содержанием второго пункта, посвященного реорг...

ПТК АРЗ

Программно-технический комплекс управления оборудованием водоприемника (предтурбинные затворы, аварийно-ремонтные затворы (АРЗ)) – ПТК АРЗ предназна...