В настоящее время, в каждой компании, использующей цифровые технологии, возникает потребность в хранении больших массивов данных. В зависимости от потока информации, обрабатываемой той или иной компанией, размеры системы хранения данных (СХД) имеют различные масштабы, способы реализации данных систем, и так же различный потенциал к расширению возможностей. Компании тратят большие средства на развитие СХД, расчет нагрузки и возможностей своих систем, все чаще оставляя без внимания тот факт, что различные устройства имеют свой срок работы, и может произойти ситуация, при которой в полностью работоспособной СХД может произойти сбой, и будет утеряна важная информация [1].
Сбои в работе СХД могут быть вызваны внешним воздействием злоумышленника, «скачками» напряжения рабочей станции, а также деградацией самих компонентов системы, за счет которой они начинают терять свои рабочие свойства. Не менее важной задачей при работе СХД с большими потоками информации является оптимизация пространства хранения, иначе информация, потерявшая свою актуальность, будет занимать оперативную память устройства хранения, тем самым снижая быстродействие системы и создавая дополнительные трудности для конечного пользователя.
Потоки информации, обрабатываемые в настоящее время различными компании в десятки раз больше, чем 10-15 лет назад. Согласно статистике, представленной аналитиками из компании «Google», за последние 10 лет количество занимаемой данной памяти увеличилось с 8-10 зеттабайт до 100 зеттабайт. Возникает закономерный вопрос, где хранить подобные объемы данных, ведь перспективы развития информационных технологий предполагают лишь увеличение необходимых объемов для хранения больших массивов данных. Проблема хранения массивов больших данных решается введение многомерных СХД, в котором применяется логическое хранение данных. Таким образом в компаниях, где существует постоянной поток рядовой информации, такой как реквизиты банковских операций, отчеты различных подразделений и сведения о передвижении ресурсов внутри компании, при помощи логического хранения данных в многомерных системах хранения могут высвобождать пространство на носителях, перемещая необходимые для долгосрочного хранения данных в более объёмные хранилища данных, пусть и не обладающие той же скоростью обработки.
Для решения задач по хранению больших массивов данных различный компании создают алгоритмы и методы оптимизации пространства хранилища данных посредством администрирования данных, создают многомерные и многоуровневые СХД, задаются математические алгоритмы реструктуризации данных по признакам ценности информации, ее актуальности, создаются различные методы поддержания целостности информации посредством добавления Хеш – кодов, задания алгоритмов шифрования с неравной защитой символов и другие различные методы, которые на ровне с поддержанием целостности данных в СХД направлены на освобождение пространства хранилища и регулирование числа избыточных блоков данных.
В данной работе рассмотрим способы хранения больших массивов данных, перспективы использования многомерных СХД, а также алгоритм поддержания «целостности» информации при помощи частичной фрагментации блоков хранения больших данных.
Основная проблема хранения больших массивов данных
Потоки информации, обрабатываемые в настоящее время различными компании в десятки раз больше, чем 10-15 лет назад. Так в 2011 году среднестатистической компании для хранения и обработки информации было достаточно иметь в офисе компании небольшой сервер хранения данных, состоящий из нескольких жестких дисков общим объёмом до 100 Tбайт (в зависимости от направления работ число могло отличаться)[1], то в настоящее время данный объем окажется несущественным, компаниям придется прибегать к различным методам расширения возможностей СХД, откуда вытекают различные проблемы, решением которых необходимо заняться до их возникновения.
Формулировка основной проблемы хранения больших массивов данных.
Системы хранения больших данных присутствуют в каждой компании, и большинство из них не задумывается о проблемах, возникающих с СХД. Проблемы могут быть вызваны как неправильным использованием и недобросовестным обслуживанием СХД, так и неверным подходом к построению системы.
Рассмотрим различные проблемы, возникающие при работе с СХД:
1. Нехватка памяти (переполнение хранилищ данных) – одна из наиболее распространенных проблем, вызванная недальновидным расчетом необходимого объема хранилища данных. Есть несколько различных путей решения данной задачи:
1) Горизонтальное масштабирование СХД – компании необходимо докупить оборудование для хранения данных, при необходимости расширить рабочую площадь, занимаемую СХД, а также провести процедуру подключения нового оборудования к расширяемой системе, при это не допустить возможной утери данных в процессе объединения. Данное решение имеет множество недостатков, начиная от стоимости реализации (закупка нового оборудования, возможное расширение помещений для хранения, подключение и настройка нового оборудования), заканчивая возможной утерей части хранимых данных в процессе объединения хранилищ.
2) Частичная фрагментация хранилища – это уже решение, требующее более творческого подхода. Данное решение включает в себя достаточно сложную и кропотливую работу по выбору в хранилище данных информации, что не представляет ценности и не подлежит долгосрочному хранению, соответственно данную информацию можно удалить с основных хранилищ данных, а при необходимости сохранить данную информацию перенести на внешний накопитель, чтобы не перегружать основную память устройства.
3) Логических подход к хранению информации – данный пункт немного совпадает с предыдущим, однако он требует создания логического аппарата, управляющего хранимой информацией. Основная задача в задании приоритетности информации, программное обеспечение СХД должно распределять информации по степени её актуальности, даты создания файла, а также частоты обращения к данной информации пользователями. Информация, что не используется пользователями, но подлежит хранению на долгосрочной основе (банковские транзакции, заключенные договора и т.п.) переходит на внешние накопители, такие как жесткие диски (HDD), флэш-накопители (USB) и твердотельные устройства (SSD). Информация, часто вызываемая пользователями, распределяется на быстродействующие накопители (SSD), и поддерживается в активном состоянии до изменения параметра актуальности, либо выхода срока действия актуальности.
2. Выход их строя устройств хранения данных – данная проблема имеет несколько причин возникновения, таких как: деструктивное воздействие внешней среды (возможные действия злоумышленника, перебои с подачей электроэнергии, различные проблемы, возникновение которых в меньшей степени зависит от действий работников компании), деградация и выход из строя оборудования в связи с выработкой внутренних ресурсов оборудования (старение жестких дисков, твердотельных накопителей). К сожалению, этим аспектам работы СХД уделяется меньше внимания от компаний, что часто приводит к непоправимым последствиям и утере критически важной прослойки данных.
Безопасность хранимых данных должна быть одной из первостепенных задач системного администратора, работников обеспечения безопасности информации и держаться в контроле у руководства, проблемы с хранением информации, возможные утечки персональных данных и утеря блоков данных из-за выхода из строя оборудования могут привести к серьёзным финансовым потерям и подрыву репутации компании. Решений данной проблемы много, они включают в себя такие пункты как: своевременная замена комплектующих СХД, установка средств технической защиты от внешних воздействий (установка устройств бесперебойного питания, программное обеспечение по предупреждению проникновения в СХД злоумышленниками, различные устройства мониторинга состояния подключений к СХД), установка датчиков мониторинга состояний устройств хранения информации.
Выше представлены краткие сведения о возможных проблемах, возникающих при работе с СХД, это далеко не полный перечень проблем и трудностей, с которыми сталкиваются компании, старающиеся успевать за темпами развития информационных сетей и технологий. Существует множество различных моделей систем поддержания «целостности информации», контроля за состоянием оборудования, входящего в состав СХД, а также логического размещения информации на дисках, многомерных систем хранения данных, поддерживающих возможность задания приоритетности информации и создания резервных копий наиболее важной для сохранения информации.
Хранение больших массивов данных. Многомерная система хранения данных.
Особенности хранения информации в системе являются не менее важными, чем строение самой системы, поэтому многие компании создают логические системы и алгоритмы хранения данных[2]. Современные СХД представляют собой многомерную систему, в которой данные хранятся в виде блочной структуры, где блоки данных хранятся в определенной последовательности. Примерное расположение блоков данных в подобной структуре представлено на Схеме №1.
Подобное расположение блоков данных демонстрирует многомерную структуру СХД, в которой каждый блок имеет определенные координаты в пространстве хранилища, что позволяет контролировать как общую структуру блоков, так и каждый блок по отдельности. Контроль отдельно взятых блоков необходим для обеспечения целостности данных, содержащихся в каждом блоке, а при необходимости, для локализации и возможного восстановления поврежденных блоков данных.
Объём блока данных может быть от 8 бит до 512 Кбайт, давая возможность оптимизации пространства под различные задачи. Размеры блока необходимо выбирать в зависимости от той информации размещаемой в этом блоке.
Таким образом, если блок используется для хранения файлов размером в 5-10 Кбайт, то целесообразно выбрать небольшой объем, что позволит контролировать целостность данных и обеспечить восстановление в случае сбоя или критической ошибки. Также хранение информации в небольших блоках позволяет создать многоуровневое хранилище для хранения данных.
Схема №1. Многомерная система хранения блоков данных
Многоуровневое хранилище данных
Многоуровневое хранилище данных – это один из видов логического хранения данных, который позволяет распределять блоки данных по пространству хранилища, носителям различных уровней в зависимости от «ценности» данных, хранимых в блоке. Под «ценностью» данных будем понимать значимость информации в данный момент времени, её актуальность и наличие необходимости быстрого поиска и включения в работу. Таким образом, информации о прогнозе погоды на определенный день недели потеряет свою актуальность сразу после наступления этого дня, информация о сотрудниках, находящихся в отпуске либо на излечении станет менее важной сразу после выписки из медицинского учреждения или возвращения из отпуска. И наоборот, информация о предстоящей сделке, планируемых закупках на квартал или зарплатные ведомости будут сохранять актуальность и высокую значимость для компании в процессе всего выполнения.
Идея создания логического многоуровневого хранилища заключается в том, чтобы оптимизировать пространство на более быстрых носителях информации (SSD) за счет переноса неактуальной и теряющей свою ценность информации на более дешевые носители, обладающие меньшим быстродействием, но в то же время обладающие большим пространством для хранения устаревшей информации.
Примерное строение многоуровневого хранилища данных представлено на Схеме №2. Разделение цельного хранилища данных на несколько уровней позволяет большинству компаний достичь необходимого значения коэффициента ввода-вывода данных в секунду (OIPS).
Рассмотрим различия между уровнями хранилища:
-
Уровень 0 – это самый верхний уровень хранилища, на котором расположены данные, доступ к которым пользователь должен получать незамедлительно, например, необходимые для выполнения задач сведения, сводные таблицы и т.п. Данные на этом уровне принято называть «горячими». Эта часть хранилища состоит из оперативной памяти устройств (сервер, оперативная память ПК), твердотельных накопителей с высокой частотой передачи данных (SSD).
Схема №2. Многоуровневое хранилище данных
- Уровень 1 – данный уровень необходим для хранения «теплых» данных. На него переносятся данные с нулевого уровня хранилища, также на нем происходит распределение блоков данных по остальным уровням хранилища. Данный уровень необходим для поддержания необходимого уровня работоспособности системы при заполнении верхнего уровня, а так координации работы остального хранилища. Данный уровень в основном состоит на 70-80% из твердотельных накопителей (SSD), для обеспечения скорости передачи данных, а также их жестких дисков (HDD), для обеспечение необходимого для оперативной работы объёма хранения данных.
- Уровень 2 – этот уровень предназначен для долгосрочного хранения необходимых для работы данных («холодных»), которые могут быть вызваны рабочими программами или пользователями при необходимости. На этом уровне располагается большинство файлов рабочих программ, исходники баз данных, используемых на серверах и другие данные, требующие для хранения больших объёмов памяти. Этот уровень представлен носителями информации с большими объемами памяти (HDD), от них не требуется большой скорости передачи данных и высоких значений частоты выполнения операций ввода-вывода.
- Уровень 3 – Архив. На этом уровне хранится информация, которая не является необходимой для работы различных программ, выполнения операций или других действий пользователя. Основным заполнением данного уровня является информация, которая по тем или иным причинам не может быть удалена с носителей информации и требует обязательного хранения в течении определенного периода времени (реквизиты банковских операций, сведения о купле-продаже различного имущества, гарантийные обязательства компаний и т.п.).
Многоуровневая структура СХД позволяет оптимизировать рабочее пространство и позволяет сэкономить средства компании, так как строить хранилище данных только из твердотельных накопителей с большим объемом памяти и частотой выполнения операций ввода-вывода экономически нецелесообразно. В данной структуре за быстродействие системы отвечают верхние уровни 0 и 1, за хранение информации уровни 2 и 3. Тем самым мы снимаем нагрузку с системы, плавно распределяя ее между уровнями хранилища.
Схема № 3. Передвижение блоков данных внутри хранилища
Многоуровневая система хранения данных построена так, что блоки данных всегда перемещаются с верхнего уровня 0 только на уровень 1, чтобы не терять быстродействия системы, при работе с нижними уровнями хранилища. На схеме №3 представлено перемещение блоков данных между уровнями хранилища. Конечным уровнем сбора блоков данных всегда является нижний уровень, при необходимости работы с блоками данных
с уровня 3 данные перемещаются на уровни хранилища с большими частотами операций ввод-вывод. Перемещение блоков данных по уровням хранилища позволяет поддерживать работоспособность оперативных уровней (уровень 0 и 1) за счет освобождения пространства на носителях и распределения ресурсов, затрачиваемых на обработку поступающих данных.
При работе с СХД необходимо обеспечить доступность и сохранность блоков данных, поступающих или создающихся в системе. В многомерной системе доступность информации достигается за счет присвоения каждому блоку данных уникального индекса, позволяющего производить поиск по уровням хранилища. Для пользователя системы многомерная СХД представляет собой единое хранилище данных, нет необходимости ручного переноса данных на нижние уровни, тем самым работа по оптимизации пространства полностью ложится либо на системного аналитика, обрабатывающего данные системы, либо на программный алгоритм, позволяющий переносить данные между уровнями, опираясь на свойства данных.
Обеспечение целостности информации
В многоуровневых СХД возникает проблема обеспечения безопасности хранения данных, большой поток поступающих и обрабатываемых данных порождает высокий уровень избыточности информации, затрудняя работу системы. Имеются три основных критерия оценки безопасности информации:
- Доступность – в любой момент времени пользователь должен иметь возможность получить необходимую информацию из хранилища данных.
- Конфиденциальность – хранимая информация должна находится в безопасности от несанкционированного доступа третьих лиц, при этом данные находятся в общей системе, и доступ к ним должен осуществляться после аутентификации пользователя с любого устройства.
- Целостность – данные в СХД должны храниться в первозданном виде, без искажений и несанкционированных изменений, возможность утери или повреждения данных поддерживается на минимальном уровне, независимо от воздействия внешней среды, перебоев в работе оборудования или действий злоумышленников.
Проблемы доступности данных в СХД решаются силами системного администратора и лица, ответственного за закупку и установку оборудования в хранилище данных. Их задачей будет расчет необходимой вычислительной мощности, необходимой для работоспособности серверов и основных систем компаний, составление СХД с необходимым количеством памяти для хранения необходимых данных, а также структуризация хранилища, построение уровней хранилища и задание приоритетности тому или иному разделу СХД.
Конфиденциальность данных в СХД зависит от настроек безопасности, установленных специалистом по информационной безопасности, соблюдением требований безопасности и правил эксплуатации оборудования пользователями, постоянным мониторингом входящего и исходящего интернет-трафика на наличии подозрительной активности как во время рабочей сессии пользователя, так и без его присутствия посредством внедрения вредоносного программного обеспечения или создания скрытых сессий, действующих в системе в фоновом режиме[3].
Обеспечение целостности данных является задачей, тесно связанной с доступностью информации, так как при отсутствии возможности доступа к данным их целостность не имеет значения, а при нарушении целостности данных в их доступности нет необходимости. Под целостностью информации принято понимать сохранность данных в первоначальном виде, поддержание минимальной вероятности повреждения или возникновения ошибок в данных, а также возможность восстановления утерянных или поврежденных данных за счет использования различных программных алгоритмов. Среди факторов, воздействующих на СХД и угрожающих целостности данных, можно выделить несколько основных групп:
-
Воздействие внешней среды – это факторы, оказывающие физическое влияние на СХД. Среди этих факторов находятся перебои в электропитании или скачки напряжения, напрямую угрожающие оборудованию, нарушение условий эксплуатации или износ устройств хранения данных. Контроль за данными факторами ложится на плечи системного администратора и персонала, обслуживающего СХД.
-
Воздействие злоумышленников – данный тип воздействия характерен для систем, имеющим доступ в сеть интернет или хранящем данные о финансовых операциях, хотя спектр интересов злоумышленников достаточно разнообразен. Злоумышленники для получения или искажения данных в системе могут использовать как личное подключение к СХД, посредством обнаруженных уязвимостей в системе, так и вредоносное программное обеспечение, попавшее на устройство, подключенное к СХД, при этом характер воздействия на систему зависит от стоящей перед злоумышленником задачи. Защита от данного воздействия ложится на службу защиты информации компании, которая посредством постоянного мониторинга трафика системы, подозрительных активностей на устройствах пользователей, а также своевременного обновления баз антивирусных систем снижают вероятность возникновения деструктивного воздействия на систему и усложняют задачу злоумышленников.
-
Деградация системы – в данную группу входят факторы, вызванные настройкой системы, в которой в процессе работы накапливаются данные, потерявшие актуальность. Эти данные представляют собой отчеты о работе системы, которые теряют свою актуальность в момент составления следующего отчета, различные временные файлы, создаваемые приложениями в ходе работы и т.п.
Проблема деградации системы становиться актуальной для компании по мере заполнения пространства хранилища, когда встает вопрос о расширении хранилища и соответствующих финансовых затратах. Для решения данной проблемы компании создают алгоритмы, автоматически распределяющие данные по пространству хранилища, в многоуровневых СХД перемещают неактуальную информацию на нижние уровни, или занимаются удалением устаревших данных.
Частичная фрагментация данных
Одним из способов освобождения пространства хранилища данных является частичная «фрагментация» блоков данных. Под фрагментацией данных в контексте данной работы будем понимать удаление, либо перемещение на нижние уровни хранилища блоков данных, содержавших устаревшую и потерявшую актуальность информацию. Так СХД можно представить в виде 3-х мерной фигуры – куб, где блоки данных расположены по осям X, Y и Z, каждый блок данных может содержать от 8 Бит до 256 Мбит информации.
Процесс фрагментации блока целевых данных можно разделить на 3 основных вида:
-
Фрагментация по одной плоскости
-
Фрагментация по двум плоскостям
-
Фрагментация по трем плоскостям
Введем параметр K = 45 – количество целевых блоков в плоскости.
3-х мерное пространство блоков данных будет содержать K3 = 91125;
Выполним фрагментацию по оси X.
Алгоритм фрагментации по одной оси представляет собой следующую формулу
(1)
где х - этапы фрагментации блока по оси X.
Результаты фрагментации представлены в таблице №1. Как видно из результатов расчета, при последовательном уменьшении одной плоскости куба (1 целевого блока данных) видна сильная деградация объема целевой информации, к тому же возможно только 44 этапа фрагментации, что снижает качество выполненной операции, увеличивая возможность критического повреждения целевых блоков данных, в результате данного метода удается сохранить 77.7% целевых данных.
Таблица № 1. Фрагментация по одной плоскости
| Kx |
45 |
44 |
43 |
42 |
41 |
40 |
39 |
38 |
37 |
36 |
35 |
| Ky |
45 |
45 |
45 |
45 |
45 |
45 |
45 |
45 |
45 |
45 |
45 |
| Kz |
45 |
45 |
45 |
45 |
45 |
45 |
45 |
45 |
45 |
45 |
45 |
| V |
91125 |
89100 |
87075 |
85050 |
83025 |
81000 |
78975 |
76950 |
74925 |
72900 |
70875 |
V – Количество целевых блоков данных в системе.
Kx, Ky, Kz – количество целевых блокам по осям X, Y и Z соответственно.
Схематичное изображение процесса фрагментации по оси X представлено на схеме № 4.
Схема №4. Фрагментация целевых блоков данных по оси Х
Проведем фрагментацию по осям X и Y.
В данном случае в выражение описывающие фрагментацию добавляется переменная y, описывающая этапы фрагментации по оси Y.
(2)
где x – этапы фрагментации блока по оси X,
y – этапы фрагментации блока по оси Y.
Из результатов расчетов видно, что при параллельном уменьшении двух плоскостей куба (1 целевого блока данных) деградация объема целевой информации меньше чем у предыдущего вида. При этом данный вид фрагментации позволяет 88 этапов фрагментации данных, что позволяет достичь уменьшения объема, занимаемого данными, не увеличивая возможность возникновения ошибок и искажений блоков целевых данных, в данном методе удается сохранить 79% целевых блоков данных. Схематичное изображение фрагментации по 2-м плоскостям представлено на схеме № 5. Результаты расчета этапов фрагментации по 2-м плоскостям представлены в таблице № 2.
Таблица № 2 – фрагментация по двум плоскостям
| Kx |
45 |
44 |
44 |
43 |
43 |
42 |
42 |
41 |
41 |
40 |
40 |
| Ky |
45 |
45 |
44 |
44 |
43 |
43 |
42 |
42 |
41 |
41 |
40 |
| Kz |
45 |
45 |
45 |
45 |
45 |
45 |
45 |
45 |
45 |
45 |
45 |
| V |
91125 |
89100 |
87120 |
85140 |
83205 |
81270 |
79380 |
77490 |
75645 |
73800 |
72000 |
V – Количество целевых блоков данных в системе.
Kx, Ky, Kz, – количество целевых блокам по осям X, Y и Z соответственно.
Наиболее перспективным для использования в реальных многомерным СХД является метод фрагментации по 3-м осям. Математическое выражение данного метода представляет собой:
(3)
где x – этапы фрагментации блока по плоскости X
y - этапы фрагментации блока по плоскости Y
z - этапы фрагментации блока по плоскости Z
При параллельном уменьшении трех плоскостей куба (1 целевого блока данных) деградация объема целевой информации значительно меньше, чем у двух предыдущих видов, данный вид фрагментации позволяет выполнить 264 этапа фрагментации, сохраняя 70.23% блоков целевых данных, при этом освобождаю значительно большее пространство хранилища. Результаты расчета этапов фрагментации по 3-м плоскостям представлены в таблице № 3.
Таблица 3. Фрагментация по трем плоскостям
| Kx |
45 |
44 |
44 |
44 |
43 |
43 |
43 |
42 |
| Ky |
45 |
45 |
44 |
44 |
44 |
43 |
43 |
43 |
| Kz |
45 |
45 |
45 |
44 |
44 |
44 |
43 |
43 |
| V |
91125 |
89100 |
87120 |
85184 |
83248 |
81356 |
79507 |
77658 |
| Kx |
42 |
42 |
41 |
41 |
41 |
40 |
40 |
40 |
| Ky |
42 |
42 |
42 |
41 |
41 |
41 |
40 |
40 |
| Kz |
43 |
42 |
42 |
42 |
41 |
41 |
41 |
40 |
| V |
75852 |
74088 |
72324 |
70602 |
68921 |
67240 |
65600 |
64000 |
Схема №6. Фрагментация целевых блоков данных по осям Х, Y и Z
Полученные результаты для трех алгоритмов фрагментации больших массивов данных представлены на схеме № 7. По вертикальной оси отложено количество блоков данных Nблоков, по горизонтальной оси количество этапов фрагментации It, проведенных над СХД. Из результатов видно, что метод фрагментации по 3-м осям позволяет поддерживать целостность данных на протяжении большего количества этапов фрагментации, что представляют «жизненные» циклы данных в хранилище информации, изменения и редакцию хранящихся там данных, позволяю более продолжительное время использовать СХД без риска повреждения целевой информации.
Схема №7. Фрагментация целевых блоков данных по осям Х, Y и Z
Библиографический список
- От хранения данных к управлению информацией. 2-е изд.- СПб.: Питер, 2016.- 544 с.
- С. А. Диченко, О. А. Финько. Контроль и восстановление целостности многомерных массивов данных посредством криптокодовых конструкций. Программирование, 2021, № 6, с. 3–15.
- Бирюков А.А. Информационная безопасность: защита и нападение. – 2-е изд., перераб. и доп. – М.:ДМК Пресс, 2017. – 434 с.: ил].