Одна из наиболее обсуждаемых тем в сфере информационных технологий последнее время является такой новеллой как Big Data, или как ее называют проблема «Больших данных».
Необходимо заметить, всегда существовала проблема хранения и обработки большого объема данных, но с развитием информационных технологий она стала беспокоить не только крупнейшие корпорации, но и гораздо более широкий круг компаний.
Ростом объема разнородной информации было спровоцировано развитие технологий ее хранения и обработки. Особый интерес вызывает использование парадигмы «Больших Данных» (Big Data). Она представляет собой модель масштабного управления массивами распределенных слабоструктурированных данных. [1] На сегодняшний день вышеупомянутая технология реализуется в различных отраслях, таких как финансовые учреждения и банки, предприятия сервис-провайдеров телекоммуникационных услуг, энергетики, маркетинга. В частности, к подобной сфере относятся автоматизированные системы управления технологическими процессами генерации, транспортировки, потребления и утилизации энергоносителей в службах тепло-, водо-, газо- и энергоснабжения. Контроллеры узлов учета энергопотребления собирают большое количество архивных и оперативных данных. Обработка этих данных при помощи технологий Big Data способна повысить эффективность работы систем диспетчерского управления потреблением энергоресурсами. Следовательно, целесообразно использовать их при создании автоматизированных систем энергетического мониторинга нового поколения.
В России, компании, которые обладают большей «аналитической зрелостью» в своей отрасли, получают конкурентное преимущество. Россия постепенно продвигается в использовании аналитических пакетов от внедрения специального ПО для сбора информации (ETL) в Хранилища данных с последующим анализом в электронных таблицах, затем внедряя простые аналитические системы реального времени, использующие несложные правила и информационные панели (Dashboards), крупная компания или банк постепенно дойдут и до работы в концепции Big Data. В России, начинают продвижение аналитических продуктов TIBCO Software и интеграционных продуктов и инструментов представления результатов анализа. Большая сложность грамотного использования аналитических систем состоит в больших сроках их внедрения и доработки. Информационная система банка постоянно развивается, меняется, и пока внедряется BI-система или делается dashboard, состав источников данных или алгоритмы расчета теряют актуальность. Игорь Бабич: «В этой ситуации программные продукты TIBCO Software имеют большое преимущество. Готовые адаптеры к любым информационным системам, базам данных и интеграционным шинам любых поставщиков, поэтому внедряются наши решения быстро и без масштабных доработок. А если у вас меняется ИТ-ландшафт, форматы XML-сообщений или информационные источники, не составит труда их перенастроить, это большой плюс».
Big Data в России уже не новшество, многие компании из розничной торговли и логистики, многие розничные банки используют анализ «больших данных». Ведь концепция Big Data не сводится к большому количеству данных, а подразумевает анализ неструктурированной информации.
Методы и модели работы с Big Data играют важную роль среди современных информационных технологий. Технологии работы с Большими Данными обеспечивают разносторонний анализ информации, оперативно извлекаемой из больших объемов неструктурированных или слабоструктурированных данных.[2] Внедрение и использование методов Big Data для автоматизации обработки информации в любой сфере является целесообразным, так как технология позволяет решить, ряд вопросов на этапе проектирования. Сбор и обработка больших массивов данных с приборов учета позволяет проводить ситуационный анализ и прогнозировать развитие ситуаций с целью предотвращения внезапных отключений, аварий и нештатных ситуаций в режиме реального времени.
Рождение Big Data в России вызывает несколько принципиальных изменений и ставит ряд важных вопросов. Изменения, в свою очередь, связаны со сменой соотношения между приемами сбора данных и их анализа, а также с изменением подходов к самому анализу данных. Во-первых, возникает необходимость в техниках анализа, которые ориентированны на большие, а не выборочные массивы – требуются отсутствующие сейчас в широкой практике инструменты оценки надежности связей, позволяющие исключить случайные зависимости, неизбежно возникающие при применении традиционных подходов к анализу массива из миллионов записей. Во-вторых, возникает потребность в новых технологиях подготовки данных к анализу – от исследователя требуются навыки прикладного программирования, данные часто оказываются в распоряжении аналитика в формате, который требует перевода в годный для анализа вид, систематической (автоматизированной) работы по поиску и удалению ошибок
В России, в перспективе, планируется продвигать in-memory computing. Трансформация BI-платформ, которая произошла и происходит в США, в Великобритании и в Германии, пройдет и в России.
Библиографический список
- Моррисон, Алан, Большие Данные: как извлечь из них информацию. Технологический прогноз // PricewaterhouseCoopers, № 4. 2015.
- Что такое на самом деле Big Data и чем они прекрасны. Лекция Андрея Себранта в Яндексе // Блог компании Яндекс http://habrahabr.ru/company/yandex/blog/214217/
- Рагимова С. Заготовка килобайтов банками // Журнал «Коммерсантъ Секрет Фирмы». – 2014, №12– С.15.
- Ломакин М.И. Формирование оптимального портфеля реальных инвестиционных проектов в условиях неопределенности // Инвестиции в России. 2014. № 1. – С. 14.
- Ломакин М.И., Интеграция российских инновационных предприятий в мировую экономику на основе развития информационного обеспечения стандартизации // Российское предпринимательство. 2014. № 2.– С.5
Количество просмотров публикации: Please wait