Автоматизированные системы мониторинга качества окружающей среды, применяемые во многих исследованиях и оценках, помимо явных преимуществ (возможность сбора большого числа данных, сплошной характер наблюдения, возможность получения данных в режиме онлайн и т.д.) имеют также и определенные недостатки. Явным недостатком, снижающим ценность полученных данных, является наличие ложных значений. Природа и характер ложных значений различны, в зависимости от их происхождения ложные данные могут как занизить так и завысить значение показателей.

В качестве объекта исследования нами был взят набор значений скорости ветра по 6 постам наблюдений автоматизированной системы мониторинга состояния окружающей среды Красноярского края за период в один год [1]. Система служит для сбора данных о качестве окружающей среды региона и информировании граждан. Свободное распространение данных в сети Интернет на соответствующем сайте Центра реализации мероприятий по природопользованию и охране окружающей среды Красноярского края позволило автоматизировано получить необходимый набор данных посредством разработанного специализированного программного обеспечения [2]. Для исследования были взяты данные полученные методом усреднения из набора суточных значений. Таким образом в исследовании использовались 6 временных рядов с размерностью в 364 значения, уменьшение данных по сравнению с длительностью года было принято для кратности недельному периоду (52 недели). Посты краевой системы мониторинга расположены в г. Красноярске (5 постов) и в г. Ачинске (1 пост) (рисунок 1).

Рисунок 1 – Расположение постов мониторинга подсистемы мониторинга атмосферного воздуха КГБУ «ЦРМПиООС»

Расположение постов в относительной близости друг от друга (особенно расположенных в городе Красноярске), предполагает схожесть исходных климатических данных, однако непосредственное сравнение данных в исходном виде невозможно по причине наложения на климат характеристик среды. При организации системы мониторинга, в соответствии с требованиями государственного стандарта [3], должно соблюдаться требование проветриваемости участка, что, зачастую, не в полной мере осуществлялось или же на этапе расположения постов в городской застройке или же данное требование нарушилось при дальнейшей застройке города. Исходное предположение о невозможности сравнения данных постов легко проверить разбиением заданного временного ряда на отдельные интервала и последующим нахождением средних арифметических данных интервалов (таблица 1).

Таблица 1 – Средние арифметические значения скоростей ветра на постах наблюдения (с периодом усреднения в 4 недели), м/с

Для наибольшей наглядности ранжирование уровней скорости ветра выполнено в цветовом градиента красный – зеленый. Как видно из таблицы 1 средние значения скорости ветра в целом за весь рассматриваемый период в значительной степени отличаются по постам наблюдений. Такая же неоднородность заметна при анализе отдельных периодов, однако, при этом таблица дает представление об влиянии застройки на скорость ветра. Так даже без знания фактического расположения постов в пространстве можно сделать вывод о том, что посты «Северный» и «Березовка» располагаются на территории с преимущественно не свободным движением воздушных масс. Посты «Черемушки» и «Ачинск» расположены на более свободно проветриваемой территории. Наибольшей же проветриваемостью и, соответственно, более соответствующими требованиям являются посты системы мониторинга «Кубеково» и «Солнечный».

Исходя из всего вышесказанного и анализа таблицы следует вывод о схожести динамики скоростей ветра и различности уровней данных значений, таким образом в качестве критерия для определения истинности значений может служить показатель, отражающий не значение уровней, а их динамику относительно друг друга. В качестве такого показателя был выбран коэффициент корреляции по Пирсону, исходя из потенциальной нормальности распределения данных.

Для выборок со схожей динамикой уровней значение коэффициента корреляции будет близок к 1. Поэтапное попарное нахождение коэффициентов корреляции для всех рассматриваемых рядов возможно, при этом разбиение значений ряда на составляющие (периоды наблюдений) создаст большое количество данных, интерпретация которых затрудняется. Однако попарное нахождение коэффициентов корреляции для временных рядов даст основу для определения базового уровня значений коэффициентов корреляций для последующего нахождения ложных значений (таблица 2).

Таблица 2 –  Значение коэффициентов корреляции временных рядов скорости ветра между постами системы мониторинга*

* – расчет значений коэффициентов корреляции проводился методом усреднения коэффициентов, полученных за каждый из рассматриваемых периодов с предварительным исключением периодов с пропуском данных

Исходное предположение о значении коэффициента корреляционной связи между временными рядами близкого к 1 на практике подтвердилось не в полной мере, причиной для данного факта может служить наличие ложных значений. Данный факт подтверждается при соответствующем анализе значений коэффициентов корреляции с периодом усреднения в одну неделю (рисунок 2).

Рисунок 2 – Изменение значений коэффициентов корреляции*

* – в качестве коэффициентов корреляции для поста наблюдений использовалось среднее арифметическое попарных коэффициентов корреляции, одним из которых в каждой паре был рассматриваемый пост

Рассмотрение каждого из исходных временных рядов в качестве последовательности из 52 интервалов, состоящих из 7 значений, и нахождение последующих коэффициентов корреляции между ними позволяет наглядно видеть недели с явными отклонениями значений. Итоговое количество пар коэффициентов корреляции должно составить 750 значений, в нашем случае с учетом пропусков данных общее количество значений уменьшилось до 726. С учетом нахождения среднего арифметического, для парных значений коэффициента корреляции каждого поста, таковых значений должно быть 312, в нашем случае их количество составило 301, за счет пробела в данных. Для поиска ложных значений необходимо выбрать пороговый уровень коэффициента корреляции. Отнесение усредненного значения в интервал ниже выбранного порогового уровня дает возможным сделать предположение о наличии в интервале данных ложных значений. В качестве такого порогового уровня нами было выбрано значение 0,4. Ниже данного уровня расположилось 45 значений коэффициента корреляции, при этом значения распределились не однородно по исследуемым периодам. Такого рода значения (менее 0,4) присуще 23 из 52 недель наблюдения, при этом отдельные недели содержат до 5 коэффициентов корреляции ниже порогового уровня. Распределение значений ниже порогового уровня представлено в таблице 3.

Таблица 3 – Распределение коэффициентов корреляции в массиве данных ниже порогового уровня

В качестве примера рассмотрим некоторые случаи с коэффициентом корреляции, выпадающим из общей структуры, из каждого распределения:

Распределение №1

Данные по 12 неделе, посты: «Березовка», «Черемушки», «Ачинск», «Солнечный».

Исходные данные о скорости движения ветра за 12 неделю сведены в таблицу 4.

Таблица 4 – Исходные данные о скорости ветра на постах системы мониторинга (12 неделя)

В исследуемом наборе данных практически полностью отсутствуют значения по посту «Черемушки», значения по посту «Березовка» изменяются за неделю в интервале от 0 до 0,002, что не может соответствовать действительности. Скорости ветра на постах «Ачинск» и «Солнечный» могут содержать ложные значения, или же значения коэффициента корреляции на них может объясниться наложением значений из постов с явно ложными показателями. Пересчет средних значений с учетом исключения данных с поста «Черемушки» изменяет показатели коэффициента таким образом, что ниже порогового уровня располагается только коэффициент корреляции соответствующий данным снятым с поста «Березовка».

Анализируя данные других недель, попадающих в данное распределение, следует отметить наличие явно ложных значений или пропусков значений более чем на одном посту на неделе 47, где значение коэффициентов корреляции ниже порогового на трех постах «Кубеково», «Черемушки» и «Ачинск» на постах «Солнечный» и «Северный» отсутствуют значения в ряде, а на посту «Черемушки» имеется одно явно ложное значение (средняя скорость ветра превышает 25 м/с) (таблица 5).

Таблица 5 – Исходные данные о скорости ветра на постах системы мониторинга (47 неделя)

Интересным является факт меньшего значения коэффициента корреляции не на постах с пропуском значений, а на двух других. Данный факт объясняется пропуском на одной и той же позиции недели, что, в свою очередь, дает значительное значение коэффициента корреляции между этими постами (0,942).

Распределение № 2

Данные по 27 неделе, посты: «Кубеково» и «Ачинск»

Исходные данные о скорости движения ветра за 27 неделю сведены в таблицу 6.

Таблица 6 – Исходные данные о скорости ветра на постах системы мониторинга (27 неделя)

В отличии от предыдущего случая, когда ложные значения выбиваются из общего ряда наблюдений, для данной недели сложно вычленить значения, не соответствующие действительности, используя лишь уровни показателей. Для нахождения ложных значений проанализируем исходные данные. Наименьшее значение усредненного коэффициента корреляции соответствует данным с поста «Кубеково» (0,177). При этом данный показатель складывается не из отдельных аномальных значений, а практически из однородных значений коэффициента корреляции с другими постами (диапазон колебаний от 0,046 до 0,325). Также об аномальности данных свидетельствует факт, что значение скорости ветра на данном посту практически во всех рассматриваемых днях наблюдений превышает самый проветриваемый пост «Солнечный», что не типично для общей последовательности данных.

Исключение из набора данных, полученных с поста наблюдения «Кубеково» изменяет значение коэффициента корреляции по всем другим постам, в том числе и по ранее аномальным значениям поста «Ачинск», приводя его до уровня выше порогового значения.

Распределение №3

Данные по 9 неделе, пост «Березовка».

Высокие значения коэффициента корреляции на исследуемой неделе находящиеся на уровне 0,73-0,79 для всех постов наблюдения, за исключением поста «Березовка» свидетельствует о наличии ложных значений, на данном посту. Обращение к исходным данным подтверждает этот факт (таблица 7).

Таблица 7 – Исходные данные о скорости ветра на постах системы мониторинга (9 неделя)

Как видно из рассмотренной таблицы данные за 6 из 7 дней наблюдения близки или равны нулю, что не может соответствовать действительности по причине отличного от нуля значений данного показателя на близлежащих территориях.

Исходя из рассмотренных случаев для разных распределений можно составить общий алгоритм поиска ложных значений данных по значениям коэффициентов корреляции. В общем виде алгоритм включает следующие этапы:

1. Разбиение исходных массивов данных на небольшие интервалы (в рассматриваемом случае 7 значений);

2. Поиск попарных значений коэффициентов корреляции между рассматриваемыми массивами данных;

3. Нахождение средних арифметических значений для интервала каждого рассматриваемого массива;

4. Сравнение, полученных данных с пороговым значением (выбирается в зависимости от количества временных рядов и схожести параметров);

5. Исключение из полученных данных того интервала, для которого значение коэффициента корреляции ниже порогового уровня, в случае нескольких таких интервалов удаление интервала с минимальным значением;

6. Повторный пересчет средних значений коэффициентов корреляций;

7. Повторение шагов 4-6, нужное количество раз.

Данный алгоритм возможно применять для массивов данных с явной корреляционной зависимостью, выбор интервалов для разбиения, а также порогового уровня осуществляется в зависимости от природы данных и их количества.

1. Подсистема мониторинга загрязнения атмосферного воздуха [Электронный ресурс]. URL: http://krasecology.ru/Air (дата обращения: 17.08.2016).
2. Голубничий, А.А. Разработка синтаксического анализатора для снятия данных о состоянии атмосферного воздуха Красноярского края с сайта krasecology.ru / А.А. Голубничий, О.С. Босых// Интернет-журнал «НАУКОВЕДЕНИЕ» Том 8, No3 (2016) http://naukovedenie.ru/PDF/36TVN316.pdf (дата обращения: 17.08.2016).
3. ГОСТ 17.2.3.01 86 Охрана природы. Атмосфера. Правила контроля качества воздуха населенных пунктов.

Все статьи автора «Голубничий Артем Александрович»