Оголяем «данные» и что из этого вышло

в 10:02, , рубрики: визуализация данных, графики, графики и диаграммы, исследование, наука, наука и технологии, наука о данных, открытые данные, стартап, экология

Однажды я задался целью создать устройство, которое измеряло бы качество воздуха — не просто как-то, а с высокой точностью. Проект по разработке устройства привел к созданию NeboAir — недорогого датчика, который претендует на высокую точность. В этом материале я расскажу об испытаниях в реальных условиях и о том, что получилось в итоге.

Оголяем «данные» и что из этого вышло - 1

Зачем это нужно?

Сегодня существует дефицит достоверных и открытых данных о качестве воздуха, особенно на уровне низкого ценового сегмента. Большинство общественных мониторинговых инициатив основаны на недорогих сенсорах, которые зачастую не признаются научным сообществом из-за их сомнительной точности. Традиционные решения вроде Palas Fidas 200 и BAM-1020 доминируют в индустрии благодаря своей точности, но они дорогостоящие. 

Оголяем «данные» и что из этого вышло - 2

Тем не менее, на фоне развивающихся технологий и новых подходов к обработке данных даже ученые начинают обращать внимание на такие устройства. NeboAir был разработан, чтобы обеспечить доступные и точные решения для мониторинга воздуха.

Тестирование NeboAir

В предыдущей статье я рассказал о том, чем отличаются типы приборов для мониторинга воздуха. А сейчас настало время взглянуть на результаты.

Мы протестировали датчик NeboAir вместе с Palas Fidas 200 и BAM-1020, которые являются эталонными приборами для мониторинга частиц. Испытания проводились в двух различных климатических зонах: в Красноярске (Сибирь) и Карлсруэ (Германия). Эти регионы были выбраны из-за их разного уровня загрязненности воздуха.

Справка:

Palas Fidas 200 использует метод оптического рассеивания света для измерения концентрации частиц, который схож с методом NeboAir.

BAM-1020 основан на методе ослабления бета-излучения, который считается одним из самых точных методов измерения.

Корреляции или "насколько мы близки к правде"

Установленный датчик Nebo в городе Красноярск на государственном посту мониторинга

Установленный датчик Nebo в городе Красноярск на государственном посту мониторинга

Мы записывали данные с нашего Nebo вместе с показаниями от Palas Fidas 200 и BAM-1020 в течение трёх месяцев. У Palas данные поступали каждую минуту, у нашего датчика — каждые две, а BAM-1020 выдавал информацию раз в 20 минут. 

Измерения NeboAir показали:

  • Корреляцию с Palas Fidas 200 на уровне 0.91, что говорит о высокой точности данных благодаря схожей технологии.

  • С BAM-1020 корреляция составила 0.83, что также является отличным результатом, учитывая разницу в методах измерения.

Корреляция концентрации PM2.5 почасовая между Fidas 200 и Nebo | BAM 1020 и Nebo

Корреляция концентрации PM2.5 почасовая между Fidas 200 и Nebo | BAM 1020 и Nebo

Датчик NeboAir работал при экстремально низких температурах (-30°C) и высоком уровне загрязненности (150 мкг/м³). Благодаря встроенной системе подогрева, прибор справлялся с такими условиями, что стало важным преимуществом.

Суточные значения датчиков BAM 1020 и Nebo

Суточные значения датчиков BAM 1020 и Nebo
Сравнение почасовых значений между Fidas 200 и Nebo | BAM 1020 и Nebo
Сравнение почасовых значений между Fidas 200 и Nebo | BAM 1020 и Nebo

Калибровка и модели

Оголяем «данные» и что из этого вышло - 7

Как и любой прибор, сенсоры требуют периодической калибровки для обеспечения точности. Мы разработали статистическую модель на основе линейной регрессии, которая позволила дополнительно повысить точность NeboAir. Эта модель корректирует данные в реальном времени и является одной из первых версий нашей системы автокалибровки.

В ближайшем обновлении прошивки будет добавлена модель под названием “N1”, которая основана на более сложных статистических алгоритмах, и была разработана на основе последних экспериментов по проверке точности наших датчиков.

Оголяем «данные» и что из этого вышло - 8

Чтобы улучшить результаты, данные были сгруппированы и усреднены для получения более точных значений. После этого применено сглаживание методом скользящего среднего. Между показаниями датчика “эталон” и NeboAir был рассчитан коэффициент. Для выявления тренда построена экспоненциальная линия, что помогает увидеть общие тенденции изменения данных, а также мы учитываем влияние внешних факторов, таких как влажность и температура. 

Модель N1 учитывает уникальные особенности NeboAir, такие как объем воздуха внутри корпуса и систему подогрева, что к сожалению делает эту модель не применимой к другим приборам.

Влияние на науку и перспективы

Испытания показали, что недорогие датчики могут стать полноценной частью для экологических исследований и для мониторинга воздуха наряду с традиционными решениями. Точность NeboAir подтверждает его потенциал как инструмента для массового сбора данных об окружающей среде.

NeboAir может использоваться для создания сетей мониторинга воздуха в городах, что позволит отслеживать динамику загрязнений в реальном времени даже там, где раньше это было невозможно из-за высокой стоимости оборудования.

Следующий шаг — это дальнейшая калибровка и тестирование в разных климатических условиях. Полученные данные могут стать основой для новой модели "N2".

Я надеюсь, что это исследование вызовет интерес у научного сообщества. Если у вас есть вопросы или желание протестировать датчики NeboAir, просто напишите мне на igor@nebo.live.

Заключение

Если вам интересно исследовать данные, вы можете получить доступ к нашим результатам по этой ссылке.

Без помощи эксперта по газовым частицам доктора Ахима Диттлера из Технологического института Карлсруэ (KIT - старейшее техническое высшее учебное заведение в Германии) эту работу было бы проделать невозможно. Спасибо, что он поделился своим опытом анализа данных и надеюсь, что наше сотрудничество продолжится.

Автор: iamshpeht

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js