Мультиспектральная камера что это
FLIR MSX — технология мультиспектральной съёмки
Содержание статьи
Что такое MSX?
MSX® – функция мультиспектральной съёмки добавляет детали визуального изображения со встроенной цифровой камеры на ИК-снимки тепловизора. Технология разработана компанией FLIR, используется во всех тепловизорах ФЛИР. MSX (мультиспектральное динамическое изображение) даёт возможность увидеть структурные элементы, цифры, и другие важные визуальные детали, которые обычно не различимы на традиционном ИК-снимке. В результате становится явно виден текст, так что вы можете прочитать бирку или индентификатор на ИК-изображении. Позволяет мгновенно получать чёткие комбинированные тепловые снимки, по которым легко определить местоположение проблемы: достаточно просто посмотреть на снимок или отчёт. Тепловизионное изображение получается чётким и понятным в отличие от изображений сделанных на устройствах других производителей, где детали изображения могут быть размыты. MSX не снижает интенсивность и прозрачность термограммы.
Для чего нужна технология MSX
Хорошо заметные человеческому глазу детали: номера, бирки, надписи и детали конструкции – могут потеряться на обычных тепловизионных снимках. Для того чтобы понять, где именно сделано то или иное измерение температуры, часто необходимы дополнительные цифровые фотографии. Тепловизионные камеры предыдущих поколений позволяли совмещать тепловизионные изображения с обычными фотографиями либо вставлять фрагменты одних снимков в другие. Однако такие камеры только частично решали эту проблему. К тому же на выполнение и анализ таких снимков обычно требовалось дополнительное время. Кроме того, тепловизионное изображение на таких снимках часто было размыто.
Уникальные особенности технологии
Технология MSX работает по совершенно другому принципу. Благодаря запатентованному алгоритму компании FLIR, камеры поддерживающие MSX получают высококонтрастное изображение со встроенной фотокамеры, а затем как бы вытравливают его основные элементы на тепловизионном снимке, полученном с инфракрасной камеры. Все эти действия выполняются камерой в реальном времени. В результате, сделанные камерой снимки и видеозаписи приобретают фактуру, глубину и чёткость, необходимые для обнаружения проблем без использования дополнительных фотографий.
Принцип работы технологии MSX к содержанию
Тепловизоры с технологией MSX® оснащены двумя камерами — тепловизором и обычной цифровой камерой. Каждый раз, когда вы проводите тепловизионное обследование, одновременно снимают две камеры, в результате чего получаются два снимка, тепловое изображение и видимое. Встроенное программное обеспечение анализирует изображение, извлекает видимые элементы изображения — контуры, слова, цифры и другие детали с высокой контрастностью краев, накладывает их на тепловизионное изображение. В итоге вы получаете максимально детализированные ик-снимки высочайшего качества.
Важно понимать, что MSX® — это не «слияние» двух изображений — программное обеспечение предназначено только для захвата видимых деталей, таких как линии и края, которые затем накладываются непосредственно на тепловое изображение. В итоге MSX® даёт изображениям, снятым на камеры с низким разрешением, более чёткие детали.
Это особенно полезно при последующем просмотре сохранённых изображений т.к. тепловое изображение без недостающих деталей может оказаться недостаточно информативным. MSX® избавляет от необходимости делать дополнительные изображения с освещением обычной камерой, тем самым ускоряя процесс поиска проблемных мест на снимке.
Многоспектральное динамическое изображение (MSX)
Функция работает благодаря уникальному встроенному процессору FLIR, предоставляющему результаты в режиме реального времени.
Термограмма с MSX на которой можно разглядеть цифры на блоке выключателей
Режим MSX® можно включать и отключать в настройках тепловизора, его можно применить во время постобработки отснятых термограмм в программном обеспечении FLIR Tools®. И тепловое изображение, и цифровое изображение сохраняются, поэтому все данные радиометрии (измерения температуры) остаются неизменными.
В чём преимущества MSX и для кого к содержанию
Запатентованная технология мультиспектральной съемки FLIR позволяет оперативнее и более детально обследовать электротехнические, механические системы и строительные сооружения.
Съёмки в мультиспектральном режиме позволяют эффективно, по-новому, использовать преимущество как визуального, так и теплового спектров. Эта технология используется в большинстве ИК-камер FLIR для промышленного и строительного рынка. Мультиспектральный динамический режим позволяет мгновенно получать чёткие комбинированные ИК-снимки, по которым легко определить местоположение проблемы: достаточно просто посмотреть на снимок или отчёт. Благодаря этому формату FLIR вы сохраните все изображения (MSX, ИК и визуальные) одним нажатием на кнопку.
Мультиспектральная съёмка позволяет лучше и быстрее идентифицировать цели без ухудшения радиометрических данных. Благодаря мультиспектральному режиму ИК-изображения выглядят чётче, ориентация цели выполняется оперативнее, обеспечивается систематизация отчётов и более быстрый поиск решений. Пользователи могут наблюдать результаты мультиспектральной съёмки непосредственно на сенсорном дисплее камеры в реальном времени. Независимо от способа представления – на бумажном носителе, в смартфоне или отчёте – превосходные ик-снимки MSX служат профессионалам сфер промышленности и строительства дополнительным аргументом, позволяющим получить заказ на ремонт и обеспечить экономию средств заказчика и собственной компании.
Технология MSX меняет представление о способах комбинирования, наложения и объединения кадров
Тепловизионные камеры предыдущих поколений позволяли совмещать тепловизионные изображения с обычными фотографиями либо вставлять фрагменты одних снимков в другие. Однако такие камеры только частично решали эту проблему. К тому же на выполнение и анализ таких снимков обычно требовалось дополнительное время. Кроме того, тепловизионное изображение на таких снимках часто было размыто или заслонено.
Технология MSX работает совершенно по другому принципу. Технология MSX придаёт фактуру деталям с цифровой камеры на тепловых видеозаписях и изображениях. Благодаря этому мультиспектральная съёмка позволяет получать более глубокие и детализованные снимки, по сравнению с традиционными методами, которые могут «разжижать» тепловое изображение.
Приобрели дрон и мультиспектральную камеру — что с этим делать?
Каждый фермер нацелен на получение прибыли. Финансовая успешность агробизнеса зависит от урожайности. Инновации направлены именно на то, чтобы увеличить урожайность, минимизировав расходы.
Несмотря на то, что в Украине насчитывается более 45 тыс. фермерских хозяйств, всего 10% из них используют в своей деятельности инновационные технологии.
Среди инновационных решений аграрии часто обращают внимание на дроны с мультиспектральными камерами. Но как эффективно использовать такое решение?
Задания, которые решают дроны с мультиспектральными камерами
Дроны выполняют много функций на агропредприятиях — их могут использовать для противодействия мошенничеству службой безопасности или для внесения СЗР. Однако наибольшую эффективность на сегодня эти технологии принесут, осуществляя агромониторинг полей.
Проведя облет и съемку мультиспектральной камерой, аграрий может обработать информацию с помощью специальных платформ. И получить следующие результаты:
Какой дрон выбрать аграрию?
Количество моделей дронов и их разновидностей достаточно велико. По состоянию на 2018 год в Украине самыми популярными стали следующие модели дронов для фермерства: Phantom 4 Advanced, Phantom 4Pro v2.0. и новинка Phantom 4 RTK — совместная разработка компаний DJI и Leica Geosystems.
Phantom 4 RTK позволяет проводить обмер полей с высокой точностью за счет применения RTK-режима. Именно для этой серии дронов была разработана новая подписка на RTK сигнал, Drone RTK, которая предоставлялась через сеть базовых станций SystemNet и поддерживается DroneUA.
Еще один дрон, который имеет перспективу для сельского хозяйства, — Mavic 2 Zoom. Это раскладной коптер с установленной на борту камерой с оптическим увеличением для мониторинга полей. В версии Enterprise есть возможность установки спектральных камер с помощью переходников.
В 2019 году на украинском рынке появился еще один дрон, который потенциально может стать хитом продаж, — это БПЛА с технологией вертикального взлета Trinity F9 немецкой компании Quantum systems.
Выбирая себе дрон, аграрий должен обратить внимание на наличие документов, удостоверяющих качество продукции. Продукция должна сопровождаться сертификатом качества, сертификатом соответствия, декларацией соответствия, санитарно-эпидемиологическим заключением, протоколом испытаний.
Обслуживание, хранение дронов проводится в соответствии с паспортами, входящими в комплект.
Мультиспектральные камеры
Комплектуя дрон мультиспектральных камерой, аграрий получает комплекс для мониторинга полей. Выбор мультиспектральной камеры в первую очередь зависит от массо-габаритных показателей и возможности штатно подвешивать ее на дрон. По отзывам пользователей не только в Украине, но и за рубежом, самыми популярными камерами для мультиспектральной съемки являются Micasense RedEdge-M, SLANTRANGE и Parrot SEQUOJA.
Управление дроном
Если говорить о программных продуктах для управления полетом, рекомендуется использовать только лицензионные программы.
Управление дроном происходит через ручное управление. Оно обеспечивается с помощью радио-модема, который через антенну с наземной станции управления (а именно пульта управления) получает сигнал с заданными параметрами движения (скорость и углы) и транслирует их на полетный контроллер.
Необходимыми составляющими комплекса наземной станции управления являются персональный компьютер с выходом в Интернет или с 4G-модемом для автономного управления дроном и пульт управления (или планшет или мобильное устройство) — для дистанционно-ручного. С помощью персонального компьютера выполняется обработка видео с дрона, распознавание препятствий и других объектов наблюдения, а также корректировка маршрута полета.
Управлять дроном можно, используя специальные приложения. Программа позволяет планировать сложные полетные задания с помощью нескольких кликов. В заданных точках маршрута приложение автоматически сделает фотографии для получения точных карт местности или проведет видеосъемку по указанному маршруту.
Также эти программы имеют функции, которые не позволят БПЛА летать выше и быстрее запрограммированных параметров, тем самым повышая безопасность полета и облегчая процесс управления дроном.
Анализ информации с дронов
Дрон, облетая территорию, собирает информацию в виде снимков или видеосъемки с камер. Мультиспектральные снимки с помощью специализированного программного обеспечения сшиваются и анализируются.
Есть инновационные платформы, где всеми необходимыми для анализа инструментами можно одновременно пользоваться с единой панели управления. На экране монитора информация отображается в виде разноцветных слоев на карте ГИС: здесь и данные датчиков и состояния развития растений, и засоренность отдельных территорий, и поражения вредителями, и прогноз погоды, и текущие задачи, и скаутские проверки, и спутниковые снимки с различными индексами вегетации: NDVI, ENDVI, GNDVI, OSAVI, ARI, SIWSI, WDRVI, VARI700 и т.п.
В Украине уже также доступны подобные платформы, позволяющие проводить аналитические исследования, — в частности HummingbirdTech.
Платформа использует уникальные алгоритмы машинного обучения и искусственного интеллекта для обработки снимков спутников и БПЛА. Пользователь получает информацию в виде широкого перечня векторных карт с функцией просмотра на панели. Информация в форме shapefile, которая привязана к системе координат. Это значительно облегчает выполнение дифференциального внесения удобрений, СЗР или десикантов. Технологическая схема работы платформы показана на рис. 2.
Решение платформы Hummingbird
Платформа Hummingbird — это не просто программа для анализа, это интегрированная система, которая вместе с Pix4Dengine выполняет автоматическую загрузку, обработку, показ мультиспектральных и RGB изображений. Программа Pix4D выполняет фотограмметрические работы по ориентации массива снимков в соответствующей системе координат, сшивание десятков тысяч аэрофотографий для дальнейшей обработки в программе Hummingbird Technologies.
Алгоритмы искусственного интеллекта и машинное обучение используются для идентификации и составления фотографий. Это помогает создать карту поля и выявить проблемные участки.
Информация, предоставляемая платформой Hummingbird Technologies
Дроны, оборудованные мультиспектральными камерами, проводят необходимое количество облетов на разных стадиях развития растений. Сроки индивидуальны для каждой культуры, по которой ведется наблюдение. Они определяются с учетом особенностей развития. Съемка производится с высоты 220 м. После этого анализ снимков выполняется автоматически и предоставляется в виде карт с разрешением 15 см/пиксель.
Платформа применяет собственные уникальные алгоритмы, которые обрабатывают снимки и рассчитывают вегетационные индексы. На основе анализа индексов строятся векторные карты.
Решение от Hummingbird позволяет получить следующие данные:
Индекс NDVI.
По такой карте проводится оценка вегетации растения:
Выявляется неоднородность посевов, оценивается количество растительной массы, определяются проблемные участки поля.
Индекс NDVI поможет установить причины негативного состояния посевов: сорняки, засуха, поверхностное уплотнение почвы, проблемы при посеве. Также это позволит определить способы устранения или минимизации негативных факторов.
Карта неоднородности посевов. Эта карта позволяет выявить участки с замедленным или слишком быстрым ростом вегетационной массы растений. Для установления причин ситуации нужны полевые исследования проблемных участков. Среди причин могут быть:
Своевременное реагирование поможет увеличить урожай.
Индекс листовой поверхности (GAI). Помогает определить проблемные участки и установить нормы внесения азота и регуляторов роста растений.
Рассчитывается только для рапса, позволяет создать программу внесения азотных удобрений на заданную урожайность на весь сезон, а также дифференцированно вносить регуляторы роста растений:
Карта площади растительного покрова. Показатель позволяет оценить состояние культуры, определить участки замедленного роста, помогает оценить потенциальную урожайность.
Данные могут быть использованы при планировании орошения и определении целесообразности обработки гербицидами.
Карта-задание на дифференцированное внесение азота на основании NDVI или GAI. Определяет участки с низким содержанием азота в листьях, которые нуждаются в обработке регуляторами роста. Помогает оптимизировать объемы азотных удобрений, которые вносятся. Это позволит повысить урожайность, оптимизировав расходы.
Карта-задание на дифференцированное внесение азота
Карта риска полегания растений. Определяет участки поля, на которых растения развиваются быстрее, и возникает риск их полегания. На основе этой информации определяются дозы регуляторов роста или выделяются участки, требующие дальнейшего ухода.
Карта-задание на дифференцированное внесение регуляторов роста. Данный инструмент позволяет избежать избыточного или недостаточного опрыскивания, определив при этом проблемные участки. Нормы внесения определяются согласно индивидуальным потребностям на отдельных участках поля.
По сравнению с традиционным комплексным этот подход позволяет повысить эффективность путем экономии на регуляторах роста и эксплуатационных затратах, не уменьшив при этом будущий урожай.
Карта-задание на дифференцированную десикацию. Определяет проблемные участки, на которых созревание культуры не завершено. По карте точечно вносится десикант. Кроме того, что растения подсушиваются, поля освобождаются от многолетних сорняков.
Использование дронов поможет аграрию эффективно проводить агромониторинг и разрабатывать карты-задания на дифференцированное внесение СЗР и удобрений. Но это при условии, что для обработки собранной информации используются специализированные платформы.
Виды и применение спектральной съёмки
Виды и применение спектральной съёмки
Использование спектральной съемки — новшество для сельского хозяйства. Съёмка показывает максимально точную и детализированную информацию о том, как выглядит поле.
Каждый сезон фермеры теряют прибыль из-за отсутствия или неточных данных о состоянии на полях.
Спектральная съёмка позволит сократить потери.
Оперативный поиск зараженных растений
Анализ спектральных данных помогает определить зараженные участки или же вредителей, чтобы в дальнейшем они не распространялись.
Качественное определение почвы на полях
Применение спектральных данных помогает составить карты качества почв, что может понадобиться в дальнейшей организации внесения удобрений.
Оптимизация опрыскивания полей
При аэрофотосъемке, полученные данные используют для оптимизации внесения СЗР и работу техники, при условии комплексной оценки состояния растительности на основе полученных изображений и рассчитанных вегетационных индексов.
Прогнозирование урожая
С помощью спектральной съемки рассчитывают и определяют зрелость, а также урожайность.
Технология
Мультиспектральные камеры
На БПЛА возможно установить два типа камер: модифицированные или мультиспектральные.
Модифицированная камера отличается измененной линзой, которая фиксирует отражение в ближней инфракрасной области спектра. Такие камеры более доступны, но качество данных не такое точное.
В мультиспектральной камере возможное количество линз доходит до 12. Каждая из них воспринимает излучение в узкой области спектра, что позволяет получать более точные данные. Так возможно получать больше изображений и точнее рассчитвать индексы.
Parrot Sequoia
Ближний ИК: 770-810 нм
Пространственное разрешение снимков:
MicaSense RedEdge
Ближний ИК: 717-727 нм
Пространственное разрешение снимков:
Гиперспектральные камеры
Количество спектральных каналов > 100
Пространственное разрешение снимков Resonon Pika L
Спектральный диапазон: 400-1000 нм
Количество каналов: 185
Пространственное разрешение снимков:
Cubert S185 FireFly
Количество каналов: 125
Пространственное разрешение снимков:
Сравнение спектральных камер
Анализ данных
При спектральной съемке формируются одновременно несколько изображений одной и той же территории в различных зонах спектра электромагнитного излучения.
Ключевую роль играет аналитика этих данных. Различные комбинации спектральных изображений позволяют выявить процессы и явления, которые сложно или невозможно определить на снимке в видимом спектре.
Нормализованный индекс биомассы
Улучшенный Нормализованный индекс биомассы
Зеленый нормализованный индекс биомассы
Дифференцированный вегетационный индекс
Автоматический анализ данных
Pix4 AD
Pix4D Capture
Выводы:
Информативность
Спектральная съёмка даёт много полезной информации о состоянии полей.
Изучение и анализ этой информации может привести к значительному увеличению урожая.
Развитие рынка
Существуют мульти и гиперспектральные камеры. Гиперспектральные камеры дороже, но в них больше каналов и выше точность
Постоянный мониторинг полей беспилотниками с использованием спектральных камер приводит к увеличению урожая и прибыли.
Спектральные камеры делают беспилотные технологии максимально информативными и значительно расширяют их спектр применения. Использование БПЛА в сельском хозяйстве уже активно развиваться и нет никаких сомнений, что в скором времени эти технологии будут внедрены в производство.
Что такое гиперспектральная съемка
Разберёмся, что такое цветопередача и на чем основана мультиспектральная съемка.
Чтобы понять, что такое гиперспектральная или мультиспектральная съемка стоит разобраться что такое цвет.
Интересно то, что любой цвет из представленного ниже спектра мы можем получить, смешав 3 основных цвета в разных пропорциях.
Красный + зелёный + синий.
Всё дело в особенностях человеческого цветного зрения, на сетчатке нашего глаза находятся светочувствительные клетки, которые называются
“колбочки”. Они воспринимают зелёный, красный и синий цвета соответственно (и некоторый диапазон вокруг этих цветов).
Из-за этого его очень легко обмануть, просто смешивая в нужных пропорциях синий и зелёный. Тогда мозг будет считать, что это голубой, хотя его там и не было. Так работают современные устройства, которые выдают нам цветные изображения.
Ученые уже давно изобрели способ, как создавать изображения, которые состоят не из 3, а из множества каналов. Изображение может быть одноканальным или многоканальным. Многоканальное изображение может быть воспроизведено посредством цветовой модели RGB, при этом неважно, состоит изображение из 1 или 1000 отдельных каналов. Это и называется гиперспектральной съемкой.
Она прежде всего используется в аэрофотосъемке и космической съемке земной поверхности.
Гиперспектральные снимки внешне не сильно отличаются от обычных снимков, но если мы возьмём обычный снимок, то любой пиксель с него можно разбить на компоненты. Каждый пиксель, это n-мерная модель, где n – это количество спектральных каналов.
Существуют съёмочные системы с различным количеством спектральных каналов.
При этом можно настроить прибор так, что эти компоненты плотно укладывались не только в видимый спектр (от красного до фиолетового), но и захватывали также и инфракрасную область, которую человеческий глаз не способен воспринять.
Гиперспектральная съёмка может быть выполнена как сканерными, так и кадровыми системами. При использовании сканерной системы, после одного прохода получается некий ряд из пикселей, причём каждый из пикселей разбит на свой спектр. В итоге у нас получается картинка, которую мы можем запомнить и перенести на карту памяти и перейти к следующему ряду. И так ряд за рядом у нас получается составить гиперспектральное изображение.
Зачем нужна мульти и гиперспектральная съемка:
Вполне логично, что любой предмет отражает свет немного по разному. При гиперспектральной съемке мы можем получить уникальное изображение каждого предмета.
Гиперспектральный мониторинг в сельском хозяйстве