Экосистемы, 34: 51–58 (2023) https://ekosystems.cfuv.ru

УДК 59.087

Ефремов В. А., Зуев В. А., Леус А. В., Мангазеев Д. И., Радыш А. С., Холодняк И. В.

Московский физико-технический институт

Москва, Россия

efremov.va@mipt.ru, zuev.va@phystech.edu, leus.av@mipt.ru, mangazeev.di@phystech.edu, radysh.as@phystech.edu, kholodnyak.iv@phystech.edu

• • данной работе предлагается алгоритм, который позволяет автоматизировать процесс формирования регистраций животных, определения класса объекта, а также подсчета количества объектов внутри каждой регистрации. Представленный алгоритм базируется на основе постобработки данных, которые получены от ранее разработанного в лаборатории Московского физико-технического института программного обеспечения. В этом ПО реализован двухстадийный подход обработки данных, состоящий из детектирования объектов на фотографиях
• их последующей классификации, нейронные сети для классификации можно обучать / дообучать под задачи конкретных особо охраняемых природных территорий (ООПТ). Был поставлен и описан эксперимент, в котором с помощью данного алгоритма удалось достаточно точно сформировать регистрации, единственное, что не учитывает такой подход – идущих в одном направлении особей, с поочередным нахождением в кадре только одной из них, но в кадре всегда находится только одна из них. Алгоритм позволил правильно определить количество особей внутри регистрации в 95,96 % случаев. Ошибки в определении количества особей животных были связаны с тем, что детектор не заметил объекты, которые либо только начинают появляться в кадре, либо скрыты за кустами или деревьями. Также в ходе эксперимента было выявлено улучшение точности автоматической классификации объектов с 98,81 % до 99,97 %. Такое улучшение результата автоматической классификации стало возможно благодаря тому, что в данном алгоритме при определении класса рассматривается не одна фотография, а сразу серия снимков.

Ключевые слова: фотоловушка, регистрация, алгоритм, классификатор, детектор.

ВВЕДЕНИЕ

Все чаще в экологических исследованиях начинают использовать фотоловушки. С помощью них можно проводить учет фауны редких видов животных, мониторинговые исследования, изучение экологии, поведение животных и их ритм активности, а также определение численности и плотности популяционных групп. Данный подход актуален, так как это позволяет проводить исследования, не вмешиваясь в дикую природу. Более подробно

• применении фотоловушек в исследовании можно прочитать в статье «Фотоловушки в мониторинге лесных млекопитающих и птиц» (Желтухин, Огурцов, 2018).
  • ростом популярности фотоловушек, увеличивается и их среднее число в одном исследовании. А следовательно, растут и объемы получаемых данных, и пользователь сталкивается с проблемой обработки огромного количества файлов. Из-за большого объема и постоянного обновления данных, часть из них может остаться неучтенной, также ручная работа с большими объемами данными неизбежно приводит к ошибкам в их обработке. Следовательно, можно сделать вывод, что нужно автоматизировать часть проводимых в исследованиях процессов.

Цель настоящих исследований – автоматизировать процессы формирования регистраций животных, полученных с помощью фотоловушек, обеспечить определение класса и количества объектов внутри регистрации и тем самым значительно ускорить обработку больших массивов данных наблюдений.

ISSN 2414-4738 Published by V. I. Vernadsky Crimean Federal University, Simferopol

Ефремов В. А., Зуев В. А., Леус А. В., Мангазеев Д. И., Радыш А. С., Холодняк И. В.

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ И ОБСУЖДЕНИЕ

Анализ существующих решений. После того, как был сделан вывод, что нужно автоматизировать процессы анализа жизнедеятельности животных, было принято решение проанализировать, какое ПО для данной задачи уже существует на данный момент. Среди программ, позволяющих обрабатывать данные с фотоловушек, наиболее актуальны следующие: PhotoSpread (Sean Kandel et al., 2015), Camera Trap Manager (Zaragozí et al., 2015), Aardwolf (Krishnappa,Turner, 2014), Camera Base (Tobler, 2015), BuckView Advanced (BuckView TM Advanced User Guide, 2010), MapView Professional (MapView TM Professional User Guide, 2010), DeskTEAM (Fegraus et al., 2011), Camelot (Hendry, Mann, 2017), ZSL Camera Trap Analysis Package (Amin, Wacher, 2017).

Характеристика рассмотренных программ представлена в таблице 1.

				Таблица 1
Сравнительная таблица характеристик рассмотренных программ
Программа	Поддержка камер	Интеграция с ГИС	Наличие	Формат экспорта
			группировщика
PhotoSpread	Все модели	Нет	Нет	CSV
Camera Trap	Все модели	Только геопривязка	Нет	CSV, SHP, и др.
Manager		локаций
Aardwolf	Все модели	Полная интеграция	Есть	CSV
Camera Base		Только экспорт в	Есть пакетная
	Все модели		обработка	CSV, SHP, и др.
		shp
			изображений
BuckView Advanced	Reconyx	Google maps	Нет	Нет
MapView	Reconyx	Google maps	Нет	CSV
Professional
DeskTEAM	Только те, которые
	входят в проект	Нет	Есть	Нет
	TEAM Network
Camelot	Все модели	Нет	Нет	CSV
ZSL CTAP				CSV, XLS, XML,
	Все модели	Полная интеграция	Нет	DOC, HTM, TAB,
				JSON

Наличие группировщика, который позволяет по EXIF информации группировать изображения, близкие по времени, а затем протегировать их необходимыми данными о количестве и классе объектов – это наиболее близкий механизм, к формированию регистрации, который имеют некоторые из рассмотренных программ. Таким образом, данные программы являются полезными для проведения исследований, но они не способны автоматически искать животных, выделять их, анализировать данные. Этот базовый функционал систем технического зрения в программных продуктах отсутствует. Более подробный обзор этих программ можно увидеть в статье «Обзор программного обеспечения для обработки и анализа данных с фотоловушек» (Огурцов, 2019).

Регистрации. В каждой из рассмотренных программ для формирования отчетов по регистрациям животных требуется проведение большого количества ручной работы, включающей классификацию объектов, подсчет количества объектов и проч. Тегирование изображений – это один из самых долгих процессов исследования. И так как понятие регистрации животных имеет большое значение для дальнейших исследований, хотелось бы автоматизировать данный процесс, чтобы ускорить исследования и уменьшить фактор человеческой ошибки. В лаборатории МФТИ было разработано программное обеспечение

52

Формирование регистраций животных на основе постобработки данных фотоловушек

(Леус, Ефремов, 2021), в котором реализован двухстадийный подход обработки данных, состоящий из детектирования объектов на фотографиях и их последующей классификации. Данное ПО состоит из серверной и пользовательской частей. Серверная часть позволяет обучать детектор и классификатор. Пользовательская часть состоит из двух модулей, первый из которых позволяет налаживать процесс дообучения/обучения нейронных сетей для классификации объектов под конкретный ООПТ, а второй – автоматически обрабатывать фото- и видеоданные, поступающие с фотоловушек, при помощи обученных нейронных сетей. Для увеличения точности дальнейшей обработки данных было принято решение автоматизировать также создание регистраций, определения класса внутри регистрации и подсчет количества особей в регистрациях.

Формирование регистраций. На выходе классификатора формируется CSV таблица (табл. 2).

				Таблица 2
Фрагмент таблицы, которая получается на выходе классификатора
Name_folder	Date_registration	Сlass	Relevance	All_relevances
C:\Users\Desktop\regi	2021-01-21			{‘Beaver’: 0.00633, ‘Bison’:
		People	0.932	0.00564, ‘Moose’: 0.00491,
stration\L35	17:23:39
				‘People’: 0.932}
C:\Users\Desktop\regi	2021-01-28			{‘Beaver’: 0.00633, People’:
		Moose	0.867	0.00532, ‘Bison’: 0.00564, ‘Moose’:
stration\L35	10:34:20
				0.867}
C:\Users\Desktop\regi	2021-02-10			{‘People’: 0.00633, ‘Bison’:
		Beaver	0.975	0.00564, ‘Moose’: 0.00491,
stration\L37	13:45:52
				‘Beaver»: 0.975}

Её столбцы, в частности, содержат следующую информацию:

name_folder – наименование папки с фотографиями, в каждой папке лежат фотографии с разных фотоловушек. Это позволяет учитывать местоположение при формировании регистраций:

date_registration – информация о времени и дате сделанного фото; class – класс объекта;

relevance – вероятность классификатора для класса, указанного в столбце class; all_relevances – все вероятности классификатора;

Важным условием работы данного алгоритма является то, что данные с разных фотоловушек должны лежать в различных папках, то есть иметь разные значения в столбце name_folder. Таким образом, это позволяет наиболее простым способом достичь необходимого параметра геопривязки изображений.

Для того, чтобы описать, как формируются регистрации, для начала определим, что понимается под одной регистрацией. Одной регистраций считаются все зависимые наблюдения. Наблюдения считаются зависимыми, если они сделаны в одной локации, на них одинаковый класс объектов, а также между двумя наблюдениями прошло время не большее порогового, которое по умолчанию равняется 30 минут.

Опишем последовательность действий, благодаря которой формируются регистрации:

1. Считываем файл с информацией по классификации.
2. Сортируем записи по столбцам name_folder и date_registration, то есть по локации и по

дате.

1. В таблице встречался класс Empty, это означает, что детектор нашел объект на фотографии, но классификатор определил данное срабатывание детектора как ложное. Данные строки являются неинформативными, поэтому их убираем из таблицы.
2. Находим разницу по времени между соседними строками таблицы.

53

Ефремов В. А., Зуев В. А., Леус А. В., Мангазеев Д. И., Радыш А. С., Холодняк И. В.

1. Составляем предварительные регистрации.
2. Окончательные регистрации.

Далее опишем алгоритм составления предварительных и окончательных регистраций. Составление предварительных регистраций можно описать следующей блок-схемой

(рис. 1).

Рис. 1. Алгоритм создания предварительных регистраций

После этого происходит окончательное формирование регистраций.

После составления предварительных регистраций происходило тестирование алгоритма на реальных данных, и были замечены случаи, когда в одну регистрацию попадали два животных с временем между ними меньшем, чем указанный порог по времени. При этом классификатор каждого из них определял с вероятностью больше 80 %.

Было принято решение разделить такие регистрации по следующим условиям:

1. В регистрации более одного класса.
2. Каждый из них повторяется не менее двух раз подряд.
3. Вероятность их классификации не менее 80 %.
4. Время между появлением объектов разных классов более чем T/2 (15 мин).

Таким образом нам удалось избавиться от ошибки попадания объектов разных классов в одну регистрацию.

Определение класса регистрации. Следующим этапом стало определение класса внутри регистрации. Для этого нам понадобился столбец all_relevances, который содержит в себе вероятности для каждого класса. Алгоритм определения класса заключается в следующем:

1. Группируем наблюдения по составленным регистрациям.
2. Для каждой регистрации находится среднее арифметическое значение вероятности каждого класса (данные столбца all_relevances).
3. Класс, имеющий самую большую сумму вероятностей, будем считать классом

Формирование регистраций животных на основе постобработки данных фотоловушек

Таким образом у нас получилось сформировать регистрации и узнать, какой объект находится на изображениях внутри этой регистрации.

Определение количества объектов внутри регистрации. Следующим этапом стало определение количества объектов в регистрации. Для этого понадобилась таблица, в которой содержалась совместная информация по детекции и классификации объектов на изображении. Такая таблица существует отдельно для каждой фотоловушки. Отличие данной таблицы заключается в том, что если на изображение было найдено более одного объекта, то количество строчек, в которых содержалась информация о данной фотографии, становилось равным количеству объектов на фотографии. Также для каждого объекта на изображении есть информация о его классе. Благодаря этой информации можно найти количество объектов внутри регистрации. Таблица (табл. 3) имеет следующий вид.

Таблица 3

Фрагмент таблицы, где отображаются совместные данные детектора и классификатора

Id	Center	Class	Bbox
IMAG0007.JPG	839.50 460.00	People	640 36 2046 1435
IMAG0007.JPG	438.50 457.00	People	8 32 1395 1430
IMAG0008.JPG	1007.50 460.00	Hare	1182 25 2041 1446
IMAG0008.JPG	781.00 436.50	Beaver	552 0 1947 1396
IMAG0008.JPG	439.50 436.00	Hare	3 3 1403 1392

Алгоритм подсчета количества особей внутри регистрации:

1. Считываем нужную таблицу из всех папок, по которым у нас запущен процесс регистрации.
2. Внутри каждой таблицы производим группировку по столбцам, содержащим название фотографии и класс объектов (id, class в табл. 3).
3. Подсчитываем количество строк таблицы внутри каждой группы.
4. Благодаря столбцам, содержащим название фотографии (name_folder в табл. 2 и id в табл. 3), переносим информацию о количестве объектов в получившуюся до этого таблицу с регистрациями.
5. Теперь внутри каждой регистрации у нас есть некоторое количество фотографий, и для каждой у нас есть предположительное число объектов на ней. Чтобы определить количество объектов внутри регистрации, производим группировку по регистрациям и находим максимальное число объектов для каждой из них. Данное число и будем считать количеством объектов внутри регистрации.

На выходе данного алгоритма получаем полностью автоматически сгенерированный отчет по регистрациям в виде CSV таблицы, похожей на изначальную таблицу (табл. 2), но с добавленными столбцами, в которых содержатся номер регистрации, класс регистрации и количество объектов внутри регистрации.

Эксперимент. Рассмотрим результаты тестирования данного алгоритма на 3014 фотографиях, сделанных с 5 различных фотоловушек в одном заповеднике. Эксперимент проводился на компьютере с ОС Windows 10 и видеокартой NVIDIA GeForce RTX 2070. Предварительно данные были обработаны с помощью ПО, позволяющим детектировать и классифицировать объекты (Леус, Ефремов, 2021). Далее с помощью описанного алгоритма было сформировано 149 регистраций за 0,59 секунд. Просмотрев фотографии, и сверяя просмотры с полученными с помощью использованного алгоритма данными можно сделать следующие выводы.

55

Ефремов В. А., Зуев В. А., Леус А. В., Мангазеев Д. И., Радыш А. С., Холодняк И. В.

Формирование регистраций. Данный подход позволил достаточно точно сформировать регистрации, единственное, что нельзя учесть благодаря ему – последовательно идущих в одном направлении особей, с поочередным нахождением в кадре только одной из них.

a b

Рис. 2. Пример, когда две особи одного класса, идущие друг за другом, попали в одну регистрацию. Первая особь выходит из кадра (a), вторая заходит(b).

Рис. 3. Пример изображения, где сложно определить количество особей в кадре

Первый кабан почти вышел из кадра и детектор его не заметил.

Определение класса объекта. При формировании классов регистрации было выявлено 36 различий с классом, который предлагает нейросетевой классификатор. Из этих 36 случаев был

56

Формирование регистраций животных на основе постобработки данных фотоловушек

выявлен 1, когда класс не был правильно определен ни классификатором, ни алгоритмом, формирующем регистрации, такое возникло из-за того, что найденное животное оказалось домашним и не входило в список классов. Во всех остальных 35 случаях правильным классом оказался класс регистрации. Просмотрев все остальные фотографии, участвующие в эксперименте, мы убедились, что класс определен верно. Таким образом, подход, который для определения класса учитывает не одну фотографию, а сразу серия снимков, позволил увеличить точность классификации с 98,8 % до 99,9 %.

Определение количества особей в регистрации. При просмотре фотографий было выявлено ошибочное количество особей в регистрации в 16 случаях из 149. Основное количество этих ошибок, а именно 12 из 16, связанны с классом People и тем, что человек подходил слишком близко к камере, в результате чего детектор видел большее количество объектов, чем их было в кадре на самом деле. Все остальные ошибки связаны с тем, что детектор не заметил объекты, которые только начинают появляться в кадре, скрыты за кустами или деревьями. Таким образом получилось точно определить количество объектов в регистрации в 89,26 % случаях. Зачастую регистрации с людьми не используются в исследованиях, поэтому можно исключить регистрации с классом People. Тогда точность определения количества животных в регистрациях становится равна 95,96 %.

ЗАКЛЮЧЕНИЕ

• • исследовании рассматривалось большое количество программ, которые могут помочь
• проведении исследований животных с использованием фотоловушек. Тем не менее, каждая из программ требует выполнения большого количества действий, которые в настоящее время можно эффективно заменить алгоритмами технического зрения и постобработкой больших объемов данных. В статье был предложен возможный алгоритм формирования регистраций, определения класса регистрации, а также подсчет особей вида внутри одной регистрации, которые могут помочь в подсчете особей в популяции. С помощью данного метода можно достаточно быстро обработать большое количество данных, получаемых с фотоловушек. Так по 3014 изображениям получилось сформировать 149 регистраций за 0,59 секунд. Рассмотренный подход к автоматизации формирования регистраций позволил улучшить данные полученные при автоматической классификации животных с 98,81 % до 99,97 %, также в 95,96 % случаев было правильно определено количество особей внутри регистрации. Таким образом данный алгоритм способен ускорить проведение анализа по суточной или сезонной активности животных, и их плотности населения. Если территория заповедников имеет равномерный охват фотоловушками, то данные регистрации смогут дать более точные и цельные представление о фауне места исследования.

Список литературы

Желтухин А. С., Огурцов С. С. Фотоловушки в мониторинге лесных млекопитающих и птиц. – Тверь:

Центрально-Лесной государственный природный биосферный заповедник; Полипресс. – 2018. – 52 с.

Леус А. В., Ефремов В. А. Применение методов компьютерного зрения для анализа изображений, собранных

• фотоловушек в рамках програмно-аппаратного комплекса мониторинга состояния окружающей среды на особо охраняемых природных территориях //Труды Мордовского государственного природного заповедника им. П. Г. Смидовича. – 2021. – Вып. 28. – С. 121–129.

Огурцов С. С. Обзор программного обеспечения для обработки и анализа данных с фотоловушек: последние новинки, работа с видео и ГИС // Nature Conservation Research. Заповедная наука. – 2019. – Т. 4, № 2. – С. 95–124.

Amin R., Wacher T. A new comprehensive package for the management and analysis of camera trap data for monitoring antelopes and other wild species //Gnusletter. – 2017. – Vol. 34 (2). – P. 21–23.

BuckView TM Advanced User Guide [Электронный ресурс]. – 2010. – Режим доступа: https://www.reconyx.com/img/file/BuckViewUserGuide.pdf.

Fegraus E. H., Lin K., Ahumada J. A., Baru C., Chandra S., Youn C. 2011. Data acquisition and management soft-ware for camera trap data: a case study from the TEAM Network // Ecological Informatics. – Vol. 6. – P. 345–353.

Hendry H., Mann C. Camelot – Intuitive software for camera-trap data management // Oryx. – 2018. – Vol. 52 (1). – P. 15–15. DOI: 0.1017/S0030605317001818.

57

Ефремов В. А., Зуев В. А., Леус А. В., Мангазеев Д. И., Радыш А. С., Холодняк И. В.

Kandel S., Abelson E.S., Garcia-Molina H., Paepcke A., Theobald M.M. PhotoSpread: A Spreadsheet for Managing Photos // Conference on Human Factors in Computing Systems. New York. – 2015. – P. 1749–1758.

Krishnappa Y.S., Turner W.C. Software for minimalistic data management in large camera trap studies // Ecological Informatics. – 2014. – Vol. 24. – P. 11–16.

MapView TM Professional User Guide [Электронный ресурс]. – 2010. – Режим доступа:

https://www.reconyx.com/img/file/MapViewUserGuide.pdf.

Tobler M. Camera Base. Version 1.7. User Guide. – 2015. – 38 p.

Zaragozí B., Belda A., Giménez P., Navarro J.T., Bonet A. Advances in camera-trap data management tools:

Towards collaborative development and integration with GIS // Ecological Informatics. – 2015. – Vol. 30. – P. 6–11.

Efremov V. A., Zuev V. A., Leus A. V., Mangazeev D. I., Radysh A. S., Kholodnyak I. V. Formation of animal registrations based on post-processing of data from camera traps // Ekosistemy. 2023. Iss. 34. P. 51–58.

The paper proposes an algorithm that allows to automate the process of forming animal registrations, determining the class of an object, as well as counting the number of objects within each registration. The presented algorithm is based on the post-processing of data obtained from software previously developed in the laboratory of the Moscow Institute of Physics and Technology. This software implements a two-stage approach to data processing, consisting of detecting objects in photographs and their subsequent classification, neural networks for classification can be trained /retrained for a specific reserve. An experiment was conducted in which, using this algorithm, it was possible to form registrations accurately enough. The only thing that this approach does not take into account is when two individuals of an animal go in the same direction one after the other, but only one of them is always in the frame. The algorithm allowed to correctly determine the number of individuals within the registration in 95.96% of cases. Errors in determining the number of animals were due to the fact that the detector did not notice objects that either are just beginning to appear in the frame, or are poorly visible behind bushes or trees. The experiment also revealed an improvement in the accuracy of automatic classification of objects from 98.81 % to 99.97 %. Such an improvement in the result of automatic classification became possible due to the fact that in this determining class algorithm not one photo is considered, but series of pictures at once.

Key words: camera trap, registration, algorithm, classifier, detector.

Поступила в редакцию 30.12.22

Принята к печати 18.01.23

58