Введение
Изменение климата и антропогенные факторы влияют на поведение многих организмов, в том числе морских рыб. Для понимания механизмов этих изменений и их прогнозирования необходимы мониторинг популяций рыб и морских экосистем. Важнейшим популяционным параметром является их численность. Для оценки численности рыб имеется очень много методов. Это как контактные методы, в частности, многочисленные орудия лова, так и дистанционные, в частности, эхолоты и т.д. Каждый из методов имеет свои недостатки и преимущества. Одним из методов оценки численности является видеорегистрация [Подводные интервальные съемки как инструмент для изучения численности и поведения рыб на примере акватории Керетского архипелага Белого моря, 1]. В данном случае узким местом метода является трудоемкость ручного анализа видеоизображений. Поэтому в настоящее время интенсивно разрабатываются автоматические методики анализа цифровых изображений рыб с учетом их видового разнообразия. Для этого часто применяются методики глубокого обучения нейронных сетей (НС) [Underwater fish detection with weak multi-domain supervision, 2].
Целью этой работы является разработка методики подсчета количества рыб в видеопотоке, основанное на искусственном интеллекте, в частности на алгоритме глубокого обучения. Объектом исследования служила наиболее массовая рыба Белого моря - трехиглая колюшка, очень многочисленная в прибрежной зоне в летний период. Белое море является одним из наиболее изученных морей России арктической и субарктической зоны. Поскольку устоявшегося метода для решения задачи подсчета объектов на изображениях или в видеопотоке нет, данная статья предлагает рассмотрение плюсов и минусов одного из вариантов решения поставленной задачи [Использование видеорегистрации для изучения рыб: автоматический подсчет трехиглой колюшки на видеоизображениях в прибрежной зоне Белого моря, 3].
Материалы и методы
Материал для исследования был получен в районе учебно-научной станции «Беломорская» (N 66°17′21″, E 33°39′41″) Санкт-Петербургского университета на острове Средний, в бухте Юшковка. Всего, в разных местах было установлено 5 камер Brinno TLC100 Pro на дно на глубине до 0,7 м, которые делали подводные съемки с частотой 1 кадр в 5 секунд. Каждая камера сняла две серии – первая в течении 2 суток 14-16 июня 2021 г и вторая – в течении 3 суток 21-24 июня 2021 г. В этот сезон естественного освещения было достаточно для полноценных съемок.
Задача оценки количества трехиглой колюшки на изображениях была вначале рассмотрена как задача классификации, а позднее, как задача детекции объекта на изображении. Для решения задачи детекции была использована одна из реализаций модели YOLOv4 [Scaled-YOLOv4: Scaling Cross Stage Partial Network, 4], архитектура YOLOv4-tiny.
В ходе выполнения работы для реализации алгоритма была использована реализация YOLOv4 с использованием программной платформы Darknet, с открытым исходным кодом [YOLOv4: Optimal Speed and Accuracy of Object Detection, 5]. Для разметки данных использовалась открытая программа, написанная на языке Python, LabelImg [Tzutalin, LabelImg, 6]. Для тестирования и получения результатов были использованы кадры-нарезка видеопотока. Количество кадров на стадии обучения составляло 90 отобранных вручную изображений, отражающих разные условия съемки в отношении освещенности, наличия помех, числа рыб и т.д. Увеличение выборки методами аугментаций приводило здесь к переобучению алгоритма. На стадии валидации и тестирования использовались 100 изображений. Для повышения корректности оценки, тестовые изображения были стратифицированы по количеству рыб на кадрах путем разбиения их на три группы: от 0 до 6, от 7 до 15 и более 15 рыб.
Результаты
В ходе обучения на 90 изображениях была достигнута средняя точность идентификации (mean average precision) 84%.
Качество детекций оценивалось на основе корреляции Пирсона (r) между выходами нейронной сети и экспертным подсчётом на всех диапазонах численности рыб (рис. 1). При числе рыб менее 6 (n=32), r = 0.85, при 6-15 (n=28), r= 0.84, более 15 рыб (n=40), r= 0.97. На всем диапазоне r= 0.996 (рис. 1).
Рис. 1. Качество работы алгоритма: Метрика MaP в процессе обучения YOLOv4 и соответствие между числом колюшек, подсчитанных вручную и автоматически с помощью нейронной сети НС YOLOv4
Благодаря решению задачи детекции, в ходе выполнения работы удалось получить данные не только о численности рыб на кадрах видеопотока, но и об их размере. Это в дальнейшем позволило рассчитывать расстояние от рыбы до объектива камеры, и, следовательно, получать оценки численности рыб на кв. м.
Размер рыб оценивался на основе длины диагонали bounding box’ов в пикселях. Диагональ считалась из выходных данных нейронной сети — высоты и и ширины bounding box, как c = a2+b2 (рис. 2)
Рис. 2 Подход к оценке размера рыбы в кадре
В результате анализа полученных данных специалистами-биологами, была исследована динамика численности трехиглой колюшки в прибрежной зоне небольшой бухты Белого моря. Полученные результаты, по оценке специалистов, серьезно меняют имеющиеся представления о мелкомасштабной пространственно-временной динамике трехиглой колюшки в прибрежной зоне Белого моря.
С математической точки зрения, важным результатом является понимание характера работы архитектуры YOLOv4tiny на мелких объектах, изображение которых получено в результате подводной съемки.
для большого количества рыб.
Была предпринята попытка дообучить YoloV4, обученную для распознавания класса рыба (fish, на 4 подкласса в зависимости от направления движения рыбы). Подклассы разделялись следующим образом (рис. 3). Данная попытка не увенчалась успехом. Предсказания нейронной сети были некорректны.
Рис. 3. Дообучение YOLOv4 на 4 подкласса
Обсуждение
Проведенная работа позволяет заключить, что использование нейронных сетей позволяет с высокой надежностью получать информацию о количестве рыб в кадрах с различными помехами и одновременно решать задачу примерной оценки размера особей. Работа показывает, что решение этих задач является лишь началом в разработке полноценной, базирующейся на искусственном интеллекте, методики детального описания распределения и миграций рыб в естественной среде.
Следующим шагом в дальнейшем улучшения подхода для решения задачи оценки количества рыб предполагается разработка новых алгоритмов глубокого обучения. Нахождение варианта для решения задач направления движения рыб с подзадачей определения размера и подсчета одновременно, способно существенно расширить знания биологов об экосистемах.
Автор благодарит за предоставление данных и за помощь в анализе и верификации результатов кандидата биологических наук, доцента кафедры ихтиологии и гидробиологии ФГОУ ВО «Санкт-Петербургский государственный университет» Д. Л. Лайуса и студента магистратуры СПБГУ по направлению подготовки Биология Д.У. Ташбаева.
Список литературы
Надточий Е. В., Савельев П. Д., Паницина В. А, Демчук А. С., Иванов М. В., Иванова Т. С., Генельт-Яновский Е. А., Лайус Д. Л. Подводные интервальные съемки как инструмент для изучения численности и поведения рыб на примере акватории Керетского архипелага Белого моря. // Комплексные исследования Мирового океана. Материалы VI Всероссийской научной конференции молодых ученых. Москва, 2021. С. 288—289.
Ташбаев Д. У., Садиех С. А., Надточий Е. В., Генельт-Яновский Е. А., Демчук А. С., Иванова Т. С., Иванов М. В., Лайус Д. Л. Использование видеорегистрации для изучения рыб: автоматический подсчет трехиглой колюшки на видеоизображениях в прибрежной зоне Белого моря. // Всероссийская научно-практическая конференция с международным участием «Арктические экосистемы: сохранение и устойчивое развитие». Мурманск : МАГУ, 2021. (статья в печати);
Chien-Yao Wang, Alexey Bochkovskiy, Hong-Yuan Mark Liao. Scaled-YOLOv4: Scaling Cross Stage Partial Network, 16 Nov, 2020
Chien-Yao Wang, Alexey Bochkovskiy, Hong-Yuan Mark Liao. YOLOv4: Optimal Speed and Accuracy of Object Detection, Git code, 2020, URL: https://github com.teameo.ca/AlexeyAB/darknet (дата обращения: 08.06.2022)
Konovalov D. A., Saleh A., Bradley M., Sankupellay M., Marini S., Sheaves M. Underwater fish detection with weak multi-domain supervision. International Joint Conference on Neural Networks (IJCNN), IEEE. – 2019. - P. 1-8;
Tzutalin, LabelImg, Git code, 2015, URL: https://github.com/tzutalin/labelImg (дата обращения: 08.06.2022).