АНАЛИЗ ОТКРЫТЫХ НАБОРОВ ДАННЫХ ОБНАРУЖЕНИЯ РЫБЫ ПОД ВОДОЙ

ANALYSIS OF OPEN-SOURCE FISH UNDERWATER DETECTION DATASETS

Alexander Krajnikov

student, Department of Information Systems and Information Security, Northern (Arctic) Federal University named after M.V. Lomonosov,

Russia, Arkhangelsk

АННОТАЦИЯ

Данная научная публикация посвящена анализу открытых наборов данных с целью обнаружения рыбы под водой. Приведен полный список доступных из сети интернет наборов данных, со сводной статистикой по задачам компьютерного зрения. Приведен пример преобразования наборов данных и их улучшения. Публикация представляет практическую значимость для сферы мониторинга экосистем водных ресурсов и исследований применения компьютерного зрения в подводном пространстве.

ABSTRACT

This scientific publication is devoted to the analysis of open data sets for the purpose of detecting fish underwater. A complete list of data sets available from the Internet is provided, with summary statistics on computer vision tasks. An example of data set conversion and their improvement is given. The publication is of practical importance for the field of monitoring water ecosystems and research into the use of computer vision in underwater space.

Ключевые слова: рыба; модели глубокого обучения; набор данных.

Keywords: fish; deep learning models; dataset.

За последние 10 лет наблюдается стремительное развитие компьютерного зрения, особенно с применением нейронных сетей глубокого обучения. Начиная с 2012 года модели глубокого обучения начали обгонять другие алгоритмы [1] и на данный момент работают качественней специалистов в некоторых сферах [2].

Параллельно с развитием применения компьютерного зрения на основе нейронных сетей в обобщенных задачах, например, COCO, стали развиваться компьютерные системы для отслеживания рыб. Интересна как классификация рыб, для рыбаков, так и отслеживание рыб в экологических целях. Например, отслеживание миграции рыб для нереста для предположения будущих популяций.

С точки зрения бизнеса и государства, это может стать очень хорошей статистикой. Данная информация позволит не только адаптировать рыбную промышленность под конкретные ситуации, но и превентивно принимать меры относительно рисков. Например, если конкретный вид рыбного ресурса будет ожидаем в больших количествах, но не вернется на нерест в реки в нужно время.

Также это может стать интересной темой новых исследований. Например, анализ зависимости погодных условия на время миграции рыб. И по сей день многие причины миграций рыб не выяснены.

На данный момент широко развиты гидроакустические системы. Однако данные системы, даже с применением нейронных сетей на основе данных нельзя предсказать вид рыбы или отличить ее от условной палки.

Одним из первых проектов в сфере отслеживания рыбы стал конкурс FishClef. Данный конкурс был нацелен на исследования поведений рыб под водой. Был проведен два раза в 2014 и 2015 году.

После этого начали появляться новые наборы данных и появляются до сих пор. В качестве основных данных используются видео и фото. Задачи компьютерного зрения в данной среде можно условно разделить на 4 вида:

- классификация, определение вида;

- обнаружение, выделение прямоугольником;

- сегментация, выделение контура;

- локализация, указание на центр.

Датасет – это одна из самых важных частей, если не самая важная, для разработки модели глубокого обучения. Имея качественный датасет можно обучить модель любой архитектуры. Не имея набора данных, даже лучшие модели не смогут делать качественные расчеты.

Именно поэтому многие наборы данных остаются доступны только внутри университетов или закрыты внутри проектов. Набора данных это большая часть интеллектуального труда. Однако тем не менее в интернете находится множество данных в открытых источниках. К сожалению, многие из них не размечены. Далее в таблице 1 приведены открытые источники наборов данных.

Таблица 1.

Открытые наборы данных рыб

DeepFish – это достаточно распространенный датасет. Однако это набор данных содержит в основном данные о классификации. Все подписи хранятся в таблицах csv. Данные достаточно чистые и хорошо размечены. Однако тяжело было применить в реальных условиях, так как вода достаточно чистая, не содержит отклонения в одно из частей спектра и является достаточно хорошо освещенной. Особенно хорош выделяются данные сегментации. Они достаточно качественно размечены и хранятся в виде черно-белых png изображений. Отдельно стоит отметить, что данные содержат также пустые изображения, которые также полезны при обучении, однако нужны зачастую не более, чем в более 10% изображений. Также набор данных содержит изображения локализации, которые представляют собой отображение центра рыбы. Таки данные могут использоваться для автоматической разметки с помощью автосегментирующих моделей.

Fishclef 2015 и Fishclef 2014 – это хорошие наборы данных, содержат данные также из других наборов. Данные хорошо размечены. Однако сами видео имеют крайне низкое качество. Также присутствуют подписи классов. Однако классы разбалансированы. Данные хранятся преимущественно в коротких видео в формате flv, подписи в xml файлах. Данные применимы в основном в задаче трекинга рыб. С данными стоит быть аккуратными, так как в одном из видео содержатся поваженные кадры, содержащие произвольные цвета.

Fishnet – это один из самых больших наборов данных, представленных в открытом доступе. Данные разбиты по классам, всего 94 806 изображений в 570 классах. Классы не сбалансированы, изображения разных форматов и размечены плохо. Встречаются изображения косяков рыб, выделенных одним прямоугольником. Также большинство изображений представляю собой одну рыбы по центру изображению на весь размер кадра. Многие фото сделаны на поверхности с людьми на кадрах. Рекомендуется пред использованием агентировать данные мозаикой с уменьшением разрешения. Тем не менее это один из самых больших наборов данных детектирования рыбы, и он может быть использован при обучении.

fishRecognition_GT – интересные набор данных сегментации. Содержит в себе достаточно большое количество данных сегментации. Однако большинство изображений являются семплами, то есть рыба содержится по середине кадра. Данные набор данных может быть использован в задачах переноса обучения с детектирования на сегментацию. К уже имеющейся модели детектирования можно добавить выделение контура малыми усилиями.

LABELED-FISHES-IN-THE-WILD набора данных содержащий видео с подписями проплывающих рыб в формате детектирования и также содержит порядка 3 тысяч изображений. Из-за формата подписи в видео .dat и .vec файлов данные набор данных тяжело использовать.

Fish detection and tracking – это также набор данных от проекта Fish4knowledge. Содержит видео низкого расширения и покадровую сегментацию этих видео, путем перечисления точек контура. Часть видео также используется в других наборах данных. В случае использования данных видео рекомендуется удалить все похожие изображения из этого набора данных и из других, использующих те же видео.

Underwater Object Detection Dataset – это набора данных детектирования, которые содержит 7 различных классов, например акул и морских звезд. Данные собраны в океанариуме и хранятся в формате YOLO.

Deep Fish Object Detection – набор данных является переосмыслением набора DeepFish и содержит данные детектирования в формате YOLO. Данный набор данных является хорошим набор для оценки работы нейронных сетей.

Luderick seagrass – это набор данных содержит только один вид рыб и представляет как данные для детектирования так и для сегментации.

Отдельно стоит выделить проект Fish4knowledge. Данные проект содержит в себе многие исследования поведения рыб и их отслеживания. В общей сложности в проекте доступно порядка 200 терабайт видео. Данные проект стал основой для многих других наборов данных

Существует также много данных, которые доступны в определенных странах или университетах. Данная публикация рассматривает только открытые источники данных. На основе указанных данных можно разработать полную робастную систему подводного трекинга рыбы.

Список литературы:

1. ImageNet Classification with Deep Convolutional Neural Networks [Электронный ресурс]:[офиц. сайт]/ NVIDIA – Электрон. дан. - [1993–2024]. - Режим доступа: %Ссылка%, свободный (дата обращения : 10.06.2024). - Загл. с экрана.
2. Нейросеть определяет пол и возраст человека по следу от обуви [Электронный ресурс]:[офиц. сайт]/ NeuroHive – Электрон. дан. - [2018–2024]. - Режим доступа: %Ссылка%, свободный (дата обращения : 10.06.2024). - Загл. с экрана.
3. An Underwater Fish Species Image Dataset for Deep Learning [Электронный ресурс]:[офиц. сайт]/ github – Электрон. дан. - [2007–2024]. - Режим доступа: https://alzayats.github.io/DeepFish/, свободный (дата обращения : 10.06.2024). - Загл. с экрана.
4. fishсlef [Электронный ресурс]:[офиц. сайт]/ lifeclef – Электрон. дан. - [2007–2024]. - Режим доступа: https://www.imageclef.org/lifeclef/2015/fish, свободный (дата обращения : 10.06.2024). - Загл. с экрана.
5. FishNet: A Large-scale Dataset and Benchmark for Fish Recognition, Detection, and Functional Traits Prediction [Электронный ресурс]:[офиц. сайт]/ github – Электрон. дан. - [2007–2024]. - Режим доступа: https://fishnet-2023.github.io/, свободный (дата обращения : 10.06.2024). - Загл. с экрана.
6. Fish Recognition Ground-Truth data [Электронный ресурс]:[офиц. сайт]/ Fsh4Knowledge – Электрон. дан. - [1996–2024]. - Режим доступа: https://homepages.inf.ed.ac.uk/rbf/fish4knowledge/GROUNDTRUTH/RECOG/, свободный (дата обращения : 10.06.2024). - Загл. с экрана.
7. Labeled Fishes in the Wild [Электронный ресурс]:[офиц. сайт]/ NOAA – Электрон. дан. - [1997-2024]. - Режим доступа: https://www.fisheries.noaa.gov/west-coast/science-data/labeled-fishes-wild, свободный (дата обращения : 10.06.2024). - Загл. с экрана.
8. Fish Trajectory Ground Truth Dataset [Электронный ресурс]:[офиц. сайт]/ Fsh4Knowledge – Электрон. дан. - [1996–2024].  - Режим доступа: https://homepages.inf.ed.ac.uk/rbf/fish4knowledge/GROUNDTRUTH/BEHAVIOR/, свободный (дата обращения : 10.06.2024). - Загл. с экрана.
9. Underwater Object Detection Dataset [Электронный ресурс]:[офиц. сайт]/ kaggle – Электрон. дан. - [2009–2024]. - Режим доступа: https://www.kaggle.com/datasets/slavkoprytula/aquarium-data-cots, свободный (дата обращения : 10.06.2024). - Загл. с экрана.
10. Deep Fish Object Detection [Электронный ресурс]:[офиц. сайт]/ kaggle – Электрон. дан. - [2009–2024]. - Режим доступа: https://www.kaggle.com/datasets/vencerlanz09/deep-fish-object-detection, свободный (дата обращения : 10.06.2024). - Загл. с экрана.
11. dataset-fish-detection-low-visibility [Электронный ресурс]:[офиц. сайт]/ github – Электрон. дан. - [2007–2024]. - Режим доступа: https://github.com/slopezmarcano/dataset-fish-detection-low-visibility, свободный (дата обращения : 10.06.2024). - Загл. с экрана