Аудиовизуальное мультимодальное слияние на основе трансформеров для точного распознавания индивидуального поведения свиноматок

Поведение свиноматки играет ключевую роль в выживании и росте поросят. Исследования показывают, что смертность поросят до отъёма может достигать 6-17%, что в основном связано с голодом и плохим усвоением питательных веществ в период ранней лактации. Основные аспекты, влияющие на это, включают продолжительность и частоту кормления, а также вокализацию свиноматки, которая служит сигналом для поросят о времени кормления.

Вокализация, известная как «зов к кормлению», является важным элементом материнского поведения. Она:

- Направляет поросят к вымени: Звуки, издаваемые свиноматкой, помогают поросятам находить вымя и побуждают их сосать, что важно для их питания.
- Регулирует доступ к молоку: Вокализация может предотвратить ситуацию, когда один или несколько поросят выпивают всё молоко, оставляя других без питания.
- Сообщает о состоянии свиноматки: Звуки могут указывать на готовность свиноматки к кормлению или необходимость отдыха.

Анализ аудио- и видеоинформации во время кормления может дать более полное представление о поведении свиноматок. Правильная интерпретация этих звуков важна для снижения смертности поросят и обеспечения здоровья свиноматок.

Применение технологий для анализа поведения

С недавним развитием технологий, таких как алгоритмы глубокого обучения, стало возможным более точно распознавать звуки, издаваемые свиньями.

Например:
- Распознавание свиного кашля: Это может служить индикатором респираторных заболеваний.
- Глубокие и длинные звуки: Могут указывать на течку свиноматок.

Однако сложные и шумные условия на свиноводческих фермах затрудняют идентификацию звуков конкретных свиноматок. Существующие алгоритмы акустического биометрического распознавания не всегда могут точно идентифицировать отдельные свиноматки.

Проблемы с идентификацией звуков

Хотя некоторые исследователи пытались использовать направленные микрофоны для минимизации помех от соседних загонов, эти устройства часто оказываются дорогими и неэффективными для крупномасштабного производства. Поэтому существует необходимость в разработке недорогих и эффективных систем локализации источников звука.

Развитие компьютерного зрения

С развитием технологий компьютерного зрения, исследователи начали применять методы автоматического распознавания поведения свиноматок, включая их лактационное поведение. Например, для распознавания поведения во время кормления использовались:

- Семантическая сегментация: Позволяет выделять объекты на изображении и анализировать их поведение.
- Ориентированный оптический поток: Используется для извлечения пространственно-временных взаимосвязей.

Эти методы помогают повысить эффективность распознавания поведения свиноматок.

Мультимодальное обучение

В последние годы в различных областях достигнуты успехи в мультимодальном обучении, которое включает в себя слияние аудио- и видеоданных. Однако большинство существующих подходов к слиянию основаны на традиционных методах, таких как простое объединение и суммирование признаков. Хотя эти стратегии повышают эффективность, они не используют все возможности взаимодействия между аудио- и видеомодальностями.

Использование трансформеров

Модуль внимания в трансформерах привлекает внимание в области мультимодальных технологий, так как позволяет извлекать релевантные признаки для конкретных задач. Универсальность архитектур трансформеров делает их применимыми к различным модальностям без необходимости в специальных настройках. Однако:

- Высокие вычислительные требования: Прямое использование трансформеров для кросс-модального внимания требует значительных вычислительных ресурсов и памяти.

Избыточность данных: Часто упускается из виду избыточность в аудио- и видеосигналах, что может негативно сказаться на эффективности обработки данных.

Таким образом, поведение свиноматки и её вокализация имеют решающее значение для выживания поросят. Разработка эффективных методов анализа и распознавания поведения свиноматок с использованием современных технологий, таких как глубокое обучение и мультимодальное обучение, может значительно улучшить условия содержания свиней и снизить смертность поросят. Важно продолжать исследования в этой области для создания практических решений, которые помогут оптимизировать процессы на свиноводческих фермах.

Исследование: Artificial Intelligence in Agriculture