Система для мониторинга наружных паразитов рыб в аквакультуре
Система включает: съемочный аппарат (52), для погружения в морскую ферму (40) для содержания рыб (72, 74). Съемочный аппарат выполнен с возможностью захвата изображений рыб. Электронная система (78) обработки изображений обеспечивает путем анализа захваченных изображений идентификацию на рыбах таких наружных паразитов рыб, как морские вши. Определяющий дальность детектор (54), который обеспечивает обнаружение присутствия рыбы и измерение расстояния от упомянутого детектора до рыбы и который установлен рядом с съемочным аппаратом (52). Электронная система (12) управления, выполненная с возможностью управления фокусом съемочного аппарата (52) на основе измеренного расстояния и с возможностью запуска съемочного аппарата (52), когда рыба обнаружена в пределах некоторого предварительно определенного диапазона расстояний. Группа изобретений обеспечивает автоматизированный подсчет морских вшей, а также возможность прогнозирования и предотвращения заражений рыб паразитами. 3 н. и 15 з.п. ф-лы, 12 ил.
Область техники
Изобретение относится к системе для мониторинга таких наружных паразитов рыб, как морские вши, в аквакультуре, причем система содержит:
- съемочный аппарат, пригодный для погружения в морскую ферму, пригодную для содержания рыб, причем съемочный аппарат выполнен с возможностью захвата изображений рыб; и
- электронную систему обработки изображений, конфигурация которой обеспечивает идентификацию таких наружных паразитов рыб, как морские вши, на рыбах путем анализа захваченных изображений.
В этом описании изобретения термин «мониторинг» обозначает любую деятельность, целью которой является разработка эмпирической основы для принятия решения о том, заражена ли некоторая заданная популяция рыбы наружными паразитами. Термин «мониторинг» также может охватывать способ определения того, до какой степени рыба заражена наружными паразитами. Хотя мониторинг можно сочетать с мерами для уничтожения или морения паразитов, термин «мониторинг» сам по себе не охватывает такие меры.
Уровень техники
Подобно людям и другим млекопитающим, рыбы страдают от болезней и паразитов. Паразиты могут быть внутренними (эндопаразитами) или наружными (эктопаразитами). Жабры рыбы представляют собой предпочтительную среду обитания многих наружных паразитов рыбы, пристраивающихся к жабрам, но живущим вне их. Наиболее распространенными являются моногенетические сосальщики и определенные группы паразитирующих веслоногих ракообразных, которые могут быть исключительно многочисленными. Другими наружными паразитами рыбы, находящимися на жабрах, являются пиявки и - в морской воде - личинки гнатиидов (изопод, т.е., равноногих ракообразных). Изоподные паразиты рыбы чаще всего являются наружными и питаются кровью. Пьявки семейства Gnathiidae и половозрелые цимотодиды имеют прокалывающие и сосущие ротовые части и когтистые конечности, приспособленные для цепляния на их хозяев. Cymothoa exigua - это паразит различных морских рыб. Он вызывает атрофию языка рабы и занимает его место, считаясь при этом первым случаем обнаружения функциональных возможностей паразита, заменяющего структуру-хозяина у животных. Среди наиболее распространенных наружных паразитов рыбы - так называемые морские вши.
Морские вши - это малые паразитические ракообразные (семейства Caligidae), которые питаются слизью, тканями и кровью морских рыб. Морская вошь (множественное число - морские вши) является членом отряда Siphonostomatoida семейства Caligidae. Существуют около 559 видов в 37 родах, включая приблизительно 162 вида Lepeophtheirus и 268 видов Caligus. Хотя морские вши присутствуют во многочисленных существующих в природе популяциях лосося, особенно значительные проблемы представляют заражения морскими вшами в популяциях искусственно разводимого лосося. В целях борьбы с этой напастью разработаны несколько противопаразитарных препаратов. Основным видом морской вши, причиняющим беспокойство в Норвегии, является лососевая вошь (L. salmonis). Основным паразитом, причиняющим беспокойство на лососевых фермах в Чили стали науплии (Caligus rogercresseyi).
В жизни морских вшей есть как стадия свободного плавания (планктонная), так и стадия паразитическая. Все стадии разделены линьками. Скорость развития L. salmonis от икринки до половозрелой особи изменяется от 17 до 72 суток в зависимости от температуры. Из икринок выводятся личинки науплиус I, которые линяют, переходя во вторую науплиарную стадию; на обеих науплиарных стадиях не предусматривается питание в зависимости от резервов желтка для энергии и имеет место адаптация для плавания. Стадия копепод является инфекционной стадией, и она ищет подходящего хозяина, вероятно - по хемо- и механосенсорным подсказкам.
Сразу же после пристраивания к хозяину, стадия копепод начинает питание и начинает развиваться в первую стадию халимуса. Стадии копепод и халимуса имеют развитый желудочно-кишечный тракт и питаются слизью и тканями в пределах области, в которой пристроились. Еще не половозрелые и половозрелые морские вши, особенно - икряные самки, являются агрессивными фагами, в некоторых случаях питающимися кровью в дополнение к тканям и слизи.
Время и издержки, связанные с работами по ликвидации последствий, и повышение смертности рыбы увеличивают стоимость производства рыбы приблизительно на 0,2 евро/кг. Соответственно, наружный паразит рыбы, такой, как морские вши, - главная забота современных фермеров лосося, которые выделяют значительные ресурсы на предотвращение заражений и соблюдение государственных норм, направленных на предотвращение более широких экологических последствий.
Как эффективное смягчение последствий (например, оценка потребности и сроков вакцинации или химической очистки), так и соблюдение требований регламентирующих органов, зависят от точного количественного определения таких наружных паразитов рыб, как популяции морских вшей, в рамках отдельных операций разведения. В настоящее время, подсчет таких наружных паразитов рыб, как морские вши, является полностью ручным процессом и поэтому требует большого расхода времени. Например, в Норвегии подсчеты следует делать и сообщать о них еженедельно, и только это приводит к ежегодным прямые затратам 24 миллиона долларов США. Столь же хлопотной является сомнительная достоверность статистики на основе ручных подсчетов, когда подсчет таких наружных паразитов рыб, как половозрелые самки морских вшей, на основе данных выборки численностью между 10 и 20 особями находящейся под наркозом рыбы, экстраполируют, чтобы определить надлежащую обработку для популяций рыбы численностью свыше 50000 особей. Вследствие этого, распространены как избыточная обработка, так и недостаточная обработка.
В документе WO 2017/068127 A1 описана система того типа, о которой идет речь в преамбуле п.1 формулы изобретения, направленная на создание возможности автоматического и точного обнаружения и подсчета таких наружных паразитов рыб, как морские вши, в пределах популяций рыбы.
Любая такая система, основанная на оптическом формировании изображений, должна преодолеть несколько существенных затруднений, связанных с морской средой и поведением животных.
- Оптическое искажение из-за градиентов плотности. Турбулентное смешение теплой и холодной воды или - особенно - соленой и пресной воды (например, в пределах фиордов) генерирует маломасштабные изменения плотности, вызывающие оптическое искажение. Особенно серьезным оказывается влияние на формирование изображений объектов размером менее 1 — 3 мм (например, молоди морских вшей).
- Отвращение рыбы к незнакомым источникам света. Рыба может проявлять реакцию страха или неприятия более общего характера к незнакомым источникам света незнакомого места, незнакомой интенсивности или незнакомых спектров. Искажение косяков рыбы вокруг такого источника света создаст в общем случае увеличение типичного расстояния от устройства формирования изображений до рыбы, уменьшая эффективную остроту зрения системы формирования изображений. Цитируемый документ предусматривает решение этой проблемы путем разработки направляющей системы для направления рыбы по желаемой траектории формирования изображений.
- Отслеживание фокуса в высокодинамичных морских средах. Доступные для приобретения системы отслеживания фокуса не работают должным образом в быстро изменяющейся обстановке, когда в пределах поля обзора одновременно присутствует большое количество быстро движущихся адекватно сфокусированных целей (т.е. стая плавающих рыб).
Задача данного изобретения состоит в том, чтобы разработать систему и способ, направленные на решение этих проблем и обеспечение точных автоматизированных подсчетов, чтобы снизить объем человеческого труда, связанного с наружным паразитом рыбы, такого, как подсчеты морских вшей, а также создание возможности более эффективного прогнозирования и предотвращения вредных заражений паразитами.
Сущность изобретения
Чтобы решить эту задачу, система, соответствующая изобретению, характеризуется тем, что она содержит:
определяющий дальность детектор, конфигурация которого обеспечивает обнаружение присутствия рыбы и измерение расстояния от упомянутого детектора до рыбы и который установлен рядом с съемочным аппаратом); и
электронную систему управления, выполненную с возможностью управления фокусом съемочного аппарата на основе измеренного расстояния и с возможностью запуска съемочного аппарата когда рыба обнаружена в пределах некоторого предварительно определенного диапазона расстояний.
Вместо того чтобы пытаться вести рыбу по некоторой определенной траектории, подход, соответствующий изобретению, предусматривает запуск съемочного аппарата только тогда, когда рыба обнаруживается в пределах некоторого пригодного диапазона расстояний. Таким образом, рыбе дают возможность вести себя естественно в стае, а съемочный аппарат и определяющий дальность детектор можно установить около пути, по которому - благодаря своему естественному поведению - вероятно последует рыба, например - вдоль границы морской фермы.
Поскольку система захватывает изображение только тогда, когда рыба действительно обнаружена, количество изображений, подлежащих захвату, и - соответственно - количество изображений, подлежащих анализу, можно ограничить. Кроме того, поскольку освещение необходимо лишь в момент, когда изображение действительно снимают, раздражение рыбы источниками освещения тоже снижается.
Способность определяющего дальность детектора выдавать надежные данные расстояния используется для более точного управления фокусом съемочного аппарата, а вследствие этого повышается качество захваченных изображений.
Более конкретные признаки изобретения, предусматриваемые по выбору, указаны в зависимых пунктах формулы изобретения.
В предпочтительном варианте система способна обнаруживать и распределять по категориям морские вши обоих полов на различных жизненных стадиях - неподвижности, подвижности и метания икры (например, молоди, еще не половозрелых особей, половозрелых самцов, половозрелых самок, мечущих икру, и половозрелых самок, не мечущих икру).
Помимо этого, система могла бы сформировать основу для встраиваемой платформы поддержки принятия решений, повышающей эксплуатационные рабочие характеристики, улучшая здоровье животных и обеспечивая устойчивое развитие аквакультуры, расположенной в океане.
Краткое описание чертежей
Теперь будут описаны примеры вариантов осуществления изобретения со ссылкой на чертежи, на которых:
фиг.1 - вид сбоку узла съемочного аппарата и осветительного оборудования в соответствии с предпочтительным вариантом осуществления изобретения;
фиг.2 - вид морской фермы с подвешенным на ней оборудованием в соответствии с фиг.1;
фиг.3 - вид спереди узла съемочного аппарата и осветительного оборудования;
фиг.4 - вид сбоку углового поля обзора определяющего дальность детектора, установленного на оборудовании;
фиг.5 и 6 - диаграммы, иллюстрирующие результаты обнаружения посредством определяющего дальность детектора;
фиг.7—10 - кадры изображений, иллюстрирующие несколько этапов процедуры захвата и анализа изображений;
фиг.11 - блок-схема последовательности операций, детализирующая процесс аннотирования изображений и обучения, валидации и тестирования детектора наружных паразитов рыб в пределах электронной системы обработки изображений (системы машинного зрения) в соответствии с вариантом осуществления изобретения; и
фиг.12 - блок-схема последовательности операций, детализирующая работу детектора наружных паразитов рыб в режиме логических выводов.
Подробное описание изобретения
Система захвата изображений
Как показано на фиг.1, система захвата изображений содержит узел 10 съемочного аппарата и осветительного оборудования и систему 12 управления съемочным аппаратом и освещением, позволяющие автоматически получать высококачественные изображения рыбы.
Узел 10 съемочного аппарата и осветительного оборудования содержит вертикальный опорный элемент 14, верхнюю стрелу 16, нижнюю стрелу 18, кожух 20 съемочного аппарата, верхнюю осветительную матрицу 22 и нижнюю осветительную матрицу 24. Кожух 20 съемочного аппарата крепится к вертикальному опорному элементу 14 и предпочтительно является регулируемым по высоте. Вертикальное позиционирование съемочного аппарата предпочтительно таково, что поле обзора съемочного аппарата, по меньшей мере, частично (предпочтительно - большей частью или полностью) покрыто световыми конусами верхней и нижней осветительных матриц 22, 24. В предпочтительном варианте также есть существенное угловое смещение между геометрической осью поля обзора съемочного аппарата и геометрическими осями световых конусов. Это минимизирует количество света, рассеиваемого (частицами в воде) обратно в съемочный аппарат, максимизируя (относительно) количество света, возвращающегося от ткани рыбы. При показанной наладке, съемочный аппарат можно устанавливать на некоторой высоте, измеряемой от торца опорного элемента 14 и находящейся в диапазоне между 1/4 и 3/4 длины вертикального опорного элемента.
Верхняя стрела 16 и нижняя стрела 18 сочленены с вертикальным несущим элементом 14 в локтевых шарнирах 26 и 28, соответственно, которые обеспечивают угловые шарнирные сочленения верхней стрелы и нижней стрелы относительно вертикального опорного элемента. Верхняя осветительная матрица 22 и нижняя осветительная матрица 24 сочленены с верхней стрелой и нижней стрелой в поворотных шарнирах 30 и 32, соответственно, которые обеспечивают угловые шарнирные сочленения верхней осветительной матрицы и нижней осветительной матрицы относительно верхней стрелы и нижней стрелы.
В показанном примере подвесные канаты 34 составляют бифилярную подвеску для узла 10 съемочного аппарата и осветительного оборудования. Подвесные канаты позволяют управлять позицией оборудования по азимуту и могут крепиться к кронштейну 36 в разных положениях, тем самым удерживая оборудование в равновесии при заданной конфигурации стрел 16 и 18. Это дает возможность точного регулирования ориентации (т.е., угла установки) узла съемочного аппарата и осветительного оборудования, поскольку центр масс узла съемочного аппарата и осветительного оборудования оказывается ниже точки крепления.
В предпочтительном варианте, перенос всех данных и питания, требуемых верхней осветительной матрицей и нижней осветительной матрицей, происходит по кабельному шлангу 38, который также несет кожух съемочного аппарата и проходит между узлом съемочного аппарата и осветительного оборудования и системой 12 управления съемочным аппаратом и освещением.
На фиг.2 показан чертеж узла 10 съемочного аппарата и осветительного оборудования, погруженных в морскую ферму 40. Показанная возможная морская ферма окружена доком 42, от которого простираются вверх вертикальные опорные элементы 44. Между опорными элементами проходят натянутые кабели 46. Подвесные канаты 34 можно крепить к натянутым кабелям 46, обеспечивая введение узла 10 съемочного аппарата и осветительного оборудования в морскую ферму и отвод их от нее, а также управление горизонтальным положением оборудования относительно дока 42.
Вместе с тем, следует отметить, что морская ферма также может иметь форму, отличающуюся от той, которая показана на фиг.2.
Протяженность несущих кабелей и канатов также обеспечивает регулирование глубины узла съемочного аппарата и осветительного оборудования ниже поверхности воды. В предпочтительном варианте, узел съемочного аппарата и осветительного оборудования размещают на глубине, при которой положение кожуха 20 съемочного аппарата оказывается ниже поверхностных смешивающихся слоев, где сильнее всего проявляется турбулентное смешение теплой и холодной воды или соленой и пресной воды. Это дополнительно снижает оптическое искажение, связанное с градиентами плотности. Требуемая глубина зависит от местонахождения и времени года, но в типичных случаях предпочтительна глубина 2—3 м.
Как показано на фиг.3, верхняя осветительная матрица 22 и нижняя осветительная матрица 24 содержат горизонтальные элементы 48, которые служат опорой одному или нескольким осветительным приборам 50 в пределах осветительной матрицы вдоль их длины. В варианте осуществления, показанном на фиг.3, каждая из верхней осветительной матрицы и нижней осветительной матрицы содержит по два осветительных прибора 50; вместе с тем, можно использовать разные количества осветительных приборов. Горизонтальные элементы 48 сочленены с верхней стрелой и нижней стрелой в поворотных шарнирах 30, 32.
Локтевые шарниры 26, 28 между вертикальным опорным элементом 14 и верхней стрелой 16 и нижней стрелой 18 и поворотные шарниры 30, 32 между верхней стрелой и нижней стрелой и горизонтальными элементами 48 совместно обеспечивают независимое регулирование:
- горизонтального смещения между кожухом 20 съемочного аппарата и верхней осветительной матрицей 22;
- горизонтального смещения между кожухом 20 съемочного аппарата и нижней осветительной матрицей 24,
- угловой ориентации осветительных приборов 50 в пределах верхней осветительной матрицы 22; и
- угловой ориентации осветительных приборов 50 в пределах нижней осветительной матрицы 24.
В общем случае, верхняя осветительная матрица и нижняя осветительная матрица расположены относительно кожуха съемочного аппарата так, что обеспечивают адекватное освещение в пределах некоторой целевой области, где будет изображена рыба для обнаружения таких наружных паразитов рыб, как морские вши. Вертикальная в продольном направлении конструкция и конфигурация узла 10 съемочного аппарата и осветительного оборудования максимизирует вероятность того, что рыбы (которые проявляют отвращение к длинным, горизонтально ориентированным объектам) будут плавать в непосредственной близости к кожуху съемочного аппарата. Помимо этого, отдельные и независимо регулируемые верхняя осветительная матрица и нижняя осветительная матрица обеспечивают алгоритмы освещения, разработанные конкретно для решения проблем освещения, характерных для рыбы, подробнее обсуждаемых ниже.
Кожух 20 съемочного аппарата, который показан посредством вида спереди на фиг.3, содержит съемочный аппарат 52, определяющий дальность детектор 54, например - определяющий дальность блок с использованием света и обнаружением времени его распространения, и датчик 56 положения, включающий в себя, например, магнитометр и инерциальный измерительный блок (ИИБ), или другие известные системы определения положения.
Съемочный аппарат предпочтительно представляет собой доступный для приобретения цифровой съемочный аппарат с высокочувствительным малошумящим датчиком, выполненный с возможностью захвата четких изображений быстро плывущих рыб при относительно слабом освещении. В одном предпочтительном варианте осуществления изобретения используется съемочный аппарат Raytrix C42i, обеспечивающий горизонтальное поле обзора приблизительно 60° и вертикальное поле обзора приблизительно 45°. Конечно, в качестве альтернативы можно использовать любой другой съемочный аппарат с аналогичными свойствами (включая электронное управление фокусом).
Определяющий дальность детектор 54 используется для обнаружения дальности и пеленга рыбы, плавающей в пределах поля обзора съемочного аппарата 52. Этот детектор содержит излучающее оптическое средство 58 и принимающее оптическое средство 60. Излучающее оптическое средство 58 создает веер света, ориентированного в вертикальном направлении, но - предпочтительно - коллимированного в горизонтальном направлении. То есть, веер расходится по дифференту - параллельно вертикальному опорному элементу, но относительно мало расходится по рысканию - перпендикулярно вертикальному опорному элементу.
Принимающее оптическое средство 60 содержит матрицу светодетекторных элементов, каждый из которых обнаруживает свет, падающий из пределов угла восприятия, раствор которого занимает, по меньшей мере, участок вертикального поля обзора съемочного аппарата. Углы смежных детекторных элементов примыкают друг к другу по дифференту, совместно образуя веер восприятия, который полностью покрывает вертикальное поле обзора. Эти ориентация и конфигурация излучающего и принимающего оптических средств оптимизированы для обнаружения и определения местонахождения туловищ рыб (которые обычно имеют высокое отношение длины к ширине), плавающих параллельно горизонтальной поверхности воды.
В предпочтительном варианте определяющий дальность детектор 54 работает на длине волны света, обеспечивающей его эффективное пропускание в пределах воды. Например, для обеспечения эффективного пропускания в пределах морской воды можно использовать синий свет или зеленый свет. В предпочтительном варианте осуществления изобретения, определяющий дальность детектор представляет собой детектор LEDDAR® (Light-Emitting-Diode Detection And Ranging detector - светодиодный обнаруживающий и определяющий дальность детектор), такой, как LeddarTech M16, излучающий и принимающий свет на длине волны 465 нм. Конечно, изобретение не ограничивается этим вариантом осуществления определяющего дальность детектора.
В тоже предпочтительном варианте осуществления изобретения веер освещения, генерируемый излучающим оптическим средством, расходится приблизительно на 45° по дифференту, что, в сущности, дает раствор, охватывающий вертикальное поле обзора съемочного аппарата, и расходится приблизительно на 7,5° по рысканию. Принимающее оптическое средство 60 содержит матрицу из 16 детекторных элементов, каждый - с полем обзора, раствор которого занимает приблизительно 3° по дифференту и приблизительно 7,5° по рысканию. Конечно, количество детекторных элементов может быть меньше или больше, чем 16, а предпочтительно составляет не менее 4. В предпочтительном варианте, и веер освещения, и веер восприятия горизонтально центрированы в пределах поля обзора съемочного аппарата, гарантируя возможность захвата обнаруженной рыбы съемочным аппаратом полностью.
Можно также предусмотреть системы с двумя или более определяющими дальность детекторами. Например, можно было бы расположить веер «выше по течению» (как определяется преобладающем направлением плавания рыбы) от геометрической оси, чтобы обеспечить «заблаговременное предупреждение» о попадании рыбы в кадр. Аналогичным образом, можно было бы разместить некоторый блок «ниже по течению», чтобы подтвердить выход рыбы из кадра.
ИИБ в датчике 56 положения содержит акселерометр и гироскоп, например - аналогичные тем, которые можно найти в доступных для приобретения смартфонах. В одном предпочтительном варианте осуществления изобретения магнитометр и ИИБ расположены вместе на единственной печатной плате внутри кожуха 20 съемочного аппарата. ИИБ и магнитометр совместно измеряют ориентацию кожуха съемочного аппарата (а значит - и изображений, получаемых съемочным аппаратом) относительно поверхности воды и морской фермы. Поскольку рыба в общем случае плывет параллельно поверхности воды и вдоль краев морской фермы, эту информацию можно использовать для того, чтобы информировать систему машинного зрения об ожидаемой ориентации рыбы в пределах получаемых изображений.
Верхняя осветительная матрица 22 и нижняя осветительная матрица 24 могут включать в себя одну или несколько ламп различных типов (например, накаливания, газоразрядных или светодиодных), излучающих свет на любом количестве длин волн. В предпочтительном варианте выбирают конкретные типы ламп, чтобы предоставить достаточную цветовую информацию (т.е. достаточно широкий спектр излучения), чтобы адекватно отличить наружного паразита рыбы, такого, как морские вши, от ткани рыбы. Кроме того, типы и интенсивность ламп в пределах верхней осветительной матрицы и нижней осветительной матрицы предпочтительно выбирают дающими относительно равномерную интенсивность света, отражаемого к съемочному аппарату, несмотря на типичные, создающие заметный обратно-теневой эффект туловища рыб.
В предлагаемом здесь варианте осуществления верхняя осветительная матрица 22 содержит пару ксеноновых ламп-вспышек. Нижняя осветительная матрица 24 содержит пару светодиодных ламп, каждая из которых содержит чип со 128 кристаллами светоизлучающих диодов (СИДов) белого цвета свечения. Эта гибридная осветительная система обеспечивает больший диапазон интенсивности освещения, чем тот, которого можно достичь с помощью однотипного освещения. В частности, лампы-вспышки обеспечивают короткое, но интенсивное освещение (приблизительно 3400 лк) рыб сверху, синхронизированное с работой затвора съемочного аппарата. Это гарантирует адекватный свет, отражаемый к съемочному аппарату от, как правило, темных, обладающих высокой светопоглощающей способностью верхних поверхностей рыб. (Это требует большей интенсивности света, чем та, которую могли бы давать светодиодные лампы нижней осветительной матрицы.) Соответственно, светодиодные лампы обеспечивают адекватную интенсивность освещения для являющихся в типичных случаях светлыми нижних поверхностей рыб. (Это требует интенсивности ниже той, которую могли бы давать ксеноновые лампы-вспышки верхней осветительной матрицы.) Результирующий равномерно яркий свет, отражаемый от рыб, позволяет эксплуатировать съемочный аппарат при относительно низкой чувствительности (например, ниже ISO 3200), обеспечивая изображения с низким уровнем шума для системы машинного зрения. В заключение отметим, что и ксеноновые лампы-вспышки, и светодиодные лампы обеспечивают адекватно широкий спектр, позволяя отличить таких наружных паразита рыб, как морские вши, от ткани рыб.
Как описано выше, верхняя осветительная матрица 22 и нижняя осветительная матрица 24 расположены так, что обеспечивают желаемое освещение по всей целевой области. Целевая область характеризуется вертикальным полем обзора съемочного аппарата, а также ближней и дальней границами вдоль оси съемочного аппарата. Расстояние от съемочного аппарата до ближней границы является большим из (a) ближайшего достижимого фокусного расстояния съемочного аппарата и (b) расстояния, на котором типичная рыба перегораживает весь угол горизонтального обзора съемочного аппарата. Расстояние от съемочного аппарата до дальней границы - это расстояние, на котором угловое разрешение съемочного аппарата больше не позволяет обнаруживать наименьшего наружного паразита рыбы, такого, как морские вши, которые должны быть обнаружены. Ближняя граница «a» и дальняя граница «b» иллюстрируются на фиг.4.
Каждая из ламп в пределах верхней осветительной матрицы и нижней осветительной матрицы обеспечивает в общем случае осесимметричную картину освещения. Поскольку в пределах каждой матрицы вдоль длины горизонтальных элементов имеются несколько ламп, картину освещения можно эффективно охарактеризовать угловым раствором в плоскости дифферента. Длину вертикального опорного элемента 14, угловое положение верхней стрелы 16 и нижней стрелы 18 и угловую ориентацию верхней осветительной матрицы 22 и нижней осветительной матрицы 24 предпочтительно регулируют так, что угловой раствор верхней осветительной матрицы и нижней осветительной матрицы эффективно покрывает целевую область. Расстояние от съемочного аппарата до «зоны наилучшего восприятия» зависит от размера рыбы, подлежащей мониторингу, и может находиться, например, в диапазоне от 200 мм до 2000 мм. В случае, например, лосося, подходящее значение может составлять около 700 мм.
На практике, интенсивности освещения, обеспечиваемого верхней осветительной матрицей и нижней осветительной матрицей, не вполне равномерны по всему своему угловому раствору. Вместе с тем, вышеизложенный подход гарантирует, что по целевой области обеспечивается приемлемая величина освещенности. Это также приводит к нахождению «зоны наилучшего восприятия» на коротком расстоянии за пределами ближней границы, где угол освещения между верхней осветительной матрицей, нижней осветительной матрицей и съемочным аппаратом оказывается оптимальным. Это приводит к наилучшим образом освещенным изображениям, обеспечивая также наилучшее угловое разрешение, достижимое съемочным аппаратом и минимально страдающее от искажений вследствие градиентов плотности.
В рамках объема притязаний изобретения можно использовать широкий ассортимент других съемочных аппаратов и большое разнообразие геометрий освещения. В частности, можно сконструировать узел съемочного аппарата и осветительного оборудования для расположения в ориентациях, отличающихся от вертикальной ориентации согласно фиг.1. Например, узел съемочного аппарата и осветительного оборудования можно ориентировать горизонтально - параллельно поверхности воды. Можно также сконструировать узел съемочных аппаратов и осветительного оборудования для поддержания одного или нескольких съемочных аппаратов в фиксированных положениях (относительно целевого района), отличающихся от тех, которые показаны фиг.1. Кроме того, некоторые варианты осуществления изобретения могут предусматривать несколько узлов съемочных аппаратов и осветительного оборудования, например, два узла съемочных аппаратов и осветительного оборудования, симметрично расположенные впереди и позади целевой области, создавая возможность одновременного захвата изображений с обеих сторон одной рыбы.
Система управления съемочным аппаратом и освещением
Система 12 управления съемочным аппаратом и освещением управляет работой системы захвата изображений. Система управления съемочным аппаратом и освещением:
- принимает и анализирует данные из определяющего дальность детектора 54, определяя надлежащее фокусное расстояние съемочного аппарата;
- управляет фокусом и затвором съемочного аппарата;
- управляет синхронизацией освещения верхней осветительной матрицы 22 и нижней осветительной матрицы 24 относительно затвора съемочного аппарата 52; и
- принимает, анализирует и сохраняет данные изображений и метаданные изображений, включая замеры, получаемые из определяющего дальность детектора, магнитометра и из ИИБ.
В данном варианте осуществления система 12 управления съемочным аппаратом и освещением содержит компьютер 62 и блок 64 управления питанием, которые находятся в некотором сухом месте (например, доке 42), физически близком к узлу 10 съемочного аппарата и осветительного оборудования. В альтернативных вариантах осуществления, по меньшей мере, часть функциональных возможностей системы управления съемочным аппаратом и освещением, обеспечиваемых компьютером, воплощается системой, погруженной под поверхностью воды (например, установленной на вертикальный опорный элемент 14 или встроенной внутри кожуха съемочного аппарата). В общем случае, компьютер 62 включает в себя драйверы устройств для каждого датчика в пределах узла 10 съемочного аппарата и осветительного оборудования. В частности, компьютер включает в себя драйверы устройств для съемочного аппарата 52, определяющего дальность детектора 54 и магнитометра, а также ИИБ датчика 56 положения. Драйверы устройств позволяют компьютеру получать данные измерения из связанных с ним датчиков и посылать в них данные управления. В одном предпочтительном варианте осуществления, между устройствами и процессами, проходящими на компьютере, происходит обмен данными измерения и данными управления как сообщениями в робототехнической операционной системе (РОС). Данные из датчиков (включая определяющий дальность детектор) поступают с частотой 10 Гц, а замеры из магнитометра и ИИБ поступают с частотой 100 Гц. Каждое из сообщений заносится на диск на компьютере.
Компьютер 62 выдает сигналы управления в блок 64 управления питанием и - по выбору - принимает диагностические данные из блока управления питанием. Блок управления питанием подает питание по кабельному шлангу 38 на верхнюю осветительную матрицу 22 и нижнюю осветительную матрицу 24. В предпочтительном варианте осуществления блок 64 управления питанием получает питание напряжением 220 В переменного тока, которое можно подавать непосредственно в зарядное устройство батареи конденсаторов для ксеноновых ламп-вспышек в пределах верхней осветительной матрицы 22 (когда ее запускают). Блок управления питанием передает питание в подводную соединительную коробку (не показана), которая преобразует питание переменного тока в питание постоянного тока (например, 36 В или 72 В) для светодиодных ламп в пределах верхней осветительной матрицы 24.
Процесс вычисления фокуса, проводимый компьютером 62, cобуславливает непрерывный мониторинг данных определения дальности для обнаружения присутствия и определения дальности до рыбы в пределах целевой области. Данные определения дальности состоят из одного или нескольких расстояний для каждого детекторного элемента, от которого свет отражался обратно к детекторному элементу из пределов его угла восприятия в пределах веера восприятия.
На фиг.4 показан вид сбоку угловых полей 66 обзора определяющих дальность детекторных элементов в принимающем оптическом средстве 60 в пределах определяющего дальность веера 68 восприятия. Как описано выше, апертурные углы смежных детекторов примыкают друг к другу по дифференту, совместно создавая веер восприятия. На фиг.4 показана матрица из 16 детекторов, каждый - с полем обзора, раствор которого занимает приблизительно 3° по дифференту.
На фиг.4 показаны средние углы установки детекторов в пределах определяющего дальность веера 68 восприятия. Каждый средний угол установки иллюстрируется геометрической осью 70, делящей пополам поле 66 обзора соответствующего детектора. Средний угол установки - это угол между делящей пополам геометрической осью 70 (биссектрисой) и геометрической осью веера 68 восприятия в целом, которая в общем случае параллельна оптической оси съемочного аппарата 52.
На фиг.4 также показан вид сбоку расстояний и средних углов установки для нескольких детекторных элементов, загороженных рыбами 72, 74 в пределах определяющего дальность веера 68 восприятия. В общем случае, процесс вычисления фокуса обеспечивает обнаружение рыб, когда несколько смежных детекторных элементов сообщают аналогичные расстояния. В предпочтительном варианте осуществления изобретения рыба обнаруживается, когда М или более смежных детекторных элементов информируют об аналогичных расстояниях di. Количество М может находиться в диапазоне от 1 до 1/2 общего количества детекторов (т.е. 8-ми в этом примере). В частности, процесс вычисления фокуса обуславливает поиск смежных множеств из М или более смежных расстояний di, для которых [max(di)—min(di)]≤W. М и W - это параметры, которые может регулировать оператор системы захвата изображений, причем W представляет максимальную допустимую толщину, приблизительно соответствующую половине толщины самой крупной рыбы, которая будет обнаружена. В зависимости от размера или возраста рыбы, параметры М и W оптимизируют для каждой системы или каждой фермы. При каждом таком обнаружении вычисление фокуса предусматривает вычисление среднего расстояния
и среднего пеленга
где βi - средние углы установки каждого из смежных детекторных элементов. Затем процесс вычисления фокуса возвращает фокусное расстояние Df = D × cos β, которое представляет собой расстояние от съемочного аппарата до рекомендуемой фокальной плоскости вдоль оптической оси съемочного аппарата.
Благодаря рассеянным частицам в воде или объекту (например, рыбе), который противолежит лишь части угла восприятия детектора, один детектор может сообщать о нескольких расстояниях. В варианте практического осуществления, в тех случаях, где один детектор сообщает о нескольких расстояниях, при вычислении фокуса используется наибольшее расстояние. Это минимизирует количество ложных обнаружений, обуславливаемых частицами в пределах воды. В случае, если несколько расстояний действительно связаны с двумя рыбами, одна из которых заслоняет лишь часть угла восприятия детектора, вероятно, что соседние детекторы будут по-прежнему успешно обнаруживать частично заслоняющую рыбу.
Информацию о присутствии рыб и дальности до них, определяемую посредством процесса вычисления фокуса, можно использовать для управления получением изображений съемочным аппаратом. Например, захват изображений возможен лишь тогда, когда рыба обнаруживается в пределах некоторого предварительно определенного расстояния до «зоны наилучшего восприятия», обеспечивающей оптимальное освещение. Например, если «зона наилучшего восприятия» отстоит на 700 мм, захват изображений возможен лишь тогда, когда рыба обнаруживается в пределах некоторого диапазона расстояния от 600 до 800 мм. Всякий раз, когда происходит захват изображений, система управления съемочным аппаратом и освещением задает фокусное расстояние съемочного аппарата равным самому последнему значению дальности, определенному посредством процесса вычисления фокуса.
В одном предпочтительном варианте осуществления изобретения система управления съемочным аппаратом и освещением непрерывно запускает съемочный аппарат, чтобы получать изображения периодически, например, с частотой 4 Гц или, в более общем случае, частотой между 2 и 10 Гц. Процесс вычисления фокуса предусматривает непрерывное и периодическое (например, с частотой 10 Гц или, в более общем случае, с частотой от 4 до 20 Гц) сообщение о текущем фокусном расстоянии на основе самых последних обнаружений дальностей рыб, а система управления съемочным аппаратом и освещением задает фокусное расстояние съемочного аппарата равным самому последнему известному фокусному расстоянию.
Когда затвор съемочного аппарата открывается, съемочный аппарат посылает в систему 12 управления съемочным аппаратом и освещением сигнал синхронизации, который пропускается в блок 64 управления питанием. Блок управления питанием обеспечивает свечение верхней осветительной матрицы 22 и нижней осветительной матрицы 24 синхронизировано со срабатыванием затвора, гарантируя надлежащее освещение захваченного изображения. В тех вариантах осуществления изобретения, где лампы (такие, как ксеноновые лампы-вспышки согласно предпочтительному варианту осуществления изобретения) в пределах верхней осветительной матрицы или нижней осветительной матрицы не способны поддерживать продолжительность включения, одинаковую с съемочным аппаратом, блок управления питанием также может предусматривать процесс стабилизации освещения, включающий в себя непрерывную оценку того, должен ли блок управления питанием обеспечивать свечение верхней осветительной матрицы и нижней осветительной матрицы. В одном предпочтительном варианте осуществления изобретения, освещение стабилизируют если либо (a) архив данных по работе ксеноновых ламп-вспышек в пределах верхней осветительной матрицы свидетельствует, что они приближаются к своему верхнему тепловому пределу, либо (b) процесс вычисления фокуса не привел к недавнему обнаружению рыбы и сообщению обновленной дальности.
В одном предпочтительном варианте осуществления изобретения, менее интенсивные светодиодные лампы в пределах нижней осветительной матрицы освещаются в продолжение экспозиции съемочного аппарата. Длительность экспозиции задают на уровне минимальной длительности, требуемой для того, чтобы светодиодные лампы могли обеспечить эквивалентное освещение. Длительность вспышки ксеноновых ламп-вспышек в верхней осветительной матрице регулируют так, чтобы обеспечить сбалансированное освещение с учетом защитной окраски типичной рыбы.
Интенсивность освещения, обеспечиваемого светодиодными лампами в пределах нижней осветительной матрицы, предпочтительно является достаточно большой, чтобы обеспечить достаточно короткую экспозицию для того, чтобы дать приемлемо низкую размытость движения в пределах захваченных изображений плавающих рыб. В предпочтительном варианте осуществления изобретения датчик внутри съемочного аппарата (в частности, его количество пикселей), оптику съемочного аппарата (в частности, угловой раствор поля обзора) и расстояние до целевой области выбирают, гарантируя, что (a) в пределах поля обзора съемочного аппарата возможен захват рыбы целиком, да еще и (b) что возможно адекватное разрешение по молоди таких наружных паразитов рыб, как морские вши. При обеспечении 10 пикселей на каждые 2 мм (что сравнимо с размером молоди морских вшей) на целевом расстоянии, на котором раствор 60° горизонтального поля обзора съемочного аппарата охватывает ширину типичной половозрелой рыбы, требуется угловой шаг пикселей, составляющий 7,6×10−3° на пиксель. Для рыб, плавающих с типичной скоростью 0,2 м/сек, размытость движения на уровне субпикеселей гарантируется временами срабатывания затвора менее чем 0,6×10−3 с. Для предоставления адекватных изображений с низким уровнем шума в систему машинного зрения, предпочтителен коэффициент усиления датчика менее чем ISO 3200. Это, в свою очередь, требует освещенности приблизительно 3000 люкс по всей целевой области.
На фиг.5 иллюстрируются результаты, которые были бы получены с помощью определяющего дальность детектора 54 в ситуации, изображенной на фиг.4. То, что показано, это результаты обнаружения из детекторных элементов с полями обзора, имеющими геометрические оси в диапазоне от +6° до —15°. Каждая черная точка на фиг.5 представляет событие обнаружения, где отраженный свет принят надлежащим детекторным элементом. Положение точки в направлении оси d представляет расстояние до обнаруженного объекта, рассчитанное исходя из времени прохождения светового сигнала от излучающего оптического средства 58 до объекта и обратно к принимающему оптическому средству 60.
Как описано ранее, рыбы 72 и 74 представлены обнаружениями на приблизительно одинаковых расстояниях d1 и d2, соответственно, для некоторого количества смежных детекторов. Для каждого индивидуального детектора, расстояние до рыбы является наибольшим среди расстояний, измеренных тем детектором. Точки на меньших расстояниях представляют шум, обуславливаемый мелкими частицами в веере восприятия.
В ситуации, проиллюстрированной на фиг.4 и 5, рыба 74 частично заслонена рыбой 72, так что изображение всего силуэта рыбы можно получить только для рыбы 72, находящейся на меньшем расстоянии d1. Следовательно, фокус съемочного аппарата будет отрегулирован до получения того расстояния d1.
На фиг.6 представлена временная диаграмма, демонстрирующая обнаружения на расстоянии d1 как функцию времени t. Можно увидеть, что полученные обнаружения рыбы 72 для углов β в диапазоне от —3° до —15° стабильны в течение длительного периода времени, соответствующего времени, которое у рыбы уходит на то, чтобы проплыть через веер 68 восприятия. Следовательно, можно было бы также отфильтровать шум, накладывая требование, что обнаружение должно быть стабильным на некотором определенном минимальном интервале времени или, что эквивалентно, путем интегрирования сигнала, принимаемого от каждого детекторного элемента в течение некоторого определенного времени, а затем - регулирования порога результата интегрирования.
В принципе, архив обнаружений того типа, которые проиллюстрированы на фиг.6, также можно было бы использовать для оптимизации интервала времени, в котором съемочный аппарат 52 получает последовательность снимков, чтобы убедиться, что, с одной стороны, количество снимков не становится необоснованно большим и, с другой стороны, что последовательность снимков включает в себя, по меньшей мере, один снимок, на котором вся рыба находится в пределах поля обзора съемочного аппарата. Например, как показано на фиг.6, в момент времени t1, когда некоторое определенное количество смежных детекторных элементов (три) обнаружат объект, который мог бы быть рыбой, можно запустить некоторый таймер. Потом - с некоторой определенной задержкой - в момент времени t2 можно запустить съемочный аппарат, чтобы начать съемку последовательности снимков, а остановлена эта последовательность будет - самое позднее - в момент времени t3, когда детекторные элементы указывают, что конец хвоста рыбы покидает веер восприятия.
На фиг.7 показано поле 76 обзора съемочного аппарата в момент времени t1, показанный на фиг.6, когда нос рыбы 72 только что пересек веер 68 восприятия.
На фиг.8 показано изображение, захваченное съемочным аппаратом 52 в момент времени, наступивший несколько позже момента времени t2, показанного на фиг.6, когда весь силуэт рыбы 72 оказывается в пределах поля 76 обзора. В этот момент, из результатов обнаружения детекторными элементами при β в диапазоне от —3° до —15° согласно фиг.6, можно сделать вывод, что геометрическая ось рыбы будет проходить под углом β = —9°, как показано на фиг.8. Эта информация может быть передана в систему обработки изображений и может способствовать распознаванию контура рыбы на захваченном изображении.
Возвращаясь к фиг.1, отмечаем, что компьютер 62 системы 12 управления съемочным аппаратом и освещением соединен с системой 78 обработки изображений, которая имеет доступ к базе 80 данных через систему 82 управления данными.
Система управления данными
Автоматизированная система для обнаружения и подсчета таких наружных паразитов рыбы, как морские вши, также включает в себя систему 82 управления данными, которая включает в себя интерфейсы, поддерживающие получение, хранение, поиск, выборку и распределение данных изображений, метаданных изображений, аннотаций изображений и данных обнаружений, создаваемых при эксплуатации системы 78 обработки изображений.
Хранилище данных
Система 82 управления данными принимает изображения из системы захвата изображений, например, в форме «пакетов» РОС. Система управления данными распаковывает каждый пакет, например, в изображение формата JPEG или PNG и метаданные объектной нотации на мультипарадигмальном языке программирования JavaScript (JSON). Каждое из изображений формата JPEG хранится в хранилище данных.
База данных
Метаданные JSON, не распакованные из каждого пакета РОС, хранятся в базе 80 данных, связанной с хранилищем данных. В общем случае, метаданные описывают параметры захвата изображения, относящиеся к связанному с ними изображению формата JPEG или PNG. Например, метаданные включают в себя указание ячейки пикселя центроида в пределах силуэта рыбы (например, пикселя, центрированного горизонтально в пределах изображения, на продольной геометрической оси), обнаруживаемого блоком LEDDAR (обнаружения и определения дальности посредством светоизлучающих диодов). Эту ячейку пикселя может - по выбору - использовать система обработки изображений (подробнее описываемая ниже), чтобы облегчить обнаружение рыб в пределах изображения.
База 80 данных также хранит данные аннотаций, созданные в течение процесса аннотирования (подробнее описываемого ниже) для обучения системы 78 обработки изображений. Кроме того, база данных хранит информацию, характеризующую местонахождение, размер и тип рыбы и таких наружных паразитов рыб, как морские вши, обнаруживаемых системой машинного зрения. В заключение отметим, что, база данных хранит учетные данные для аутентификации, дающие пользователям возможность входить в различные интерфейсы (например, интерфейс аннотаций или интерфейс конечного пользователя) через модуль аутентификации.
Система обработки изображений
В определенном варианте осуществления изобретение предусматривает применение системы 78 обработки изображений для выполнения задачи обнаружения таких наружных паразитов рыб, как морские вши. В предпочтительном варианте осуществления изобретения, для обеспечения детектора 84 рыб и детектора 86 наружных паразитов рыб, обучают отдельные нейронные сети. Сначала детектор 84 рыб обнаруживает индивидуальных рыб в пределах изображений, получаемых системой захвата изображений. Затем детектор 86 наружных паразитов рыб обнаруживает таких индивидуальных таких наружных паразитов рыб, как морские вши (если они есть) на поверхности каждой обнаруженной рыбы. В предпочтительном варианте детектор наружных паразитов рыб также классифицирует пол и жизненную стадию каждой обнаруженной вши.
Детекторы обучают посредством некоторой процедуры машинного обучения, которая обеспечивает усвоение корпуса аннотированных человеком изображений. Применение нейронной сети устраняет необходимость определения в явном виде характеристик (например, протяженности, формы, яркости, цвета или текстуры) рыб или таких наружных паразитов рыбы, как морские вши, а вместо этого делает выводы непосредственно на основе знания, которым обладают аннотаторы-люди, закодированного в пределах корпуса аннотированных изображений.
На фиг.9 показаны положение и силуэт рыбы 72 в поле 76 обзора, обнаруживаемые детектором 84 рыб. Другая рыба 74, показанная на фиг.4, 7 и 8 исключена из рассмотрения в этом варианте осуществления, поскольку ее частично заслоняет рыба 72. Однако в модифицированном варианте осуществления было бы возможно обнаруживать также рыбу 74 и отыскивать наружного паразита рыбы, такого, как морские вши, на коже рыбы 74, постольку, поскольку она видна.
В одном варианте осуществления изобретения глубина фокуса съемочного аппарата 52 выбрана такой, что четкое изображение получается для всего силуэта рыбы 72. В модифицированном варианте осуществления, как показано на фиг.9, силуэт рыбы, распознаваемый детектором рыб, разделен на подзоны 88, которые отличаются по их расстоянию от съемочного аппарата 52. Расстояния в разных подзонах 88 рассчитывают на основе результата определения дальности, полученного из определяющего дальность детектора 54. Значения расстояний, полученных посредством различных детекторных элементов определяющего дальность детектора, отражают уже эффект углового рассогласования между геометрической осью 70 поля обзора и оптической осью съемочного аппарата в направлении дифферента. Кроме того, для каждой точки в пределах силуэта рыбы 72, вывод об эффекте углового рассогласования в горизонтальном направлении можно сделать исходя из положения пикселя на рыбе в поле 76 обзора. По выбору, можно внести в расстояние поправку на рельеф туловища рыбы в горизонтальном направлении, причем этот рельеф, по меньшей мере, приближенно известен для рассматриваемых видов рыб.
Затем, когда снимают серию изображений рыбы 72 (например, с частотой 4 Гц, как описано выше), фокус можно изменять от изображения к изображению таким образом, что произойдет соответственная адаптация фокуса к одной из подзон 88, показанных на фиг.9. Это позволяет получать с высоким разрешением изображения всех подзон 88 рыбы с уменьшенной глубиной фокуса и - соответственно - с уставкой диафрагмы съемочного аппарата, которая потребует меньшей интенсивности света при освещении.
Затем, когда снимают серию изображений рыбы 72 (например, с частотой 4 Гц, как описано выше), фокус можно изменять от изображения к изображению таким образом, что произойдет соответственная адаптация фокуса к одной из подзон 88, показанных на фиг.9. Это позволяет получать с высоким разрешением изображения всех подзон 88 рыбы с уменьшенной глубиной фокуса и - соответственно - с уставкой диафрагмы съемочного аппарата, которая потребует меньшей интенсивности света при освещении.
На фиг.10 показано нормализованное изображение рыбы 72, которое впоследствии предоставляется в детектор 86 наружных паразитов рыб. По выбору, это изображение может быть составлено из нескольких изображений подзон 88, захваченных с отличающимся фокусом съемочного аппарата. Далее, изображение, показанное на фиг.10 можно нормализовать по размеру, приводя его к некоторому стандартному размеру, что облегчает сравнение захваченного изображения рыбы с аннотированными изображениями.
Будет заметно, что изображение рыбы 72, распознанное и показанное на фиг.9, может подвергаться искажению (горизонтальному сжатию), если рыба ориентирована не под прямым углом к оптической оси съемочного аппарата. Процесс нормализации, приводящий к силуэту рыбы, показанному на фиг.10, может компенсировать это искажение.
Кроме того, на фиг.10 иллюстрируется предусматриваемый по выбору вариант осуществления, в котором силуэт рыбы разделен на разные области 90, 92 и 94—100. Области 90 и 92 позволяют системе обработки изображений устанавливать различия верхней стороны и нижней стороны, для чего, с одной стороны, с высоким разрешением будет цвет кожи рыбы, а с другой стороны, интенсивности и спектры освещения, обеспечиваемого верхней и нижней осветительными матрицами 22 и 24 будут отличающимися друг от друга. Знание области 90 или 92, где пиксель находится на рыбе, упрощает детектору 86 наружных паразитов рыб поиск характерных особенностей на контрасте между такими наружными паразитами рыб, как морские вши, и тканью рыбы.
Дополнительные области 94—100, показанные в этом примере, обозначают избранные анатомические особенности рыбы, которые коррелируют с характерными плотностями популяции таких наружных паразитов рыб, как морские вши разных видов, на рыбе. Те же самые анатомические области 94—100 также будут идентифицированы на аннотированных изображениях, используемых для машинного обучения. Это позволяет обучать или конфигурировать детектор наружных паразитов рыб таким образом, что уровни доверительной вероятности для обнаружения таких наружных паразитов рыб, как морские вши, адаптируются к области, обследуемой в данный момент.
Более того, когда детектор 86 наружных паразитов рыб эксплуатируют в режиме логических выводов, появляется возможность обеспечить отдельные статистики для разных областей 94—100 на рыбе, что может дать информацию, полезную для идентификации вида, пола и/или жизненной стадии таких наружных паразитов рыб, как морские вши, и/или степени заражения.
Аннотирование, обучение, валидация и тестирование
На фиг.11 показана блок-схема последовательности операций, детализирующая аннотирование изображений и обучение, валидацию и тестирование детекторов 84, 86 в пределах системы 78 обработки изображений. Процесс аннотирования и обучения начинается с получения изображений. Интерфейс 102 аннотаций дает людям возможность создавать множество аннотаций, которое, когда оно связано с соответствующими изображениями, дает корпус аннотированных изображений.
В предпочтительном варианте осуществления изобретения интерфейс аннотирования обменивается информацией с медиасервером, который подключен к хранилищу данных в базе 80 данных. Интерфейс аннотирования может быть на основе языка описания гипертекстовых документов (HTML), позволяя людям-аннотаторам загружать, просматривать и аннотировать изображения в пределах некоторого веб-браузера. Для каждого изображения аннотатор создает некоторый полигон, в котором заключена каждая явно видимая рыба, и ограничивающий прямоугольник, охватывающий любых таких наружных паразитов рыб, как морские вши, присутствующих на поверхности рыбы. В предпочтительном варианте интерфейс аннотирования также позволяет аннотатору создавать ограничивающие прямоугольники, охватывающие глаза рыбы (которые могут оказаться визуально аналогичными наружным паразитам рыб, таким, как морские вши). В предпочтительном варианте аннотатор также указывает вид, пол и жизненную стадию каждой вши.
Аннотации, созданные с помощью интерфейса 102 аннотаций, хранятся в базе 80 данных. При введении в базу данных и выборке из нее, аннотации для одиночного изображения сериализуются как объект JSON с указателем на связанное с ним изображение. Это упрощает усвоение аннотированного корпуса процедурой машинного обучения.
В предпочтительном варианте осуществления изобретения процедура машинного обучения предусматривает обучение нейронных сетей на корпусе аннотированных изображений. Как показано на фиг.11, аннотированные изображения можно разделить на три множества изображений. Первые два множества изображений используют для обучения и валидации нейронной сети. Конкретнее, первое множество изображений (например, приблизительно 80% аннотированных изображений) используют для итеративного регулирования весов в пределах нейронной сети. Периодически (т.е. после некоторого определенного количества дополнительных итераций) используют второе множество изображений (приблизительно 10% аннотированных изображений) для валидации детектора эволюции, защищающего от избыточного обучения (переобучения). Результатом процесса обучения и одновременной валидации является обученный детектор 84, 86. Третье множество изображений (например, приблизительно 10% аннотированных изображений) используют для тестирования обученного детектора. Процедура тестирования характеризует производительность обученного детектора, в результате чего получается множество метрик 104 производительности.
Как показано на фиг.11, весь процесс обучения, валидации и тестирования можно итерировать несколько раз как часть более широкого процесса проектирования нейронной сети до тех пор, пока не достигаются приемлемые метрики производительности. Как отмечалось выше, в предпочтительном варианте осуществления изобретения процесс согласно фиг.11 проводят, по меньшей мере, один раз, чтобы создать детектор 84 рыб, и, по меньшей мере, один раз, чтобы создать детектор 86 наружных паразитов рыб.
В альтернативных вариантах осуществления изобретения, чтобы повысить качество процесса обучения, валидации и тестирования, процедура машинного обучения включает в себя процесс аугментации данных для увеличения размера аннотированного корпуса. Например, применение таких методов аугментации, как накопление шума и перспективное преобразование аннотированного людьми корпуса, может увеличивать размер обучающего корпуса в 64 раза.
1. Система для мониторинга наружных паразитов рыб в аквакультуре, содержащая:
съемочный аппарат (52), выполненный с возможностью погружения в морскую ферму (40), выполненную с возможностью содержания рыб (72, 74), причем съемочный аппарат выполнен с возможностью захвата изображений рыб; и
электронную систему (78) обработки изображений, выполненную с возможностью идентификации наружных паразитов рыб на рыбах путем анализа захваченных изображений, отличающаяся тем, что она содержит:
определяющий дальность детектор (54), выполненный с возможностью обнаружения присутствия рыбы и измерения расстояния от упомянутого детектора до рыбы и установленный рядом со съемочным аппаратом (52); и
электронную систему (12) управления, выполненную с возможностью управления фокусом съемочного аппарата (52) на основе измеренного расстояния и с возможностью запуска съемочного аппарата (52), когда рыба обнаружена в пределах предварительно определенного диапазона расстояний, в котором указанное расстояние больше, чем расстояние, на котором типичная рыба перегораживает весь угол горизонтального обзора съемочного аппарата, и меньше, чем расстояние, на котором угловое разрешение съемочного аппарата больше не позволяет обнаружить наименьших наружных паразитов рыбы.
2. Система по п.1, отличающаяся тем, что определяющий дальность детектор (54) содержит:
светодиодный обнаруживающий и определяющий дальность блок, имеющий светодиодное излучающее оптическое средство (58) для излучения света; и
принимающее оптическое средство (60), выполненное с возможностью приема отраженного света и измерения времени прохождения принимаемого света.
3. Система по п.2, отличающаяся тем, что излучающее оптическое средство (58) выполнено с возможностью излучения света в форме веера, распространяющегося в расширенном угловом диапазоне в вертикальном направлении и коллимированного в горизонтальном направлении.
4. Система по п.3, отличающаяся тем, что принимающее оптическое средство (60) включает в себя множество детекторных элементов, имеющих смежные поля (66) обзора, совместно образующие вертикально ориентированный веер (68) восприятия, причем определяющий дальность детектор выполнен с возможностью измерения углов (β) пеленга, под которыми индивидуальные детекторные элементы обнаруживают отраженный свет.
5. Система по любому из предыдущих пунктов, отличающаяся тем, что электронная система (78) обработки изображений содержит детектор (84) рыб, выполненный с возможностью распознавания силуэта рыбы на захваченном изображении, и детектор (86) наружных паразитов рыб, выполненный с возможностью обнаружения наружных паразитов рыб в заданной области (90-100) в пределах силуэта рыбы (72).
6. Система по п.5, отличающаяся тем, что электронная система (78) обработки изображений содержит, по меньшей мере, одну нейронную сеть, составляющую детектор (84) рыб и/или детектор (86) наружных паразитов рыб.
7. Система по любому из предыдущих пунктов, отличающаяся тем, что она содержит узел (10) съемочного аппарата и осветительного оборудования, имеющий вертикальный опорный элемент (14), верхнюю стрелу (16), шарнирно сочлененную с верхним концом опорного элемента (14) и несущую верхнюю осветительную матрицу (22), нижнюю стрелу (18), шарнирно сочлененную с нижним концом опорного элемента (14) и несущую нижнюю осветительную матрицу (24), и кожух (20), крепящийся к опорному элементу и несущий съемочный аппарат (52) и определяющий дальность детектор (54), причем верхняя и нижняя осветительные матрицы (22, 24) выполнены с возможностью освещения - сверху и снизу - целевой области в пределах поля обзора съемочного аппарата (52).
8. Система по п.7, отличающаяся тем, что верхняя осветительная матрица (22) выполнена с возможностью излучения света с интенсивностью и/или спектральным составом, отличающимися от интенсивности и/или спектрального состава света, излучаемого нижней осветительной матрицей (24).
9. Система по п.8, отличающаяся тем, что верхняя осветительная матрица (22) содержит блок освещения вспышками, а нижняя осветительная матрица (24) содержит светодиодный блок освещения.
10. Система по любому из пп.7-9, отличающаяся тем, что она содержит датчик (56) положения, выполненный с возможностью обнаружения положения узла (10) съемочного аппарата и осветительного оборудования относительно морской фермы (40).
11. Система по любому из предыдущих пунктов, отличающаяся тем, что электронная система (12) управления выполнена с возможностью управления съемочным аппаратом (52) с целью адаптации к захвату некоторой последовательности изображений в течение длительного интервала времени, в котором определяющий дальность детектор (54) непрерывно обнаруживает рыб в пределах предварительно определенного диапазона расстояний.
12. Способ мониторинга наружных паразитов рыб в аквакультуре, отличающийся тем, что применяют систему по любому из предыдущих пунктов.
13. Способ мониторинга наружных паразитов рыб в аквакультуре, при котором:
погружают съемочный аппарат (52) в морскую ферму (40), содержащую рыбу (72, 74);
захватывают изображения рыбы (72, 74) с помощью съемочного аппарата (52); и
идентифицируют наружных паразитов рыб на рыбе (72, 74) путем анализа захваченных изображений, отличающийся тем, что:
эксплуатируют определяющий дальность детектор (54) для непрерывного мониторинга части морской фермы (40) с целью обнаружения присутствия рыбы в той части морской фермы и, когда рыба обнаружена, измерения расстояния от съемочного аппарата (52) до рыбы (72, 74); и,
когда рыба обнаружена, вычисляют уставку фокуса съемочного аппарата (52) на основе измеренного расстояния; и
запускают съемочный аппарат (52), когда обнаруженная рыба (72, 74) оказывается в пределах заранее определенного диапазона расстояний, в котором указанное расстояние больше, чем расстояние, на котором типичная рыба перегораживает весь угол горизонтального обзора съемочного аппарата, и меньше, чем расстояние, на котором угловое разрешение съемочного аппарата больше не позволяет обнаружить наименьших наружных паразитов рыбы.
14. Способ по п.12 или 13, отличающийся тем, что электронную систему (78) обработки изображений используют для обнаружения рыбы (72, 74) на изображении, захваченной съемочным аппаратом (52) и для обнаружения наружных паразитов рыб в пределах силуэта обнаруженной рыбы.
15. Способ по п.14, отличающийся тем, что определяющий дальность детектор (54) используют для измерения угла пеленга обнаруженной рыбы (72), и измеренный угол пеленга используют в системе (78) машинного зрения для поиска силуэта рыбы на захваченном изображении.
16. Способ по любому из пп.12-15, отличающийся тем, что целевую область, ограниченную полем обзора съемочного аппарата (52) и упомянутым предварительно определенным диапазоном расстояний, освещают сверху и снизу светом разных интенсивностей и/или спектральных составов.
17. Способ по п.16, отличающийся тем, что при обнаружении присутствия наружных паразитов рыб в заданном месте на рыбе осуществляют различение того, находится ли упомянутое заданное место в области (90) верхней стороны или области (92) нижней стороны рыбы.
18. Способ по любому из пп.12-17, отличающийся тем, что:
устанавливают различия между, по меньшей мере, двумя разными классами наружных паразитов рыб, которые отличаются по трудности распознавания наружных паразитов рыб;
вычисляют метрики качества для каждого захваченного изображения, причем метрики качества позволяют идентифицировать классы наружных паразитов рыб, для которых качество изображения оказывается достаточным для обнаружения наружных паразитов рыб; и
устанавливают отдельные показатели обнаружения для каждого класса наружных паразитов рыб, причем каждый показатель обнаружения основан только на изображениях, качество которых, описываемое метриками качества, оказалось достаточным для обнаружения наружных паразитов рыб того класса.
