Система мониторинга внешних паразитов рыб в аквакультуре
Система включает камеру (52), выполненную с возможностью погружения в морскую ферму (40), выполненную с возможностью содержания рыбы (72, 74). Камера выполнена с возможностью захвата изображений рыбы. Содержит электронную систему (78) обработки изображений, выполненную с возможностью идентификации внешних паразитов рыб на рыбе путем анализа захваченных изображений; и камеру и осветительную установку (10), имеющую вертикальный опорный элемент (14), верхнюю штангу (16), шарнирно соединенную с верхним концом опорного элемента (14) и несущую верхнюю осветительную решетку (22), нижнюю штангу (18), шарнирно соединенную с нижним концом опорного элемента (14) и несущую нижнюю осветительную решетку (24), и корпус (20), прикрепленный к опорному элементу и несущий камеру (52), причем верхняя и нижняя осветительные решетки (22, 24) выполнены с возможностью освещения целевой области сверху и снизу в поле обзора камеры (52). Группа изобретений обеспечивает автоматизированный подсчет морских вшей, а также возможность прогнозирования и предотвращения заражений рыб паразитами. 2 н. и 16 з.п. ф-лы, 12 ил.
Область техники
Изобретение относится к системе мониторинга внешних паразитов рыб, таких как морские вши, в аквакультуре, причем система включает в себя:
- камеру, подходящую для погружения в морскую ферму, подходящую для содержания рыбы, при этом камера позволяет захватывать изображения рыбы; и
- электронную систему обработки изображений, сконфигурированную для идентификации морских вшей на рыбе путем анализа захваченных изображений.
В данном описании термин "мониторинг" обозначает любые действия, обеспечивающие получение эмпирической основы, позволяющей определить, заражена ли данная популяция рыбы внешними паразитами. Термин "мониторинг" может также включать способ определения степени заражения рыбы внешними паразитами. Хотя мониторинг можно сочетать с мерами по удалению или уничтожению паразитов, сам по себе термин "мониторинг" не включает такие меры.
Уровень техники
Как люди и другие животные, рыбы страдают от болезней и паразитов. Паразиты могут быть внутренними (эндопаразиты) или внешними (эктопаразиты). Жабры рыб являются предпочтительной средой обитания многих внешних паразитов рыб, прикрепляющихся к жабрам, но живущим вне их. Наиболее распространенными являются моногенетические сосальщики и некоторые группы паразитических веслоногих ракообразных, которых может быть чрезвычайно много. Другими внешними паразитами рыб, обитающими на жабрах, являются пиявки, а в морской воде - личинки равноногих ракообразных, изопод. Паразиты рыб изоподы в основном внешние и питаются кровью. Личинки семейства Gnathiidae и взрослые cymothoidae имеют прокалывающие и сосущие части ротового аппарата и когтистые конечности, приспособленные для того, чтобы цепляться за хозяев. Cymothoa exigua являются паразитами разных морских рыб. Они вызывают атрофию языка рыб и занимают его место, что предположительно является первым обнаруженным случаем функциональной замены паразитом структуры хозяина у животных. К наиболее распространенным внешним паразитам рыб относятся так называемые морские вши.
Морские вши - это мелкие паразитические ракообразные (семейство Caligidae), которые питаются слизью, тканями и кровью морских рыб. Морская вошь (множественное число морские вши) является членом отряда Siphonostomatoida, Caligidae. В 37 родах насчитывается около 559 видов, в том числе примерно 162 вида Lepeophtheirus и 268 видов Caligus. Хотя морские вши присутствуют в диких популяциях лосося, заражение морскими вшами выращиваемых на фермах популяций лосося представляет особенно серьезную проблему. Для подавления инфекций разработаны несколько противопаразитарных препаратов. L. salmonis - крупнейшая морская вша в Норвегии. Caligus rogercresseyi стал основным паразитом на лососевых фермах в Чили.
Морские вши имеют как свободную (планктонную), так и паразитическую стадии жизни. Все стадии разделены линьками. Скорость развития L. salmonis от яйца до взрослого организма варьирует от 17 до 72 дней в зависимости от температуры. Из яиц вылупляется науплиус I, который после линьки образует организм второй науплиальной стадии; обе науплиальные стадии не питаются, получая энергию из запасов желтка, и приспособлены для плавания. Копеподитная стадия является инфекционной, и организм на этой стадии ищет подходящего хозяина, вероятно, с помощью хемо- и механосенсорной информации.
После прикрепления к хозяину организм на копеподитной стадии начинает питаться и развивается до первой стадии халимуса. Организмы на стадиях копеподов и халимусов имеют развитый желудочно-кишечный тракт и питаются слизью и тканями хозяина в участке прикрепления. Не совсем взрослые и взрослые морские вши, особенно икряные самки, являются агрессивными едоками, иногда питаясь кровью помимо тканей и слизи.
Время и издержки, затрачиваемые на уменьшение отрицательных последствий и смертности рыбы, увеличивают стоимость производства рыбы примерно на 0,2 евро/кг. Соответственно, морские вши являются основной проблемой современных лососевых фермеров, которые выделяют значительные ресурсы на предотвращение заражения и соблюдение правительственных постановлений, направленных на уменьшение воздействия на окружающую среду.
Как эффективное уменьшение последствий (например, по оценке необходимости и времени проведения вакцинации или химической обработки), так и соблюдение нормативных требований зависят от точного количественного определения внешних паразитов рыб, таких как популяции морских вшей, в рамках отдельных сельскохозяйственных операций. В настоящее время подсчет внешних паразитов рыб, таких как морские вши, является полностью ручным и, следовательно, длительным процессом. Например, в Норвегии еженедельно нужно проводить подсчеты и отправлять сообщения о них, что требует ежегодных непосредственных затрат в размере 24 млн. долл. США. Проблемой также является сомнительная достоверность статистических данных, основанных на ручном подсчете, когда подсчет внешних паразитов рыб, таких как взрослые самки вшей, в выборке из 10-20 седативных рыб экстраполируется для определения надлежащего лечения популяций численностью более 50000 рыб. Следовательно, часто имеет место и чрезмерное лечение, и недостаточное лечение.
В публикации WO 2017/068127 А1 описана система типа, указанного в вводной части пункта 1 формулы изобретения, предназначенная для автоматического и точного обнаружения и подсчета морских вшей в популяциях рыб.
Любая такая система, основанная на оптической визуализации, должна преодолевать несколько существенных проблем, связанных с морской средой и поведением животных.
- Оптическое искажение в результате градиента плотности. Турбулентное смешивание теплой и холодной воды или, особенно, соленой и пресной воды (например, внутри фьордов) создает небольшие изменения плотности, вызывающие оптическое искажение. Влияние на изображение предметов размером менее 1-3 мм (например, молодых вшей) является особенно сильным.
- Антипатия рыб к незнакомым источникам света. Рыба может проявлять реакцию испуга или более общую антипатию к источникам света незнакомых местоположений, интенсивностей или спектров. Искажение косяков рыб вокруг такого источника света, как правило, увеличивает типичное расстояние между сканером и рыбой, уменьшая эффективную резкость системы формирования изображения. В цитируемом документе эта проблема решается путем предоставления системы, обеспечивающей направление рыбы по траектории, желательной для формирования изображения.
- Отслеживание фокуса в высокодинамичных морских условиях. Коммерчески доступные системы фокусировки неэффективны в высокодинамичной среде, в которой большое количество быстро движущихся, возможных фокусируемых целей (то есть в стае плавающих рыб) одновременно присутствует в поле обзора.
Целью изобретения является разработка системы и способа для решения этой проблемы и обеспечения точных автоматических подсчетов с целью уменьшения количества человеческого труда, связанного с внешними паразитами рыб, такого как подсчет морских вшей, а также для обеспечения более эффективного прогнозирования и предотвращения вредных заражений.
Сущность изобретения
Система по настоящему изобретению, созданная для достижения указанной цели, характеризуется наличием камеры и осветительной установки, имеющей вертикальный опорный элемент, верхнюю штангу, шарнирно соединенную с верхним концом опорного элемента и несущую верхнюю осветительную решетку, нижнюю штангу, шарнирно соединенную с нижним концом опорного элемента и несущую нижнюю осветительную решетку, а также корпуса, прикрепленного к опорному элементу и несущего камеру, где верхняя и нижняя осветительные решетки сконфигурированы для освещения целевой области сверху и снизу в поле обзора камеры.
Камера и осветительное оборудование по настоящему изобретению просты в обращении и установке и обеспечивают гибкость в создании условий освещения, оптимизированных для заданных условий окружающей среды (таких как мутность воды) и вида рыбы, подлежащей мониторингу. Расположение источников света выше и ниже рыбы сводит к минимуму степень раздражения рыбы источниками света и позволяет обеспечить разные условия освещения для верхней и нижней сторон рыбы.
Учитывая, что рыба обладает инстинктивным отвращением к вытянутым объектам, которые проходят в горизонтальном направлении, оборудование имеет дополнительное преимущество, заключающееся в том, что она более вытянута в вертикальном направлении, чем в горизонтальном направлении, и, следовательно, снижает риск того, что рыбы будут ее избегать.
Более конкретные необязательные признаки изобретения указаны в зависимых пунктах формулы изобретения.
Предпочтительно система способна обнаруживать и классифицировать внешних паразитов рыб, таких как морские вши обоих полов, на разных стадиях жизни, таких как стадия прикрепленного организма, подвижного организма и яйцекладущего организма (например, неполовозрелая особь, молодая особь, взрослый самец, взрослая самка, несущая яйца, и взрослая самка, не несущая яйца).
Кроме того, система может стать основой интегрированной платформы поддержки принятия решений, улучшающей эксплуатационные показатели, здоровье животных и самодостаточное развитие аквакультуры в океане.
Краткое описание чертежей
Примеры вариантов осуществления далее описываются со ссылкой на чертежи, на которых:
фиг. 1 - вид сбоку камеры и осветительного оборудования в соответствии с предпочтительным вариантом осуществления изобретения;
фиг. 2 - вид морской фермы с закрепленным на ней оборудованием согласно фиг. 1;
фиг. 3 - вид спереди камеры и осветительного оборудования;
фиг. 4 - вид сбоку углового поля обзора дальномерного детектора, установленного на оборудовании, и вид сбоку осветительного оборудования;
фиг. 5 и 6 - схемы, иллюстрирующие результаты, полученные с помощью дальномерного детектора;
фиг. 7-10 - кадры изображения, иллюстрирующие несколько этапов процедуры получения изображения и его анализа;
фиг. 11 - блок-схема, подробно описывающая процесс аннотирования изображений, а также обучение, валидацию и тестирование детектора внешних паразитов рыб в электронной системе обработки изображений (компьютерная видеосистема) в соответствии с вариантом осуществления изобретения; и
фиг. 12 - блок-схема, подробно описывающая работу детектора внешних паразитов рыб в режиме инференции.
Подробное описание изобретения
Система получения изображения
Как показано на фиг. 1, система получения изображения включает камеру и осветительную установку 10, а также систему 12 контролирования камеры и освещения, обеспечивающую автоматическое получение высококачественных изображений рыбы.
Камера и осветительная установка 10 содержат вертикальный опорный элемент 14, верхнюю штангу 16, нижнюю штангу 18, корпус 20 камеры, верхнюю осветительную решетку 22 и нижнюю осветительную решетку 24. Корпус 20 камеры прикреплен к вертикальному опорному элементу 14 и предпочтительно регулируется по высоте. Вертикальное положение камеры предпочтительно такое, что поле обзора камеры, по меньшей мере, частично (предпочтительно в основном или полностью) покрыто конусами освещения верхней и нижней осветительных решеток 22, 24. Кроме того, предпочтительно присутствует значительное угловое смещение между центральной линией поля обзора камеры и осевыми линиями конусов освещения. Это минимизирует количество света, рассеянного обратно (частицами, присутствующими в воде) в камеру, максимизируя (относительно) количество света, возвращаемого от рыбьей ткани. В показанной установке камера может быть закреплена на высоте, составляющей от 1/4 до 3/4 длины вертикального опорного элемента, измеряемой от воздуходувного конца опорного элемента 14.
Верхняя штанга 16 и нижняя штанга 18 соединяются с элементом вертикальной опоры 14 посредством локтевых шарниров 26 и 28, соответственно, которые обеспечивают угловое присоединение верхней штанги и нижней штанги относительно вертикальной опорного элемента. Верхняя осветительная решетка 22 и нижняя осветительная решетка 24 соединены с верхней штангой и нижней штангой посредством поворотных шарниров 30 и 32, соответственно, которые обеспечивают угловое присоединение верхней осветительной решетки и нижней осветительной решетки относительно верхней штанги и нижней штанги.
В показанном примере подвесные канаты 34 обеспечивают бифилярную подвеску камеры и осветительной установки 10. Подвесные канаты позволяют контролировать положение установки по азимуту и могут прикрепляться к кронштейну 36 в разных положениях, тем самым поддерживая установку в равновесии при заданной конфигурации штанг 16 и 18. Это позволяет точно регулировать ориентацию (то есть угол наклона) камеры и осветительной установки, как центр массы камеры и центры осветительной установки, ниже точки крепления.
Предпочтительно по кабельному каналу 38 передаются все данные и мощность, необходимая для верхней осветительной решетки, нижней осветительной решетки и корпуса камеры, между камерой и осветительной установкой и системой 12 контролирования камеры и освещения.
На фиг. 2 показана схема камеры и осветительной установки 10, погруженных в морскую ферму 40. Показанный пример морской фермы окружен мостками 42, от которых тянутся вверх вертикальные опорные элементы 44. Натянутые тросы 46 пролегают между опорными элементами. Подвесные канаты 34 могут прикрепляться к натянутым тросам 46 для обеспечения вставки камеры и осветительной установки 10 в морскую ферму и извлечения их, а также для контроля горизонтального положения установки относительно мостков 42.
Следует отметить, однако, что морская ферма также может иметь форму, отличную от показанной на фиг. 2.
Удлинение поддерживающих кабелей и тросов также позволяет регулировать глубину камеры и осветительной установки ниже поверхности воды. Предпочтительно камеру и осветительную установку размещают на такой глубине, чтобы корпус 20 камеры был ниже поверхностных слоев смешения, где турбулентное смешивание теплой и холодной воды или соленой и пресной воды является наиболее выраженным. Это дополнительно уменьшает оптические искажения, связанные с градиентами плотности. Требуемая глубина варьирует в зависимости от местоположения и времени года, однако обычно предпочтительная глубина составляет 2-3 м.
Как показано на фиг. 3, верхняя осветительная решетка 22 и нижняя осветительная решетка 24 содержат горизонтальные элементы 48, которые поддерживают один или несколько осветительных элементов 50, входящих в состав осветительной решетки вдоль ее длины. В варианте осуществления, показанном на фиг. 3, каждая из верхней осветительной решетки и нижней осветительной решетки содержит два осветительных элемента 50, однако может использоваться разное количество осветительных элементов. Горизонтальные элементы 48 соединены с верхней штангой и нижней штангой посредством шарнирных соединений 30, 32.
Локтевые шарниры 26, 28, соединяющие вертикальный опорный элемент 14 с верхней штангой 16 и нижней штангой 18, и поворотные шарниры 30, 32, соединяющие верхнюю штангу и нижнюю штангу с горизонтальными элементами 48, вместе обеспечивают независимую регулировку:
- горизонтального смещения корпуса 20 камеры относительно верхней осветительной решетки 22,
- горизонтального смещения корпуса 20 камеры относительно нижней осветительной решетки 24,
- угловой ориентации осветительных элементов 50, входящих в состав верхней осветительной решетки 22, и
- угловой ориентации осветительных элементов 50, входящих в состав нижней осветительной решетки 24.
Как правило, верхнюю осветительную решетку и нижнюю осветительную решетку располагают относительно корпуса камеры так, чтобы обеспечить адекватное освещение в целевом участке для отображения внешних паразитов на рыбах, например, с целью выявления морских вшей. Продольно-вертикальный дизайн и конфигурация камеры и осветительной установки 10 максимально увеличивают вероятность того, что рыба (проявляющая отвращение к длинным горизонтально ориентированным объектам) будет плавать в непосредственной близости от корпуса камеры. Кроме того, отдельные и независимо регулируемые верхняя осветительная решетка и нижняя осветительная решетка обеспечивают схемы освещения, специально предназначенные для решения проблем освещения, характерных только для рыб, как более подробно обсуждается ниже.
Корпус 20 камеры, который показан на виде спереди на фиг. 3, включает камеру 52, дальномерный детектор 54, например, модуль, обеспечивающий светозависимую детекцию времени прохождения и измерение расстояния, и модуль 56 выявления положения, включающий, например, магнитометр и инерциальный измерительный блок (IMU) или другие известные системы выявления положения.
Камера предпочтительно представляет собой имеющуюся в продаже цифровую камеру с высокочувствительным датчиком с низким уровнем шума, способную снимать четкие изображения быстро движущихся рыб при относительно слабом освещении. В предпочтительном варианте осуществления изобретения используют камеру Raytrix C42i, обеспечивающую горизонтальное поле обзора примерно на 60° и вертикальное поле обзора примерно на 45°. Конечно, в качестве альтернативы можно использовать любую другую камеру с аналогичными характеристиками (включая фокус с электронной регуляцией).
Дальномерный детектор 54 используют для определения расстояния до рыбы и вид рыбы, плавающей в поле обзора камеры 52. Детектор содержит излучающие оптические средства 58 и принимающие оптические средства 60. Излучающие оптические средства 58 продуцируют веер света, ориентированный в вертикальном направлении, но предпочтительно коллимированный в горизонтальном направлении. То есть, веер расходится в продольной плоскости, параллельной вертикальному опорному элементу, но относительно мало расходится по повороту относительно оси, перпендикулярной вертикальному опорному элементу.
Принимающие оптические средства 60 включают массив светочувствительных элементов, каждый из которых детектирует свет, падающий из угла приема, охватывающего, по меньшей мере, часть вертикального поля обзора камеры. Углы смежных детекторных элементов прилегают друг к другу по высоте, создавая общий приемный веер, который полностью покрывает вертикальное поле обзора. Ориентацию и конфигурацию излучающих и приемных оптических средств оптимизируют для выявления и определения местоположения тел рыб (которые обычно имеют высокое отношение длины и ширины), плавающих параллельно горизонтальной поверхности воды.
Предпочтительно дальномерный детектор 54 работает на длине волны света, обеспечивающей эффективное пропускание в воде. Например, для обеспечения эффективного пропускания в морской воде можно использовать синий свет или зеленый свет. В предпочтительном варианте осуществления изобретения дальномерный детектор представляет собой детектор LEDDAR®, такой как LeddarTech M16, излучающий и принимающий свет при 465 нм. Разумеется, изобретение не ограничивается указанным вариантом осуществления дальномерного детектора.
Кроме того, в предпочтительном варианте осуществления изобретения веер света, генерируемый излучающими оптическими средствами, расходится примерно на 45° в продольной плоскости, эффективно перекрывая вертикальное поле обзора камеры, и расходится примерно на 7,5° по повороту относительно перпендикулярной оси. Принимающие оптические средства 60 включают массив из 16 детекторных элементов, каждый из которых имеет поле обзора, охватывающее примерно 3° наклона в продольной плоскости и примерно 7,5° по повороту относительно перпендикулярной оси. Разумеется, количество детекторных элементов может быть меньше или больше 16, но предпочтительно не меньше 4. Предпочтительно и веер освещения, и веер приемки расположены горизонтально по центру в пределах поля обзора камеры, гарантируя, что обнаруженная рыба полностью захватывается камерой.
Также можно использовать системы с двумя или более дальномерными детекторами. Например, веер может располагаться "выше" (в зависимости от преобладающего направления плавания рыбы) центральной линии, чтобы обеспечить "предварительное предупреждение" о рыбе, попадающей в кадр. Аналогичным образом, данный элемент может размещаться ниже, чтобы подтвердить, что рыба покидает кадр.
IMU в модуле 56 выявления положения включает датчик поворачивания экрана и гироскоп, например, подобные тем, которые можно найти в коммерчески доступных смартфонах. В предпочтительном варианте осуществления изобретения магнитометр и IMU размещены на одной плате с печатной схемой внутри корпуса 20 камеры. В совокупности IMU и магнитометр измеряют ориентацию корпуса камеры (и, следовательно, изображения, получаемые камерой) относительно поверхности воды и морской фермы. Поскольку рыбы обычно плавают параллельно поверхности воды и вдоль краев морской фермы, эту информацию можно использовать для информирования системы компьютерного обзора об ожидаемой ориентации рыбы в полученных изображениях.
Верхняя осветительная решетка 22 и нижняя осветительная решетка 24 могут включать в себя один или несколько источников света разных типов (например, лампы накаливания, газоразрядные лампы или светодиодные лампы), излучающих свет на любом числе длин волн. Предпочтительно, конкретные типы источников света выбирают так, чтобы обеспечить достаточную цветовую информацию (то есть достаточно широкий спектр излучения) по внешним паразитам рыб, чтобы внешние паразиты рыб, такие как морские вши, в достаточной степени контрастировали с тканями рыб. Кроме того, типы и интенсивность источников света в верхней и нижней осветительных решетках предпочтительно выбирают так, чтобы обеспечить относительно равномерную интенсивность света, отраженного на камеру, несмотря на то, что тела рыб обычно заметно затенены.
В предложенном здесь варианте осуществления верхняя осветительная решетка 22 содержит пару светодиодных ламп. Нижняя осветительная решетка 24 содержит пару светодиодных ламп, каждая из которых содержит микросхему, содержащую 128 белых светодиодных матриц. Такая гибридная система освещения обеспечивает больший диапазон интенсивности освещения, чем система с одним типом освещения. А именно, трубчатые импульсные лампы обеспечивают короткое, но интенсивное освещение (примерно 3400 лк) сверху рыбы, синхронизированное с функционированием фотозатвора. Это обеспечивает достаточное отражение света на камеру от обычно темных, характеризующихся высокой степенью поглощения верхних поверхностей рыбы. (Для этого требуется большая интенсивность света, чем интенсивность, которую может обеспечить светодиодная подсветка нижней осветительной решетки). Соответственно, светодиодные лампы обеспечивают достаточную интенсивность освещения для обычно светлых, характеризующихся высокой степенью отражения нижних поверхностей рыбы. (Для этого требуется более низкая интенсивность, чем интенсивность, которую могут обеспечить ксеноновые импульсные лампы верхней осветительной решетки). Полученный в результате равномерно яркий свет, отраженный от рыбы, позволяет камере работать с относительно низкой чувствительностью (например, ниже ISO 3200), обеспечивая изображения с низким уровнем шума для системы компьютерного обзора. И наконец, как ксеноновые импульсные лампы, так и светодиодные лампы обеспечивают достаточно широкий спектр, позволяющий отличать внешних паразитов рыб, таких как морские вши, от тканей рыб.
Как описано выше, верхняя осветительная решетка 22 и нижняя осветительная решетка 24 расположены так, чтобы обеспечить желаемое освещение в целевой области. Целевая область определяется вертикальным полем обзора камеры и ближними и дальними границами вдоль оси камеры. Расстояние от камеры до ближайшей границы равно (a) наименьшему достижимому расстоянию фокусировки камеры и (b) расстоянию, на котором типичная рыба занимает весь горизонтальный угол обзора камеры. Расстояние от камеры до дальней границы представляет собой расстояние, на котором угловое разрешение камеры уже не позволяет различать самых маленьких внешних паразитов рыб, таких как морские вши, подлежащих выявления. Ближняя граница "a" и дальняя граница "b" показаны на фиг. 4.
Каждый из источников света в верхней и нижней осветительной решетке обеспечивает в целом осесимметричный рисунок освещения. Поскольку в каждом массиве присутствует несколько источников света по длине горизонтальных элементов, рисунок освещения можно эффективно охарактеризовать угловым диапазоном в плоскости продольного движения. Длину вертикального опорного элемента 14, угловое положение верхней штанги 16 и нижней штанги 18, угловую ориентацию верхней осветительной решетки 22 и нижней осветительной решетки 24 предпочтительно регулируют таким образом, чтобы угловой диапазон верхней осветительной решетки и нижней осветительной решетки эффективно покрывал целевую область. Расстояние от камеры до "зоны наилучшего восприятия" зависит от размера рыбы, подлежащей мониторингу, и может находиться в диапазоне, например, от 200 мм до 2000 мм. Например, в случае лосося подходящее значение может составлять примерно 500 мм.
На практике интенсивность освещения, обеспечиваемая верхней осветительной решеткой и нижней осветительной решеткой, не является полностью равномерной по угловому диапазону. Однако вышеупомянутый подход гарантирует, что целевая область получает приемлемое количество освещения. При использовании данного подхода "зона наилучшего восприятия" находится на небольшом расстоянии от ближней границы, где угол освещения между верхней осветительной решеткой, нижней осветительной решеткой и камерой является оптимальным. Это позволяет получать хорошо освещенные изображения, а также обеспечивает лучшее угловое разрешение, которое можно достичь с помощью данной камеры, и минимизирует недостатки, связанные с искажением градиента плотности.
Пример осветительной установки с подходящими конфигурацией и размерами далее описывается со ссылкой на фиг. 4, на которой показана конкретная геометрия камеры и осветительной установки в соответствии с предпочтительным вариантом осуществления изобретения, при условии, что средняя длина рыба, подлежащей мониторингу, составляет 80 см. Локтевые шарниры 26, 28 регулируют таким образом, чтобы горизонтальное смещение HO1 и HO2, соответственно, между корпусом камеры (а именно, плоскостью датчика внутри камеры) и верхней решеткой освещения и нижней решеткой освещения составляло примерно 33 см и 21 см соответственно. В единицах средней длины рыбы подходящие значения могут составлять 0,41±0,04 и 0,26±0,03 соответственно. Указанные угловые положения верхней штанги 16 и нижней штанги 18 соответственно также обеспечивают вертикальные смещения VO1=71 см и VO2=52 см между корпусом камеры и верхней осветительной решеткой и нижней осветительной решеткой соответственно. В единицах средней длины рыбы подходящие значения могут составлять 0,89±0,09 и 0,65±0,07, соответственно. Поворотные шарниры 30, 32 регулируют таким образом, чтобы верхняя осветительная решетка была наклонена под углом α1 63° (±10%) ниже горизонтали, а нижняя осветительная решетка была наклонена под углом α2 47° (±10%) выше горизонтали. Как отмечено выше, вертикальное поле обзора γ камеры в предпочтительном варианте осуществления составляет примерно 45° (±10%). Угловой диапазон верхней осветительной решетки и нижней осветительной решетки составляют примерно δ1=62° (±10%) и δ2=60° (±10%) соответственно. (Для специалиста в данной области должно быть очевидно, что такие измерения угловых диапазонов приблизительны, поскольку падение интенсивности света на краю угловых диапазонов является постепенным). Поле обзора и угловые диапазоны объединяют, чтобы создать целевую область с близко расположенным NB примерно в 30 см от корпуса камеры и далеко расположенным FB, примерно в 10 см от корпуса камеры. Это дает целевую область TR примерно 80 см глубиной, с зоной наилучшего восприятия SP (примерно соответствующей половине целевой области) глубиной примерно 40 см. Ширина и длина целевой области составляют примерно 80 см.
Можно использовать большое разнообразие других геометрических параметров камеры и освещения, не отступая от объема изобретения. В частности, камера и осветительная установка могут быть сконструированы и расположены в направлении, отличном от вертикальной ориентации, показанной на фиг. 1. Например, камера и осветительная установка могут быть ориентированы горизонтально, параллельно поверхности воды. Камера и осветительная установка также могут быть сконструированы для поддержания одной или нескольких камер в фиксированных положениях (относительно целевой области), отличных от показанных на фиг. 1. Кроме того, некоторые варианты осуществления изобретения могут включать в себя несколько камер и осветительных установок, например, две камеры и осветительные установки, симметрично расположенные спереди и сзади от целевой области, что позволяет одновременно получать изображения одной рыбы с обеих сторон.
Система контролирования камеры и освещения
Система 12 контролирования камеры и освещения управляет работой системы получения изображения. Система контролирования камеры и освещения:
- получает и анализирует данные дальномерного детектора 54 для определения подходящего фокусного расстояния камеры,
- управляет фокусировкой камеры и затвором,
- управляет синхронизацией освещения верхней осветительной решетки 22 и нижней осветительной решетки 24 относительно затвора камеры 52, и
- получает, анализирует и хранит данные изображения и метаданные изображения, включая детектор дальности, магнитометр и измерения IMU.
В настоящем варианте осуществления система 12 контролирования камеры и освещения включает компьютер 62 и регулятор 64 мощности, которые находятся в сухом месте (например, на мостках 42), физически близко к камере и осветительной установке 10. В альтернативном варианте осуществления по меньшей мере часть работы системы контролирования камеры и освещения, осуществляемая компьютером, проводится с помощью системы, погруженной ниже поверхности воды (например, установленной на вертикальный опорный элемент 14 или встроенной в корпус камеры). Обычно компьютер 62 включает в себя драйверы устройств для каждого датчика в камере и осветительной установке 10. В частности, компьютер включает в себя драйверы устройств для камеры 52, дальномерного детектора 54, а также магнитометра и IMU модуля 56 выявления положения. Драйверы устройств позволяют компьютеру получать данные измерений и отправлять командные данные на соответствующие датчики. В предпочтительном варианте осуществления данные измерений и командные данные передаются между устройствами и процессами, работающими на компьютере, в виде сообщений в роботизированной операционной системе (ROS). Данные с датчиков (включая дальномерный детектор) поступают с частотой 10 Гц, а измерения с магнитометра и IMU поступают с частотой 100 Гц. Каждое из сообщений записывается на диск компьютера.
Компьютер 62 подает управляющие сигналы на регулятор 64 мощности и необязательно принимает диагностические данные от регулятора мощности. Регулятор мощности подает питание по кабелю 38 на верхнюю осветительную решетку 22 и нижнюю осветительную решетку 24. В предпочтительном варианте осуществления регулятор мощности получает питание переменным током 220 В, который может передаваться непосредственно в зарядное устройство для конденсаторной батареи для ксеноновых импульсных ламп в верхней осветительной решетке 22 (при срабатывании). Регулятор мощности передает энергию в подводную распределительную коробку (не показана), которая преобразует мощность переменного тока в мощность постоянного тока (например, 36 V или 72 V) для светодиодных ламп верхней осветительной решетки 24.
Процесс вычисления фокуса, выполняемый компьютером 62, непрерывно отслеживает результаты измерения дальности, чтобы обнаружить присутствие рыб и определить расстояние до них в целевой области. Результаты измерения дальности состоят из одного или нескольких расстояний для каждого детекторного элемента, от которого свет отражается обратно к элементу детектора вследствие угла приема внутри приемного веера.
На фиг. 4 показан вид сбоку угловых полей обзора 66 детекторных элементов в приемной оптических средствах 60 в дальномерном приемном веере 68. Как описано выше, углы приема соседних детекторов примыкают друг к другу по вертикальному направлению, образуя приемный веер. На фиг. 4 показан массив из 16 детекторов, каждый из которых имеет поле обзора, простирающееся вдоль примерно на 3°.
На фиг. 4 показаны средние углы наклона детекторов в дальномерном приемном веере 68. Каждый средний угол наклона показан центральной линией 70, разделяющей поле обзора 66 соответствующего детектора. Средний угол наклона представляет собой угол между биссекторной центральной линией 70 и центральной линией приемного веера 68 в целом, который обычно параллелен оптической оси камеры 52.
На фиг. 4 также показан вид сбоку расстояний и средних углов наклона для нескольких детекторных элементов, окклюдированных рыбой 72, 74 в дальномерном приемном веере 68. Обычно процесс вычисления фокуса обнаруживает рыбу, если несколько соседних детекторных элементов сообщают об одинаковых расстояниях. В предпочтительном варианте осуществления изобретения рыбу обнаруживают, когда М или более соседних детекторных элементов сообщают об одинаковых расстояниях di. Число М может находиться в диапазоне от 1 до 1/2 от общего числа детекторов (т.е. в данном примере оно равно 8). А именно, процесс вычисления фокуса ищет смежные множества из M или более соседних расстояний di, для которых [max(di)-min(di)]≤W. M и W - это параметры, которые могут настраиваться оператором системы получения изображения, где W обозначает максимально допустимую толщину, примерно соответствующую половине толщины самой большой рыбы, подлежащей выявления. В зависимости от размера или возраста рыбы параметры M и W оптимизируются для каждой системы или фермы. Для каждой такой выявления при расчете фокуса вычисляют среднее расстояние
D=(1/M) ∑1Mdi
и среднюю несущую
β=(1/M) ∑1Mβi
где βi обозначает средние углы наклона каждого из соседних детекторных элементов. Затем процесс вычисления фокуса возвращает фокусное расстояние Df=D×cosβ, которое представляет собой расстояние от камеры до рекомендуемой плоскости фокуса вдоль оптической оси камеры.
Несколько расстояний могут измеряться одним детектором вследствие рассеянных частиц в воде или объекте (например, рыбе), который противолежит только части угла приема детектора. В практическом варианте осуществления в тех случаях, когда один детектор измеряет несколько расстояний, при расчете фокуса используется самое дальнее расстояние. Это сводит к минимуму число ложных результатов выявления, обусловленных наличием частицами в воде. В случае, когда несколько расстояний фактически связаны с двумя рыбами, одна из которых перекрывает только часть угла приема детектора, вполне вероятно, что соседние детекторы все же успешно обнаружат частично перекрытую рыбу.
Информацию о присутствии рыбы и расстоянии до нее, определяемую процессом вычисления фокуса, можно использовать для управления получением изображения с камеры. Например, изображения могут быть получены только тогда, когда рыба обнаружена на заданном расстоянии от "зоны наилучшего восприятия", обеспечивающем оптимальное освещение. Например, если "зона наилучшего восприятия" находится на расстоянии 500 мм, изображения могут быть получены только тогда, когда рыба обнаружена на расстоянии от 300 до 1100 мм. Всякий раз после снятия изображений система управления камерой и освещением устанавливает фокусное расстояние камеры на самое последнее значение диапазона, определенное в процессе вычисления фокуса.
В предпочтительном варианте осуществления изобретения система управления камерой и освещением непрерывно инициирует периодическое получение изображений камерой, например, с частотой 4 Гц или, в более общем случае, с частотой от 2 до 10 Гц. Процесс расчета фокуса непрерывно и периодически (например, при 10 Гц или, в более общем случае, при 4-20 Гц) сообщает текущее фокусное расстояние на основе самых последних результатов выявления рыбы и расстояния до нее, а система управления камерой и освещением устанавливает фокусное расстояние камеры на последнее доступное фокусное расстояние.
Когда затвор камеры открывается, камера отправляет сигнал синхронизации в систему управления камерой и освещением 12, который передается в регулятор 64 мощности управления питанием. Регулятор мощности включает верхнюю осветительную решетку 22 и нижнюю осветительную решетку 24, синхронно с затвором, чтобы обеспечить правильное освещение снятого изображения. В вариантах осуществления изобретения, где источники света в верхней или нижней решетке не способны поддерживать рабочий цикл, адекватный камере (например, ксеноновые импульсные лампы в предпочтительном варианте осуществления изобретения), регулятор мощности может также включить процесс подавления освещения, который постоянно оценивает, должен ли регулятор мощности включать верхнюю осветительную решетку и нижнюю осветительную решетку. В предпочтительном варианте осуществления изобретения освещение блокируется, либо (a) если история срабатывания ксеноновых импульсных ламп в верхней осветительной решетке приближается к своему тепловому пределу, либо (b) если процесс расчета фокуса не обнаруживает рыбу в последнее время и не сообщает обновленное расстояние до нее.
В предпочтительном варианте осуществления изобретения менее интенсивные светодиодные лампы в нижней осветительной решетке освещают в течение всего времени экспонирования камеры. Продолжительность экспонирования устанавливают на минимальную длительность, необходимую для обеспечения достаточного освещения светодиодными лампами. Продолжительность вспышки ксеноновых импульсных ламп в верхней осветительной решетке регулируется так, чтобы обеспечить сбалансированное освещение с учетом защитной окраски типичной рыбы.
Интенсивность освещения светодиодными лампами в нижней осветительной решетке предпочтительно достаточно велика, чтобы обеспечить достаточно короткую экспозицию и приемлемо низкое размытие снятых изображений при движении плавающих рыб. В предпочтительном варианте осуществления изобретения датчик внутри камеры (в частности, его количество пикселей), оптические средства камеры (в частности, угловой диапазон поля обзора) и расстояние до целевой области выбирают так, чтобы гарантировать, что (a) полная рыба может улавливаться в поле обзора камеры, и, кроме того, (b) могут быть получены изображения даже молодых внешних паразитов рыб, таких как молодые морские вши, с адекватным разрешением. Предоставление 10 пикселей на каждые 2 мм (что сравнимо с размером молодых морских вшей) на целевом расстоянии, на котором горизонтальное поле обзора камеры в 60° охватывает ширину типичной взрослой рыбы, требует углового расстояния между пикселями 7,6×10-3° на пиксель. Для рыб, плавающих с типичной скоростью 0,2 м/с, субпиксельная размытость из-за движения наблюдается при выдержке затвора менее 0,6×10-3 с. Для доставки адекватного изображения с низким уровнем шума в систему машинного обзора предпочтительно использовать коэффициент усиления датчика менее ISO 3200. Это, в свою очередь, требует освещения примерно 3000 люкс в целевой области.
На фиг. 5 показаны результаты, которые были бы получены с помощью дальномерного детектора 54 в ситуации, изображенной на фиг. 4. Показаны результаты выявления, полученные с помощью детекторных элементов с полями обзора, имеющими центральные линии в диапазоне от +6° до -15°. Каждая черная точка на фиг. 5 обозначает событие выявления, когда отраженный свет принимается соответствующим детекторным элементом. Положение точки в направлении оси d представляет расстояние обнаруженного объекта, рассчитанное по времени прохождения светового сигнала от излучающего оптического средства 58 до объекта и обратно до принимающего оптического средства 60.
Как описано ранее, рыбы 72 и 74 представлены детекцией на примерно одинаковом расстоянии d1 и d2, соответственно, для ряда соседних детекторов. Для каждого отдельного детектора расстояние до рыбы является самым большим среди расстояний, измеренных этим детектором. Точки на меньших расстояниях обозначают шум, вызванный мелкими частицами в приемном веере.
В ситуации, показанной на фиг. 4 и 5, рыба 74 частично скрыта рыбой 72, так что изображение всего силуэта рыбы может быть получено только для рыбы 72 на меньшем расстоянии d1. Следовательно, фокус камеры будет настроен на расстояние d1.
На фиг. 6 показана временная диаграмма, иллюстрирующая детектирование на расстоянии d1 как функцию от времени t. Можно видеть, что результаты выявления, полученные от рыбы 72, для углов β в диапазоне от -3° до -15°, являются стабильнымм в течение продолжительного периода времени, соответствующего времени, которое требуется рыбе для проплывания через приемный веер 68. Следовательно, шум также может быть отфильтрован, если требуется, чтобы детекция была стабильной в течение определенного минимального интервала времени, или, что эквивалентно, путем интегрирования сигнала, полученного от каждого детекторного элемента, в течение определенного периода времени с последующим установлением порога результата интегрирования.
В принципе, история выявления типа, показанного на фиг. 6, может также использоваться для оптимизации временного интервала, в котором камера 52 делает последовательность изображений, чтобы гарантировать, что, с одной стороны, количество изображений не становится необоснованно большим и, с другой стороны, эта последовательность изображений включает в себя, по меньшей мере, одно изображение, на котором вся рыба находится в поле обзора камеры. Например, как показано на фиг. 6, таймер может быть запущен в момент времени t1, когда определенное количество соседних детекторных элементов (три) обнаруживает объект, который может быть рыбой. Затем камера может быть запущена с определенной задержкой, в момент времени t2, чтобы начать делать последовательность снимков, причем последовательность будет остановлена самое позднее в момент времени t3, когда детекторные элементы указывают, что хвостовой конец рыбы покидает приемный веер.
На фиг. 7 показано поле обзора 76 камеры в момент времени t1, указанный на фиг. 6, когда нос рыбы 72 только пересекает приемный веер 68.
На фиг. 8 показано изображение, снятое камерой 52, в момент времени, несколько более поздний, чем t2 на фиг. 6, когда весь силуэт рыбы 72 находится в поле обзора 76. В этот момент из результатов выявления детекторных элементов при β=от -3° до -15°, показанных на фиг. 5, можно сделать вывод, что центральная линия рыбы будет находиться под углом β=-9°, как показано на фиг. 8. Эта информация может передаваться в систему обработки изображений и может помочь распознать контур рыбы на снятом изображении.
Возвращаясь к фиг. 1, можно видеть, что компьютер 62 системы управления камерой и освещением 12 соединен с системой 78 обработки изображений, которая имеет доступ к базе 80 данных через систему 82. управления данными
Система управления данными
Автоматизированная система выявления и подсчета внешних паразитов рыб, таких как морские вши, также включает в себя систему 82 управления данными, которая включает в себя интерфейсы, поддерживающие сбор, хранение, поиск, извлечение и распространение данных изображений, метаданных изображений, аннотаций изображений и результатов выявления, полученных с помощью системы 78 обработки изображений.
Хранилище данных
Система 82 управления данными получает изображения от системы получения изображений, например, в форме пакетов ROS. Система управления данными распаковывает каждый пакет, например, в изображение JPEG или PNG и метаданные JSON (JavaScript Object Notation). Каждое из изображений JPEG хранится в хранилище данных.
База данных
Метаданные JSON, распакованные из каждого пакета ROS, хранятся в базе 80 данных, связанной с хранилищем данных. Как правило, метаданные описывают параметры получения соответствующего изображения JPEG или PNG. Например, метаданные включают в себя указание местоположения центроидного пикселя в силуэте рыбы (например, пикселя, центрированного по горизонтали на изображении, вдоль центральной линии рыбы), обнаруженного блоком LEDDAR. Это местоположение пикселя может необязательно использоваться системой обработки изображений (более подробно описанной ниже) для облегчения обнаружения рыбы в изображении.
База 80 данных также хранит данные аннотаций, созданные во время процесса аннотирования, для обучения системы 78 обработки изображений (более подробно описанной ниже). База данных также хранит информацию, характеризующую местоположение, размер и тип рыбы и внешних паразитов рыб, таких как морские вши, обнаруженных системой компьютерного обзора. Наконец, база данных хранит учетные данные аутентификации, позволяющие пользователям входить в разные интерфейсы (например, интерфейс аннотации или интерфейс конечного пользователя) через модуль аутентификации.
Система обработки изображений
В определенном варианте осуществления изобретение использует систему 78 обработки изображений для выполнения задачи выявления внешних паразитов рыб, таких как морские вши. В предпочтительном варианте осуществления изобретения отдельные нейронные сети обучаются для обслуживания детектора 84 рыб и детектора 86 внешних паразитов рыб. Детектор 84 рыб сначала обнаруживает отдельных рыб в изображениях, полученных системой получения изображений. Затем детектор 86 внешних паразитов рыб обнаруживает отдельных внешних паразитов рыб, таких как морские вши (если они присутствуют), на поверхности каждой обнаруженной рыбы. Предпочтительно детектор внешних паразитов рыб также определяет пол и стадию жизни каждого из обнаруженных внешних паразитов рыб, таких как морские вши.
Детекторы обучаются с помощью процедуры машинного обучения, которая принимает массив аннотированных человеком изображений. Использование нейронной сети устраняет необходимость в явном определении характеристик (например, протяженности, формы, яркости, цвета или текстуры) рыбы или внешних паразитов рыб, таких как морские вши, но вместо этого опирается непосредственно на знания аннотаторов-людей, присутствующих в кодированном виде в массиве аннотированных изображений.
На фиг. 9 показаны положение и силуэт рыбы 72 в поле обзора 76, обнаруженные детектором 84 рыбы. Другая рыба 74, показанная на фиг. 4, 7 и 8, исключена из рассмотрения в этом варианте осуществления, потому что она частично перекрывается рыбой 72. В модифицированном варианте осуществления можно было бы, однако, обнаружить также рыбу 74 и искать внешних паразитов рыб, таких как морские вши, на коже рыбы 74, там, где они видны.
В одном варианте осуществления изобретения глубину фокусировки камеры 52 выбирают так, чтобы получить четкое изображение всего силуэта рыбы 72. В модифицированном варианте осуществления, как показано на фиг. 9, силуэт рыбы, распознанный детектором рыб, сегментируется на подобласти 88, которые отличаются по расстоянию от камеры 52. Расстояния до разных подобластей 88 рассчитываются на основе результата измерения дальности, полученного от дальномерного детектора 54. Значения расстояния, полученные разными детекторными элементами дальномерного детектора, уже отражают влияние углового отклонения между центральной линией 70 поля обзора и оптической осью камеры в вертикальном направлении. Кроме того, для каждой точки в силуэте рыбы 72 влияние углового отклонения в горизонтальном направлении может быть выведено из положения пикселя на рыбе в поле обзора 76. Необязательно можно осуществить другую коррекцию расстояния для рельефа тела рыбы в горизонтальном направлении, который по меньшей мере примерно известен для рассматриваемых видов рыб.
Затем, когда получают серию изображений рыбы 72 (например, с частотой 4 Гц, как описано выше), фокус может изменяться от изображения к изображению, поскольку фокус соответственно адаптируется к одной из подобластей 88 на фиг. 9. Это позволяет получать изображения всех подобластей 88 рыбы с высоким разрешением, с уменьшенной глубиной фокуса и, соответственно, с настройкой диафрагмы камеры, которая требует меньшей интенсивности освещения.
На фиг. 10 показано нормализованное изображение рыбы 72, которое в конечном итоге передается на детектор 86 внешних паразитов рыб. Это изображение может необязательно состоять из нескольких изображений подобластей 88, снятых с разными фокусами камеры. Кроме того, изображение, показанное на фиг. 10, может быть нормализовано по размеру к стандартному размеру, что облегчает сравнение снятого изображения рыбы с аннотированными изображениями.
Следует отметить, что изображение рыбы 72, показанное на фиг. 9, может быть искажено (горизонтальное сжатие), если ориентация рыбы не находится под прямым углом к оптической оси камеры. Процесс нормализации с получением силуэта рыбы, показанный на фиг. 10, может компенсировать это искажение.
Кроме того, на фиг. 10 показан необязательный вариант осуществления, в котором силуэт рыбы сегментирован на разные участки 90, 92 и 94-100. Участки 90 и 92 позволяют системе обработки изображений различать верхнюю сторону и нижнюю сторону рыбы, при этом, с одной стороны, цвет кожи рыбы будет отличаться, а с другой стороны, интенсивности освещения и спектры, обеспечиваемые верхней и нижней решетками освещения 22 и 24, будут разными. Информация по участкам 90 или 92, где находится пиксель на рыбе, облегчает детектору 86 внешних паразитов рыб поиск характерных признаков, позволяющих отличить внешних паразитов рыб, таких как морские вши, от тканей рыбы.
Другие участки 94-100, показанные в этом примере, характеризуют выбранные анатомические особенности рыб, которые коррелируют с характеристической плотностью популяции внешних паразитов рыб, таких как морские вши разных видов, на рыбе. Такие же анатомические участки 94-100 идентифицируются на аннотированных изображениях, используемых для машинного обучения. Это позволяет обучать или настраивать детектор внешних паразитов рыб таким образом, чтобы уровни достоверности для обнаружения внешних паразитов рыб, таких как морские вши, были адаптированы к региону, подконтрольному в настоящее время.
Кроме того, если детектор 86 внешних паразитов рыб работает в режиме вывода, можно предоставить отдельную статистику для различных участков 94-100 на рыбе, которая может предоставить полезную информацию для определения вида, пола и/или стадии жизни внешних паразитов рыб, таких как морские вши, и/или степени заражения.
Аннотация, обучение, валидация и тестирование
На фиг. 11 показана блок-схема, подробно описывающая аннотирование изображений, а также обучение, валидацию и тестирование детекторов 84, 86 в системе 78 обработки изображений. Процесс аннотирования и обучения начинается с получения изображений. Интерфейс аннотирования 102 позволяет людям создавать набор аннотаций, которые, в связи с соответствующими изображениями, дают массив аннотированных изображений.
В предпочтительном варианте осуществления изобретения интерфейс аннотирования связывается с медиасервером, который соединяется с хранилищем данных в базе 80 данных. Интерфейс аннотирования может быть основан на HTML, что позволяет людям-аннотаторам загружать, просматривать и аннотировать изображения в веб-браузере. Для каждого изображения аннотатор создает многоугольник, охватывающий каждую ясно видимую рыбу, и прямоугольную рамку, охватывающую любых внешних паразитов рыб, таких как морские вши, присутствующих на поверхности рыбы. Предпочтительно интерфейс аннотирования также позволяет аннотатору создавать прямоугольные рамки, окружающие глаза рыб (которые могут быть визуально похожи на морских вшей). Предпочтительно, аннотатор также указывает вид, пол и стадию жизни каждой вши.
Аннотации, созданные с использованием интерфейса 102 аннотирования, хранятся в базе 80 данных. После вставки и извлечения из базы данных аннотации для одного изображения сериализуются как объект JSON с указателем на соответствующее изображение. Это облегчает усваивание аннотированного массива процедурой машинного обучения.
В предпочтительном варианте осуществления изобретения процедура машинного обучения включает обучение нейронных сетей на массиве аннотированных изображений. Как показано на фиг. 11, аннотированные изображения могут подразделяться на три набора изображений. Первые два набора изображений используются для обучения и проверки нейронной сети. Более конкретно, первый набор изображений (например, примерно 80% аннотированных изображений) используется для итеративной корректировки весов в нейронной сети. Периодически (то есть после определенного количества дополнительных итераций) второй набор изображений (примерно 10% аннотированных изображений) используется для проверки эволюционирующего детектора, защищая от чрезмерной подгонки. Результатом обучения и одновременного процесса валидации является обученный детектор 84, 86. Третий набор изображений (например, примерно 10% аннотированных изображений) используется для проверки обученного детектора. Процедура тестирования характеризует производительность обученного детектора, генерируя набор показателей 104 производительности.
Как показано на фиг. 11, весь процесс обучения, валидации и тестирования может повторяться многократно, как часть более широкого процесса проектирования нейтральной сети, пока не будут достигнуты приемлемые показатели производительности. Как отмечено выше, в предпочтительном варианте осуществления изобретения процесс, показанный на фиг. 11, выполняется, по меньшей мере, один раз, чтобы создать детектор 84 рыбы, и, по меньшей мере, один раз, чтобы создать детектор 86 внешних паразитов рыб.
В альтернативных вариантах осуществления изобретения, чтобы улучшить качество процесса обучения, валидации и тестирования, процедура машинного обучения включает в себя процесс приращения данных для увеличения размера аннотированного массива. Например, применение методов приращения, таких как добавление шума и перспективное преобразование аннотированного человеком массива, может увеличить размер обучающего массива в 64 раза.
Функционирование
После завершения процесса аннотирования, обучения, валидации и тестирования, показанного на фиг. 11, детекторы могут быть запущены в режиме вывода для обнаружения рыбы и внешних паразитов рыб, таких как морские вши, в новых полученных (неаннотированных) изображениях.
А именно, каждое изображение, подлежащее обработке, сначала передается в детектор 84 рыб. Если детектор рыб обнаруживает один или несколько участков на изображении, которое он считает рыбой, изображение передается на детектор 86 внешних паразитов рыб с очерченными силуэтами (и, возможно, участками 90-100) рыб.
На фиг. 12 показана блок-схема, подробно описывающая работу детектора 86 внешних паразитов рыб в режиме вывода в системе 78 обработки изображений. Система обработки изображений сначала вычисляет параметры качества изображения для каждого из полученных изображений. Параметры качества оценивают пригодность изображений для использования при обнаружении разных стадий жизни внешних паразитов рыб, таких как морские вши, на рыбе. В предпочтительном варианте осуществления изобретения параметры качества изображения включают в себя:
- долю переэкспонированных пикселей. Доля пикселей в изображении со значениями яркости выше максимально допустимого значения (например, 250 для пикселей с 8-битной глубиной цвета)
- долю недоэкспонированных пикселей. Доля пикселей в изображении со значениями яркости ниже минимально допустимого значения (например, 10 для пикселей с 8-битной глубиной цвета)
- оценку фокуса; мера качества фокуса в изображении, вычисленная с использованием вариации значений пикселей или вариации вывода фильтра Лапласа, примененного к значениям пикселей.
Полученное изображение, соответствующее параметрам качества изображения, и обученный детектор, полученный с помощью процедуры обучения, валидации и тестирования, передаются в операцию выявления, которая обнаруживает один или несколько классов внешних паразитов рыб, таких как морские вши (то есть вши на определенной стадии жизни), внутри участка, например 90, изображения, идентифицированного детектором рыбы. Результаты выявления затем фильтруются на основе параметров качества изображения; если параметры качества изображения указывают на то, что изображение имеет качество, недостаточное для того, чтобы обеспечить надежную детекцию определенного класса внешних паразитов рыб, таких как морские вши, детекция этого класса исключается. При исключении выявления изображение полностью исключается из расчетов частоты обнаружения данного класса. (То есть детекция исключается из числителя частоты обнаружения, а изображение исключается из знаменателя частоты обнаружения). Отфильтрованные результаты выявления можно хранить в базе 106 данных выявления.
Затем система 78 обработки изображений объединяет результаты выявления в базе данных выявления с показателями 104 производительности, полученными с помощью процедуры обучения, валидации и тестирования, для моделирования статистики внешних паразитов рыб, таких как популяция морских вшей. Основываясь на известных показателях эффективности, система машинного обзора экстраполирует частоту обнаружения на полученных изображениях к фактической распространенности внешних паразитов рыб, таких как морские вши, в популяции рыб.
Как отмечено выше, система 78 обработки изображений может дополнительно использовать информацию о местоположении рыбы, определенную дальномерным детектором, для информирования об обнаружении рыбы. В частности, детектор рыб может снизить порог достоверности, необходимый для обнаружения рыбы вблизи продольной центральной линии и описанный для каждого изображения.
В вариантах осуществления изобретения, включающих в себя несколько камер с разными ориентациями, система обработки изображений также может использовать информацию об ориентации, сообщаемую детектором 56 положения в корпусе 20 камеры после получения изображения. Например, поскольку рыба обычно плавает параллельно поверхности воды, информация об ориентации может использоваться для смещения выявления рыбы в пользу участков с высоким отношением длины к ширине, причем более длинная ось ориентирована перпендикулярно вектору гравитации. Определение ориентации рыбы относительно камеры также позволяет использовать систему обработки изображений с детектором рыбы, включающим нескольких нейронных сетей, каждая из которых обучена для определенной ориентации рыбы (например, для относительно темной верхней поверхности или относительно светлой нижней поверхности). Ориентация рыбы может также информировать детектор внешних паразитов рыб, поскольку внешние паразиты рыб, такие как морские вши, с большей вероятностью прикрепляются к определенным участкам на рыбе.
Интерфейс конечного пользователя
Наконец, система согласно изобретению может включать в себя интерфейс конечного пользователя 108 (фиг. 1). Интерфейс конечного пользователя обеспечивает доступ к результатам операций выявления в системе компьютерного обзора. Например, медиасервер, соединяющийся с базой 80 данных и хранилищем данных, может предоставлять изображения с генерируемыми компьютером аннотациями, указывающими области на изображении, где были обнаружены рыбы и внешние паразиты рыб, такие как морские вши. Интерфейс конечного пользователя также может предоставлять сводную статистику (например, число рыб, число внешних паразитов рыб, таких как морские вши, уровень зараженности) для представляющей интерес популяции рыб (например, в пределах отдельной морской фермы или по всей ферме).
В предпочтительном варианте осуществления изобретения интерфейс конечного пользователя также включает в себя инструменты, которые обеспечивают соответствие нормативным требованиям. Например, результаты операций выявления системы обработки изображений могут автоматически суммироваться и передаваться регулирующим органам в требуемых формах. Интерфейс конечного пользователя также может включать в себя инструменты прогностической аналитики, прогнозирование уровней заражения популяции рыб, прогнозирование результирующего экономического воздействия и оценку возможных направлений действия (например, химической обработки). Интерфейс конечного пользователя также может интегрироваться с более широким набором инструментов для аквакультуры (например, инструментов для мониторинга биомассы, уровней кислорода и уровней солености). Необязательно интерфейс конечного пользователя включает в себя описанный выше интерфейс 102 аннотирования, позволяющий продвинутым конечным пользователям улучшать или расширять производительность системы машинного обзора. Кроме того, интерфейс конечного пользователя может необязательно включать в себя интерфейс, позволяющий регулировать параметры, управляющие системой управления камерой и освещением.
1. Система мониторинга внешних паразитов рыб в аквакультуре, содержащая:
камеру (52), выполненную с возможностью погружения в морскую ферму (40), выполненную с возможностью содержания рыбы (72, 74), причем камера выполнена с возможностью захвата изображений рыбы; и
электронную систему (78) обработки изображений, выполненную с возможностью идентификации внешних паразитов рыб на рыбе путем анализа захваченных изображений, а также выполненную с возможностью обеспечения точного автоматического подсчета морских вшей, отличающаяся тем, что она содержит:
камеру и осветительную установку (10), имеющую вертикальный опорный элемент (14), верхнюю штангу (16), шарнирно соединенную с верхним концом опорного элемента (14) и несущую верхнюю осветительную решетку (22), нижнюю штангу (18), шарнирно соединенную с нижним концом опорного элемента (14) и несущую нижнюю осветительную решетку (24), и корпус (20), прикрепленный к опорному элементу и несущий камеру (52), причем верхняя и нижняя осветительные решетки (22, 24) выполнены с возможностью освещения целевой области сверху и снизу в поле обзора камеры (52).
2. Система по п.1, отличающаяся тем, что целевая область, которая освещается как верхней, так и нижней осветительными решетками, имеет такие размеры, чтобы вмещать весь силуэт рыбы.
3. Система по п.1 или 2, отличающаяся тем, что верхняя осветительная решетка (22) выполнена с возможностью излучения света с интенсивностью и/или спектральным составом, отличным от интенсивности и/или спектрального состава света, излучаемого нижней осветительной решеткой (24).
4. Система по п.3, отличающаяся тем, что верхняя осветительная решетка (22) содержит импульсный трубчатый элемент, а нижняя осветительная решетка (24) содержит светодиодный осветительный элемент.
5. Система по любому из пп.1-4, отличающаяся тем, что она содержит детектор (56) положения, выполненный с возможностью обнаружения положения камеры и осветительной установки (10) относительно морской фермы (40).
6. Система по любому из предыдущих пунктов, отличающаяся тем, что она содержит:
дальномерный детектор (54), установленный на корпусе (20) и выполненный с возможностью обнаружения присутствия рыбы и измерения расстояния от детектора до нее; и
электронную систему (12) управления, выполненную с возможностью управления фокусом камеры (52) на основе измеренного расстояния и запуска камеры (52), если рыба обнаружена в пределах заранее определенного диапазона расстояний.
7. Система по п.6, отличающаяся тем, что электронная система (12) управления выполнена с возможностью управления камерой (52), чтобы фиксировать последовательность изображений в течение длительного интервала времени, в течение которого дальномерный детектор (54) непрерывно обнаруживает рыбу в пределах заданного диапазона расстояний.
8. Система по п.6 или 7, отличающаяся тем, что дальномерный детектор (54) содержит светозависимый времяпролетный модуль, осуществляющий измерение расстояния и детекцию и имеющий:
светодиодные излучающие оптические средства (58) для излучения света; и
принимающие оптические средства (60), выполненные с возможностью приема отраженного света и измерения времени пролета принятого света.
9. Система по п.8, отличающаяся тем, что излучающие оптические средства (58) выполнены с возможностью излучения света в виде веера, распределенного по расширенному угловому диапазону в вертикальном направлении и коллимированного в горизонтальном направлении.
10. Система по п.9, отличающаяся тем, что принимающие оптические средства (60) включают в себя множество детекторных элементов, имеющих смежные поля обзора (66), которые в совокупности образуют вертикально ориентированный приемный веер (68), причем дальномерный детектор выполнен с возможностью измерения углов (β) пеленга, при которых отраженный свет детектируется отдельными детекторными элементами.
11. Система по любому из предыдущих пунктов, отличающаяся тем, что электронная система (78) обработки изображений содержит детектор (84) рыб, выполненный с возможностью распознавания силуэта рыбы на полученном изображении, и детектор (86) внешних паразитов рыб, выполненный с возможностью выявления внешних паразитов рыб в указанном участке (90-100) силуэта рыбы (72).
12. Система по п.11, отличающаяся тем, что электронная система (78) обработки изображений содержит по меньшей мере одну нейронную сеть, составляющую детектор (84) рыб и/или детектор (86) внешних паразитов рыб.
13. Способ мониторинга внешних паразитов рыб в аквакультуре, отличающийся тем, что используют систему по любому из предыдущих пунктов.
14. Способ по п.13, отличающийся тем, что систему (78) обработки изображений используют для выявления рыбы (72, 74) на изображении, снятом камерой (52), и для выявления внешних паразитов рыб в силуэте обнаруженной рыбы.
15. Способ по п.14, отличающийся тем, что дальномерный детектор (54) используют для измерения угла пеленга обнаруженной рыбы (72) и измеренный угол пеленга используют в системе (78) компьютерного обзора для поиска силуэта рыбы на снятом изображении.
16. Способ по любому из пп.13-15, отличающийся тем, что целевую область, ограниченную полем обзора камеры (52) и указанным заранее определенным диапазоном расстояний, освещают сверху и снизу светом разной интенсивности и/или разного спектрального состава.
17. Способ по п.16, отличающийся тем, что при выявлении присутствия внешних паразитов рыб в заданном месте на рыбе осуществляют определение, действительно ли указанное заданное местоположение находится в участке (90) на верхней стороне или в участке (92) на нижней стороне рыбы.
18. Способ по любому из пп.13-17, отличающийся тем, что
устанавливают различие по меньшей мере двух разных классов внешних паразитов рыб, которые отличаются по сложности распознавания внешних паразитов рыб;
вычисляют параметры качества для каждого снятого изображения, причем параметры качества позволяют идентифицировать классы внешних паразитов рыб, для которых качество изображения является достаточным для выявления внешних паразитов рыб; и
устанавливают отдельные уровни выявления для каждого класса внешних паразитов рыб, при этом каждый уровень выявления основан только на изображениях, качество которых, определяемое параметрами качества, является достаточным для обнаружения внешних паразитов рыб этого класса.
