Способ, система и носитель информации, имеющий сохраненные на нем команды, которые вызывают выполнение процессором способа получения информации изображения организма, содержащей набор оптических данных
Изобретение относится к способу оценки времени уборки урожая и системе обработки информации для его осуществления. Способ содержит этапы, на которых получают информацию изображения организма, содержащую набор оптических данных, вычисляют индекс роста на основании набора оптических данных и вычисляют ожидаемое время уборки урожая на основании индекса роста. Указанная информация изображения содержит набор данных изображения по меньшей мере от двух устройств фиксации изображений, которые фиксируют набор данных изображения по меньшей мере из двух положений. Также способ содержит этапы, на которых вычисляют данные изображения параллакса на основании по меньшей мере двух элементов данных изображения из набора данных изображения, полученных от указанных по меньшей мере двух устройств фиксации изображений, и вычисляют индекс роста на основании данных изображения параллакса, при этом указанные по меньшей мере два элемента данных изображения фиксируют с двух углов и/или с указанных по меньшей мере двух позиций посредством указанных по меньшей мере двух устройств фиксации изображений. Изобретение позволяет рассчитать надлежащий индекс роста сельскохозяйственной продукции и оптимальное время сбора урожая. 3 н. и 12 з.п. ф-лы, 19 ил.
Область техники, к которой относится изобретение
Настоящее изобретение относится к системе обработки информации, способу обработки информации системы обработки информации, устройству обработки изображений и способу формирования изображения и программе и, в частности, к системе обработки информации, способу обработки информации системы обработки информации, устройству формирования изображения и способу формирования изображения и программе, которая позволяет рассчитать надлежащий индекс роста сельскохозяйственной продукции и оптимальное время сбора урожая.
Перекрестная ссылка на родственные заявки
Данная заявка имеет приоритет на основании заявки на патент Японии JP 2013-062017, поданной 25 марта 2013, полное содержание которой включено здесь посредством ссылки.
Уровень техники
При использовании спутника дистанционного зондирования, где величина роста растений и сезон сбора урожая сельскохозяйственной продукции оцениваются посредством измерения величины отраженного света (ближнее инфракрасное излучение) от растений с использованием датчика, установленного на искусственном спутнике, трудно получить данные в ночное время суток или в условиях густой облачности, и процесс получения информации занимает несколько дней, пока данные со спутника будут обработаны и, таким образом, трудно получить информацию в режиме реального времени. Кроме того, поскольку спутник перемещается по орбите, то получить информацию относительно конкретного места можно только в зависимости от цикла перемещения спутника, таким образом, предоставляется возможность получить приблизительную информацию в широком диапазоне, в то время как затруднительно получить точную информацию в конкретной области.
Кроме того, при ближнем дистанционном зондировании, где используется датчик, установленный на земле, расстояние от цели до датчика мало и, следовательно, существуют преимущество, которое заключается в том, что этот способ измерения в меньшей степени зависит от погодных условий, чем с использованием спутника дистанционного зондирования, данные от цели могут быть получены датчиком без наличия препятствий между датчиком и целью, данные могут быть получены в предпочтительных количествах и тому подобное. Описана такая технология дистанционного зондирования, в которой информация изображения получается в непосредственной близости от растения, информация изображения передается в компьютер, индекс растительности вычисляется с помощью компьютера, и оптимальное время сбора урожая оценивается или предполагается на основании корреляции между индексом и параметрами оценки, такими как количество волокна (см. PLT 1).
Перечень ссылок
Патентный документ
PLT 1: Международная публикация № WO 2009/116613
Раскрытие изобретения
Техническая задача
Тем не менее, в технологии, раскрытой в PLT 1, как описано выше, обеспечивается только одна камера, которая фотографирует сельскохозяйственную продукцию, когда состояние произрастания продукции изменяются в пределах фермы, то информация о состоянии произрастания по всей ферме получают нерегулярно, посредством получения сфотографированных состояний произрастания продукции, и, таким образом, бывают случаи, в которых точность оценки или ожидания оптимального времени сбора урожая снижается. Кроме того, в предшествующем уровне техники, использование технологии ограничено, потому что отсутствует информация о месте роста организмов. Кроме того, невозможно охватить информацию о состоянии произрастания на многих фермах, расположенных в разных районах.
Кроме того, в технологии, раскрытой в PTL 1, точность при оценке состояния произрастания сельскохозяйственной продукции путем вычисления индекса растительности посредством арифметической операции на основании данных близкого инфракрасного излучения и в красном участке спектра от данных изображения сельскохозяйственной продукции с использованием датчика ближнего инфракрасного излучения и датчика красного участка спектра не является достаточно надежным способом. Другими словами, трудно повысить точность оценки посредством выполнения как оценки в сочетании с оценкой состояния произрастания, используя цвета продукта, так и оценки состояния произрастания на основании индекса растительности.
Более того, в соответствии с технологией, раскрытой в PLT 1, специализированное устройство для дистанционного зондирования может быть использовано в качестве камеры. Для такого специализированного устройства для дистанционного зондирования, применяется мультиспектральная камера (многополосовая камера) или гиперспектральная камера. Последнее требует механического переключения полосового фильтра и синхронность изображения областей недостаточна. Кроме того, так как последний требует сканирования, синхронность изображения областей является недостаточной, кроме того, так как его оптическая система является сложной, трудно уменьшить размеры камеры, что приводит к высокой стоимости, и дополнительно, так как данные занимают большую емкость, нагрузка связи увеличивается и, таким образом, камера не представляет собой подходящее устройство для беспроводной связи.
Более того, технология, раскрытая в PTL 1, основана на предпосылке, что должен быть обеспечен результат оценки или ожидаемое оптимальное время сбора урожая для производителя или менеджера. В этом случае, производитель может ожидать и получить информацию о времени сбора урожая, но сложно удовлетворить требования предприятий розничной торговли, рядовых потребителей, иных клиентов, таких как рестораны, дистрибьюторы или другие сторонние организации, которые хотят приобрести сельскохозяйственную продукцию, минуя розничную торговлю, и/или кто хочет знать время сбора урожая продукции.
Желательно иметь возможность должным образом вычислить индекс роста и ожидаемое оптимальное время сбора урожая сельскохозяйственной продукции на основании изображения RGB и NIR изображения, и иметь возможность распространять информацию об индексе роста и ожидаемом оптимальном времени сбора урожая не только для производителя и менеджера, а также для предприятий розничной торговли, общих потребителей, дистрибьюторов и иным.
Решение технической задачи
Различные варианты осуществления настоящего изобретения относятся к способам, включающие в себя: получение информации об изображении организма, включающая в себя набор оптических данных; вычисление индекса роста на основании набора оптических данных; и вычисление ожидаемого времени уборки урожая на основании индекса роста, где информация об изображении содержит, по меньшей мере, одно из следующего: (а) данные видимого изображения, полученные от датчика изображения, и данные невидимого изображения, полученные от датчика изображения, и (б) набор данных изображения, по меньшей мере, от двух устройств захвата изображений, где, по меньшей мере, два устройства захвата изображений захватывают набор данных изображения, по меньшей мере, из двух позиций.
Дополнительные варианты осуществления относятся к системам, включающие в себя: устройство захвата изображения, где, по меньшей мере, один из серверов и устройство захвата изображения выполнено с возможностью: получать информацию изображения организма, включающую в себя набор оптических данных; вычислять индекс роста на основании набора оптических данных; и вычислять ожидаемое время уборки урожая на основании индекса роста, где информация изображения содержит, по меньшей мере, одно из следующего: (а) данные видимого изображение, полученные от датчика изображения, и данные невидимого изображения, полученные от датчика изображения, и (б) набор данных изображения, по меньшей мере, от двух устройства захвата изображений, где, по меньшей мере, два устройства захвата изображений захватывают набор данных изображения, по меньшей мере, из двух положений.
Дополнительные варианты осуществления относятся к материальным, невременным машиночитаемым носителям информации, хранящие команды, которые вызывают процессор выполнить способ, способ включает в себя: получение информации об изображении организма, включающая в себя набор оптических данных; вычисление индекса роста на основании набора оптических данных; и вычисление ожидаемого времени уборки урожая на основании индекса роста, где информация об изображении содержит, по меньшей мере, одно из следующего: (а) данные видимого изображения, полученные от датчика изображения, и данных невидимого изображения, полученные от датчика изображения, и (б) набор данных изображения, по меньшей мере, от двух устройств захвата изображений, где, по меньшей мере, два устройства захвата изображений захватывают набор данных изображения, по меньшей мере, из двух положений.
Как здесь используется, в различных иллюстративных вариантах осуществления, термины "продукция" и "сельскохозяйственная продукция" включают в себя организмы. Организм является любой живой системой. Живая система может быть биологически родственной.
Дополнительное определение организма, как он использовано здесь, представляет собой совокупность молекул, функционирующих как более или менее устойчивое в целом, которое проявляет свойства жизни, которое включает в себя любую живую структуру, способную к произрастанию. Так, например, организм включает в себя, но не ограничивается ими, животные, грибы, микроорганизмы и растения.
Таким образом, термины "продукция" и их вариации, включающие в себя, но не ограничиваясь ими, "сельскохозяйственную продукцию", как он использованы здесь, включают в себя, но не ограничиваются ими, животных, таких как коровы, козы, овцы, свиньи, рыбы и птицы.
Соответственно, например, термины "индекс роста" и их вариации, включают в себя, но не ограничиваясь ими, "информацию о состоянии роста", "информацию о ситуации роста", включающие, но не ограничиваются ими, рост организмов, включающие в себя продукты и животных.
Кроме того, например, термины "урожай" и их вариации, включающие в себя, но не ограничиваясь ими, "сбор урожая", "информацию о времени сбора урожая", "ожидаемое оптимальное время сбора урожая", "план сбора урожая", "информацию плана сбора урожая", "время начала сбора урожая", "сезон сбора урожая" и "предельный срок сбора урожая", относятся к сбору урожая организмов. В различных иллюстративных вариантах осуществления, сбор урожая включает в себя любой процесс сбора зрелых организмов, включающие в себя продукты и/или животных.
Таким образом, термин "оценка ситуации роста", и их разновидности, как он использован здесь, включает в себя оценку ситуации роста организмов, таких как животные и продукты. Такая оценка может использовать различные свойства животных и продукции, включающая в себя индекс роста и другие свойства не указанные здесь явно.
Способы и системы, описанные здесь, могут использовать оптические данные. Например, набор оптических данных может быть использован для получения информации роста или индекса роста. Оптические данные могут включать в себя данные захваченного изображения, включающие в себя данные видимых и невидимых изображений.
Как используется здесь, термин "данные видимого изображения" может включать в себя данные изображения, используя цветовую модель красный-зеленый-синий (также известную как RGB). Например, цифровые фотоаппараты и видеокамеры часто используют конкретное RGB цветовое пространство.
Как используется здесь, термин «данные невидимого изображения" может включать в себя ближнее инфракрасное излучение (в дальнейшем также упоминается как NIR).
Как используется здесь, термин "внешние стороны" и их вариации, включает в себя обычных потребителей, розничных продавцов, рестораны и производителей продуктов питания. Например, внешние стороны могут включать в себя любое лицо или бизнес, связанный с системой цепочки поставок.
Устройство захвата изображения, используемое в различных иллюстративных вариантах осуществления, раскрытых здесь, является устройством, которое захватывает данные изображения или информацию об изображении. Например, устройство захвата изображения может включать в себя, но не ограничивается этим, оптические устройства, которые хранят и/или передают данные неподвижных или движущихся изображений, такое как камера или видеокамера.
Термин "датчик-видеокамера" и их вариации, как он использован здесь, относится к устройству, которое захватывает изображения. Датчик-видеокамера может иметь различные функции, такие как способность собирать, передавать и/или хранить различные параметры. Такие параметры могут включать в себя, но не ограничиваться, информацию, относящуюся к росту, температуре, влажности и атмосферному давлению.
Кроме того, датчик-видеокамера может иметь функциональные возможности для передачи информации или данных по сети или на внешнее устройство. Например, датчик-видеокамера может поставлять информацию, включающую в себя данные захваченного изображения, на сервер.
В приведенном здесь описании, для целей иллюстрации, способы могут быть описаны в определенном порядке. Следует понимать, что в альтернативных вариантах осуществления способы могут быть выполнены в другом порядке, чем описано здесь. Следует также понимать, что описанные здесь способы могут быть выполнены аппаратными компонентами или могут быть реализованы в последовательности машинных команд, которые могут быть использованы, чтобы вызвать машину, например, общего назначения или процессор специального назначения (GPU или CPU) или логические схемы, запрограммированные командами, для выполнения способов (FPGA). Эти машинно-исполняемые команды могут быть сохранены на одном или более машиночитаемых носителях, таких как CD-ROM или на другом типе носителя, например, оптические диски, гибкие диски, ROMs, RAMs, EPROMs, EEPROMs, магнитные или оптические карты, флэш-память или другие виды машиночитаемых носителей, пригодных для хранения электронных команд. Альтернативно, способы могут быть выполнены с помощью комбинации аппаратных средств и программного обеспечения.
Конкретные подробности приведены в описании для обеспечения полного понимания вариантов осуществления. Тем не менее, должно быть понятно любому специалисту в данной области техники, что иллюстративные варианты осуществления могут быть реализованы без этих конкретных деталей.
Например, в некоторых случаях, хорошо известные схемы, процессы, алгоритмы, структуры и способы могут быть показаны или описаны без излишней детализации с целью не допустить усложнений в иллюстративных вариантах осуществления.
Кроме того, следует отметить, что варианты осуществления описаны как различные процессы, которые могут быть описаны как блок-схемы алгоритма, диаграммы потока, диаграммы потоков данных, структурные схемы или блок-схемы, среди других. Хотя любое из этих изображений может описывать различные части операции как последовательный процесс или последовательность процессов, многие из операций или частей операции могут выполняться параллельно, одновременно и или с резервированием.
Кроме того, порядок операций может быть изменен. Процесс завершается, когда его операции завершены, но могут иметь дополнительные этапы или повторяющиеся этапы, не показанные на чертеже. Процесс может соответствовать способу, функции, процедуре, подпрограмме и т.д. Когда процесс соответствует функции, то его завершение соответствует возврату функции к вызывающей функции или главной функции.
Более того, варианты осуществления могут быть реализованы аппаратными средствами, программным обеспечением, микропрограммным обеспечением, межплатформным программным обеспечением, микрокодом и дескриптными языками аппаратных средств, среди прочего, или любой их комбинацией. При реализации в программном обеспечении, микропрограммном обеспечении, межплатформном программном обеспечении или микрокодом, программный код или сегменты кода для выполнения необходимых задач могут быть сохранены на машиночитаемом носителе, таком как носитель данных.
Процессор(ы) может выполнять необходимые задачи. Сегмент кода может представлять собой процедуру, функцию, подпрограмму, программу, процедуру, подпрограмму, модуль, пакет программного обеспечения, класс или любое сочетание команд, структур данных или операторов программы. Сегмент кода может быть связан с другим сегментом кода или аппаратной схемой посредством передачи и/или приема информации, данных, аргументов, параметров или контента памяти. Информация, аргументы, параметры, данные и т.д. могут быть переданы, переадресованы посредством любых подходящих средств, включающие в себя совместное использование памяти, передачу сообщений, эстафетную передачу, передачу сети и т.д.
В то время как иллюстративные варианты осуществления изобретения были подробно описаны, следует понимать, что изобретательские концепции могут быть по-разному воплощены и использованы, и что считается, что прилагаемая формула изобретения включает в себя такие вариации, за исключением случаев, ограниченных предшествующим уровнем техники.
Полезные результаты изобретения
В соответствии с вариантами осуществления настоящего изобретения, индекс роста и ожидаемое оптимальное время сбора урожая сельскохозяйственной продукции может быть вычислено. В различных вариантах осуществления процесс вычисления индекса роста и ожидаемого оптимального времени сбора урожая может быть усовершенствован по сравнению с процессом вычислений в предшествующем уровне техники.
Краткое описание чертежей
Фиг. 1 представляет собой иллюстративную схему, показывающую пример конфигурации системы обработки информации в соответствии с различными вариантами осуществления настоящего изобретения.
Фиг. 2 является иллюстративной схемой, показывающей пример конфигурации датчика-видеокамеры, показанной на фиг. 1, в соответствии с различными вариантами осуществления настоящего изобретения.
Фиг. 3 является иллюстративной схемой, показывающей пример конфигурации датчика в датчике-видеокамере, показанной на фиг. 2, в соответствии с различными вариантами осуществления настоящего изобретения.
Фиг. 4 является иллюстративной схемой, показывающей пример конфигурации терминального устройства, показанного на фиг. 1, в соответствии с различными вариантами осуществления настоящего изобретения.
Фиг. 5 является иллюстративной схемой, показывающей пример конфигурации сервера, показанного на фиг. 1, в соответствии с различными вариантами осуществления настоящего изобретения.
Фиг. 6 является иллюстративной схемой, показывающей пример конфигурации управляющей информации в соответствии с различными вариантами осуществления настоящего изобретения.
Фиг. 7 является иллюстративной блок-схема алгоритма, предназначенная для описания процесса накопления информации о ситуации роста, выполняемого датчиком-камерой в соответствии с различными вариантами осуществления настоящего изобретения.
Фиг. 8 является иллюстративной схемой для описания способа передачи информации о ситуации роста между датчиками-видеокамерами согласно различным вариантам осуществления настоящего изобретения.
Фиг. 9 является иллюстративной схемой для описания другого способа передачи информации о ситуации роста между датчиками-видеокамерами согласно различным вариантам осуществления настоящего изобретения.
Фиг. 10 является иллюстративной блок-схемой алгоритма для описания процесса зондирования, выполняемого датчиком-камерой в соответствии с различными вариантами осуществления настоящего изобретения.
Фиг. 11 является иллюстративной блок-схемой алгоритма для описания процесса накопления информации о ситуации роста, выполняемого сервером согласно различным вариантам осуществления настоящего изобретения.
Фиг. 12 является иллюстративной блок-схемой алгоритма для описания процесса приема информации о плане сбора урожая, выполняемого посредством терминального устройства согласно различным вариантам осуществления настоящего изобретения.
Фиг. 13 является иллюстративной схемой для описания принципа визуализации стереоскопического изображения в соответствии с различными вариантами осуществления настоящего изобретения.
Фиг. 14 является иллюстративной блок-схемой алгоритма, предназначенной для описания процесса направления ответа на запрос между терминальным устройством и сервером в соответствии с различными вариантами осуществления настоящего изобретения.
Фиг. 15 является иллюстративной схемой для описания первого примера модификации датчика в соответствии с различными вариантами осуществления настоящего изобретения.
Фиг. 16 является иллюстративной схемой для описания второго примера модификации датчика в соответствии с различными вариантами осуществления настоящего изобретения.
Фиг. 17 является иллюстративной схемой для описания третьего примера модификации датчика в соответствии с различными вариантами осуществления настоящего изобретения.
Фиг. 18 является иллюстративной схемой для описания четвертого примера модификации датчика в соответствии с различными вариантами осуществления настоящего изобретения.
Фиг. 19 является иллюстративной схемой для описания примера конфигурации персонального компьютера общего назначения в соответствии с различными вариантами осуществления настоящего изобретения.
Осуществление изобретения
Далее будет приведено описание различных иллюстративных вариантов осуществления настоящего изобретения (далее упоминается как варианты осуществления). Следует отметить, что описание будет представлено в следующем порядке.
1. Первый вариант осуществления (пример конфигурации варианта осуществления системы обработки информации)
2. Первый пример модификации (Первый пример модификации структуры датчика)
3. Второй пример модификации (Второй пример модификации структуры датчика)
4. Третий пример модификации (Третий пример модификации структуры датчика)
5. Четвертый пример модификации (Четвертый пример модификации структуры датчика)
1. Первый вариант осуществления
Пример конфигурации системы обработки информации
Во-первых, со ссылкой на фиг. 1, будет описан пример конфигурации системы обработки информации, что представляет собой иллюстративный пример конфигурации различных вариантой осуществления настоящего изобретения.
Система обработки информации, показанная на фиг. 1, выполнена с возможностью включать в себя датчики-видеокамеры с 11-1 по 11-N, терминальные устройства с 12-1 по 12-4, каждое управляемое потребителем, предприятием розничной торговли, дистрибьютором и фермером, сеть 13 и сервер 14. В системе обработки информации, показанной на фиг. 1, изображения, захваченные датчиками-видеокамерами с 11-1 по 11-N, поставляются в сервер 14 через сеть 13, представленную интернетом, и, таким образом, сервер 14 вычисляет индекс роста сельскохозяйственной продукции и вычисляет ожидаемое оптимальное время уборки урожая на основании индекса роста. Кроме того, сервер 14 направляет ответы на запросы, такие как ожидаемое оптимальное время уборки урожая, на терминальные устройства с 12-1 по 12-4, каждое управляемое потребителем, предприятием розничной торговли, дистрибьютором и фермером, среди других внешних сторон.
Более подробно, датчики-видеокамеры c 11-1 по 11-N расположены таким образом, что все поля могут быть отображены с заданными интервалами угодий сельскохозяйственной продукции, которые подлежат контролю (или таким образом, что области, которые могут находиться в непосредственной близости ко всей площади угодий, могут быть отображены с помощью датчиков-видеокамер с 11-1 по 11-N как единое целое), которые включают в себя захваченные изображения RGB пикселей и пикселей NIR, и данные захваченного изображения передаются на сервер 14 через сеть 13. Кроме того, датчики-видеокамеры 11 измеряют температуру, влажность и величину атмосферного давления среди прочего, как информацию об окружающей среде, и поставляют информацию, а также данные захваченного изображения на сервер 14 в качестве информации о состоянии роста. Следует отметить, что датчики-видеокамеры с 11-1 по 11-N называются просто как датчики-видеокамеры 11, если не указано иное в этой и других конфигурациях.
Терминальные устройства с 12-1 по 12-4 являются устройствами обработки информации, сконфигурированные как, например, в частности, персональные компьютеры (в том числе мобильные терминалы, так называемые смартфоны), управляемые соответственно потребителем, розничным продавцом, дистрибьютором и фермером, и направляют запросы на получение информации об индексе роста и ожидаемом оптимальном времени сбора урожая, в частности, через сеть 13, принимают и отображают информацию отклика на запрос с сервера 14.
Сервер 14 получает и накапливает информацию о ситуации роста на основании данных изображения и другой информации, поставленной из датчиков-видеокамер 11, и вычисляет индекс роста и ожидаемое оптимальное время сбора урожая на основании данных изображения. Кроме того, сервер 14 использует информацию о ситуации роста в прошлом в дополнение к данным изображения, передаваемым из датчиков-видеокамер 11, чтобы вычислить ожидаемое оптимальное время уборки урожая. Дополнительно, когда получается вычисленное ожидаемое оптимальное время сбора урожая на основании информации о состоянии роста, сервер 14 уведомляет терминальные устройства с 12-1 по 12-4, управляемые, соответственно потребителем, розничным торговцем, дистрибьютором и фермером, об информации ожидаемого оптимального времени сбора урожая через сеть 13. Следует отметить, что ожидаемое оптимальное время сбора урожая может быть предполагаемой датой оптимального дня начала сбора урожая, или предшествующим днем до заданного количества дней от предполагаемой даты, или заданного количества дней со дня до несколько дней от предполагаемой даты.
Пример конфигурации для реализации функции датчика-видеокамеры
На фиг. 2 показан иллюстративный пример конфигурации для реализации функции датчика-видеокамеры 11, который будет описано ниже.
Каждая датчик-видеокамера 11 снабжена датчиком 31, блоком 32 генерирования RGB изображения, блоком 33 генерирования NDVI изображения, блоком 34 управления, блоком 35 хранения IP-адреса, GPS 36, блоком 37 измерения информации окружающей среды, RTC 38, блоком 39 генерирования информации о ситуации роста, блоком 40 связи и блоком 41 спецификации коммуникационного тракта. Датчик 31 выполнен в виде, например, датчика изображения, и имеет множество пикселей, как показано, например, на фиг. 3. Другими словами, в пиксельной матрице датчика 31 любая индикаторная матрица с зеленным свечением в матрице Байера, состоящей из общего RGB (красный, зеленый и синий), как показано в изображении Р1, образована пикселями ближнего инфракрасного диапазона. Отметим, что на следующих чертежах, горизонтально-полосатый шаблон указывает на зеленый цвет, вертикально-полосатый шаблон указывает на синий цвет, заштрихованная вверх часть указывает на красный цвет и заштрихованная вниз часть указывает на ближнее инфракрасное излучение.
Блок 32 генерирования RGB изображения генерирует изображение RGB из сигналов изображения, захваченных датчиком 31. Другими словами, блок 32 генерирования RGB изображения извлекает сигналы зеленого, красного и синего на основании сигналов изображения, захваченных датчиком 31 пиксельной матрицы, как показано на изображении Р1 на фиг. 3, как показано соответственно посредством изображений с Р11 по Р13, и таким образом, генерирует компонент сигнала изображения зеленого, красного и синего, как показано посредством изображений с Р21 по Р23 с помощью демозаики сигналов. Кроме того, блок 32 генерирования RGB изображения генерирует изображение RGB, как показано на изображении Р31, путем формирования компонентов RGB сигнала изображений, как показано на изображениях с Р21 по Р23.
Блок 33 генерирования изображения Стандартизированного индекса различий растительного покрова (NDVI) генерирует NIR изображения из сигналов изображения, захваченного датчиком 31. Другими словами, блок 33 генерирования NDVI изображения извлекает NIR сигналы, как показано на изображении Р14 на основании сигналов изображения, захваченного датчиком 31, с пиксельной матрицы, как показано на изображении Р1 на фиг. 3, и, таким образом, генерирует компонент NIR сигнала изображения, как показано на изображении Р24. Более того, блок 33 генерирования NDVI изображения генерирует NDVI изображение на основании NIR компонента сигнала изображения и компонента красного цвета сигнала изображения, генерируемого блоком 32 генерирования RGB изображения, описанного выше. Следует отметить, что Стандартизированный индекс различий растительного покрова (NDVI) будет подробно описан ниже.
Блок 34 управления состоит из, например, микропроцессора, памяти и т.п., и выполняет различные процессы, посредством выполнения программ, хранящиеся в памяти и, соответственно, управляет всеми операциями датчика-видеокамеры 11.
Блок 35 хранения адреса интернет-протокола (IP) хранит IP-адреса, которые являются информацией для индивидуальной идентификации датчика-видеокамеры 11, и может поставлять информацию IP-адреса в блок 34 управления. Блок 36 глобальной системы позиционирования (GPS) принимает радиоволны от спутников, не показанных на чертежах, вычисляет позиционную информацию, такую как долготу и широту, на которых установлены датчики-видеокамеры 11, и поставляет информацию в блок 34 управления. Блок 37 измерения информации окружающей среды измеряет температуру, влажность и атмосферное давление, в частности, как информацию об окружающей среде, места, где установлены датчики-видеокамеры 11, и поставляет информацию в блок 34 управления. Блок включает в себя часы реального времени (RTC) и генерирует временную информацию постоянно и поставляет информацию в блок 34 управления. Следует отметить, что здесь описан пример, в котором IP-адреса используются в качестве информации для индивидуальной идентификации датчика-видеокамеры 11, однако, может использоваться иная информация, чем IP адреса в качестве информации, которая может идентифицировать каждый датчик-видеокамеру 11.
Когда датчик 31 захватывает изображение, блок 39 генерирования информации о ситуации роста генерирует информацию о ситуации роста, которая включает в себя IP-адреса, изображение RGB, NDVI изображение, позиционную информацию и информацию об окружающей среде вместе с временной информацией о времени захвата. Обратите внимание, что иная информация, чем IP-адреса, изображение RGB, NDVI изображение, позиционная информация и информация об окружающей среде, может быть включена в состав информации о ситуации роста, до тех пор, пока ситуация роста может быть проверена посредством информации.
Блок 40 связи является блоком, который выполняет проводную или беспроводную связь через сеть 13, такую как интернет, включающую в себя, например, Ethernet-плату, среди прочего, и управляется блоком 34 управления для передачи информации о ситуации роста в серверу 14. Блок 41 спецификации коммуникационного тракта определяет коммуникационный канал при передаче информации о ситуации роста посредством блока 40 связи. Другими словами, блок 41 спецификации коммуникационного тракта передает информацию о ситуации роста, которая должна поставляется на сервер 14 многочисленными датчиками-видеокамерами 11, на сервер 14 в виде последовательной ретрансляции между датчиками-видеокамерами 11. Другими словами, когда передается информация о ситуации роста каждого датчика-видеокамеры с 11-1 по 11-3, датчик-видеокамера 11-1 передает информацию ситуации роста в датчик-видеокамеру 11-2 и датчик-видеокамера 11-2 поставляет информацию ситуация роста, поставленную с датчика-видеокамеры 11-1, и собственную информацию ситуации роста в датчик-видеокамеру 11-3. Более того, датчик-видеокамера 11-3 поставляет информацию ситуации роста датчиков-видеокамер 11-1 и 11-2 и собственную информацию ситуации роста на сервер 14. Чтобы выполнить данную коммуникацию, блок 41 спецификации коммуникационного тракта определяет коммуникационный тракт посредством принятия решения о том, какие датчики-видеокамеры 11 должны использоваться для передачи информации ситуации роста. В одном иллюстративном конкретном примере, когда блок 41 спецификации коммуникационного тракта датчика-видеокамеры 11 взаимодействует с блоком 41 спецификации коммуникационного тракта ближней датчик-видеокамерой 11 через блок 40 связи и захватывает изображения вместе, что формирует пару для создания, например, стереоскопического изображения, как будет описано позже, или датчик-видеокамера устанавливает и определяет тракт так, чтобы передавать информацию о ситуации роста. С помощью этого процесса может быть уменьшена сложность в формировании коммуникационного тракта и скорость передачи данных может быть повышена. Эта форма коммуникации может быть такой же, как для коммуникации ближнего поля, представленной, например, Zigbee (зарегистрированный товарный знак). Следует отметить, что, коммуникационный тракт может быть полезен, если последовательно передаются элементы информации ситуации роста по коммуникационному тракту в сервер 14 с улучшенной эффективностью, в виде ретрансляции, как описано выше, для простоты описания примера, и элементы информации могут быть переданы в другой форме.
Пример конфигурации для реализации функции терминальных устройств
Со ссылкой на фиг. 4 будет представлено описание иллюстративного примера конфигурации для реализации функции терминальных устройств 12, каждое из которых управляется потребителем, розничным торговцем, дистрибьютором и фермером.
Каждое из терминальных устройств 12, управляемые потребителем, розничным торговцем, дистрибьютором и фермером, выполнено с возможностью включать в себя блок 61 управления, блок 62 запроса, операционный блок 63, блок 64 связи, блок 65 хранения IP-адреса и блок 66 отображения. Блок 61 управления может включать в себя микропроцессор и память, среди других компонентов, и управляет всей работой терминального устройства 12 с помощью микропроцессора, который выполняет программы, хранящиеся в памяти. Когда команды направления запроса на все или некоторые изображения, захваченные датчиками-видеокамерами 11, индекс роста и ожидаемое оптимальное время сбора урожая осуществляются посредством операционного блока 63, который включает в себя клавиатуру и мышь, среди прочего, блок 62 запроса управляет блоком 64 связи, который включает в себя Ethernet-плату, например, так что информация с запросом генерируется для направления запроса изображений, захваченных датчиком-видеокамерами 11, индекса роста и ожидаемого оптимального времени сбора урожая в сервер 14 вместе с информацией о IP-адреса для определения датчика-видеокамер 11, которые хранятся в блоке 65 хранения IP-адреса, и управляемые посредством блока запроса (или о котором блок запроса направляет запрос). Блок 62 запроса передает сгенерированную информацию запроса на сервер 14, используя блок 64 связи. Кроме того, блок 64 связи принимает информацию ответа, переданную из сервера 14 в ответ на информацию запроса, и передает информацию в блок 61 управления. Блок 61 управления предписывает блоку 66 отображения, который включает в себя жидкокристаллический дисплей (LCD) и органический EL (электролюминесцентный), среди других, отображать информацию ответа.
Пример конфигурации для реализации функции сервера
Со ссылкой на фиг. 5 будет описан иллюстративный пример конфигурации для реализации функции сервера 14.
Сервер 14 выполнен с возможностью включать в себя блок 81 управления, блок 82 накопления информации ситуации роста, блок 83 определения целевой области, блок 84 вычисления индекса роста посредством RGB изображения, блок 85 вычисления индекса роста посредством NDVI изображения, блок 86 вычисления индекса роста посредством стереоскопического изображения, блок 87 вычисления времени сбора урожая, блок 88 накопления информации управления, блок 89 вычисления индекса роста, блок 90 сопоставления, блок 91 мониторинга работы датчика-видеокамеры, блок 92 связи, блок 93 разработки плана сбора урожая, блок 94 разработки плана доставки, блок 95 формирования плана продаж, блок 96 разработки плана закупок, блок 97 приема запросов и блок 98 генерирования ответа.
Блок 81 управления может включать в себя микропроцессор, память и т.п., и управляет функционированием всего сервера 14 путем выполнения программ и данных, хранящихся в памяти.
Блок 82 накопления информации ситуации роста хранит информацию ситуации роста, поставленную из датчик-видеокамер 11 через блок 92 связи 92, совместно с IP-адресами, используемые для идентификации датчик-видеокамер 11.
Блок 83 определения целевой области определяет область в пределах изображения, в котором сельскохозяйственная продукция будет контролироваться, на основании изображения RGB, включенного в состав информации ситуации роста. В качестве одного иллюстративного конкретного примера, блок 83 определения целевой области хранит шаблоны цветов и форм, выступающие в качестве характерной информации каждого вида сельскохозяйственной продукции, и определяет целевую область посредством поиска области, на которой характерная информация в пределах изображения RGB совпадает с шаблонами. Следует отметить, что здесь, блок 83 определения целевой области описываются, как размещенный на сервере 14, но может, однако, быть установленным на каждой датчик-видеокамере 11 таким образом, что, например, информация целевой области включена в состав информации ситуации роста. Кроме того, так как блок 83 определения целевой области имеет возможность указать только целевую область, блок определения целевой области может указать целевую область только с использованием изображения, отличным от изображения RGB, например, посредством NIR изображения.
Блок 84 вычисления индекса роста посредством RGB изображения вычисляет индекс роста на основании информации изображения области, указанной в качестве целевой области, из RGB изображения. Например, с момента, в котором соотношение зелени в колосьях рисовой шелухи составляет около 10%, то устанавливается время начала сбора урожая, и время, в котором это соотношение составляет около 2%, устанавливается как время окончания сбора урожая, блок 84 вычисления индекса роста посредством RGB изображения вычисляет индекс роста на основании соотношений зелени рисовая шелухи. Поскольку, блок 84 вычисления индекса роста посредством RGB изображения вычисляет индекс роста на основании RGB изображения только с использованием информации изображения области в изображении RGB, в котором находится целевой объект, блок 84 вычисления индекса роста посредством RGB изображения может вычислить индекс роста с более высокой точностью.
Блок 85 вычисления индекса роста посредством NDVI изображения вычисляет индекс роста на основании информации изображения области, указанной в качестве целевой области в NDVI изображении. Здесь NDVI указывает на стандартизированный индекс растительного покрова, как выражено следующей формулой (1).
В формуле (1), NDVI является стандартизированным индексом растительного покрова, R_NIR является коэффициентом отражения ближнего инфракрасного диапазона, и R_RED является коэффициентом отражения красного света. Таким образом, блок 33 генерирования NDVI изображения датчика-видеокамеры 11, описанной выше, генерирует изображение, полученное посредством выполнения арифметической операции согласно вышеописанной формулы (1), как NDVI изображение. NDVI используется в качестве индекса роста листвы. Следует отметить, что коэффициенты отражения света ближнего инфракрасного диапазона и красного света вычисляются путем получения величины интенсивности красного света и NIR интенсивности в области, которая не является целевой областью, например, интенсивность падающего естественного света, и получение величины интенсивности красного света и NIR интенсивности в целевой области, как интенсивность отраженного света в RGB изображении и NIR изображении. Кроме того, коэффициенты отражения света в ближней инфракрасной области и красного света также могут быть получены путем измерения интенсивности падающего света со ссылкой на диффузор панели с известным коэффициентом отражения, вычисляя коэффициент отражения из соотношения между интенсивностью и величиной отражения освещения целевого объекта, и преобразование коэффициента в коэффициент отражения. Более того, блок 85 вычисления индекса роста посредством NDVI изображения вычисляет индекс роста на основании NDVI изображения из среднего значения, отклонения или вариации высокого порядка NDVI только целевой области. Посредством выполнения данной операции, индекса роста на основании NDVI изображения вычисляется только из информации, полученной из пикселей в пределах целевой области и индекса роста на основании NDVI изображения может быть вычислен с более высокой точностью.
Блок 86 вычисления индекса роста посредством стереоскопического изображения генерирует изображение параллакса на основании информации областей того же целевого объекта, захваченного множеством датчик-камер 11, получает размеры целевой сельскохозяйственной продукции, как информацию стереоскопического изображения, и вычисляет индекс роста на основании стереоскопического изображения, используя информацию изображения, которая включает в себя размеры стереоскопического изображения.
Блок 87 вычисления времени сбора урожая вычисляет ожидаемое оптимальное время сбора урожая на основании индекса роста, используя RGB изображение, индекса роста, используя NDVI изображение, индекса роста на основании стереоскопического изображения, и последняя информация из информации вышеуказанных элементов, накопленных в блоке 82 накопления информации ситуации роста.
Блок 88 накопления информации управления хранит информацию о позиции датчика, области (страна, город и т.д.), виде сельскохозяйственной продукции, владельце сельскохозяйственной продукции (или ферме), ферме или поле Gp, авторизованном дистрибьюторе, авторизованном предприятии розничной торговли, группе, индексе роста и ожидаемом оптимальном времени сбора урожая для каждого IP-адреса для идентификации датчика-видеокамеры 11, как показано на фиг. 6. В поле расположения датчика, необходимо получить информацию с помощью GPSs 36, поставляемую датчик-видеокамерами 11. В поле области, страны, города и т.д., то требуется установить взаимосвязь с местоположением. В поле вида сельскохозяйственной продукции, то необходимо предоставить информацию, указывающую на тип сельскохозяйственной продукции, культивируемую в области произрастания, контролируемую датчик-видеокамерами 11. В поле владельца сельскохозяйственной продукции (или фермы), необходимо предоставить информацию о владельце сельскохозяйственной продукции или ферме, для которых установлены датчик-видеокамеры 11, в соответствии с указанными IP-адресами. В поле фермы или поля Gp, группы и т.д., управляемой, например, то регистрируется тот же владелец. В поле авторизованного дистрибьютора, регистрируется информация о дистрибьюторе, который будет транспортировать сельскохозяйственную продукцию, контролируемую датчик-видеокамерами 11, которые идентифицируются по IP-адресам. В поле контрактной розничной торговли, регистрируется информация о контрактном продавце, который будет продавать сельскохозяйственную продукцию, контролируемую датчик-видеокамерами 11, которые идентифицируются по IP-адресам. В поле группы, регистрируется наименование группы, выделенной для областей, в которых выполняется сбор урожая одновременно. В поле индекса роста, регистрируется индекс роста сельскохозяйственной продукции в пределах контролируемой области датчик-видеокамерами 11, которую можно определить по IP-адресу. В поле предполагаемого оптимального времени сбора урожая, регистрируется информация ожидаемого оптимального времени сбора урожая, что ожидается на основании индекса роста и последней информации.
Как показано фиг. 6, AAA, ВВВ, ССС зарегистрированы в качестве IP-адресов. Кроме того, позиция датчика, с IP-адресом AAA, обозначенным как А, область обозначена как а, вид сельскохозяйственной продукции обозначен как Alpha, владелец сельскохозяйственной продукции назван как "Kou," ферма или поле Gp обозначена как G1, авторизованный дистрибьютор обозначен как (1), договорной розничный торговец назван "Ah", группа обозначена как i, индекс роста равен 60 и ожидаемое оптимальное время сбора урожая определено как 15 октября.
Аналогичным образом, позиция датчика с IP-адресом ВВВ указывается как В, область обозначена как а, вид сельскохозяйственной продукции обозначен как Alpha, владелец сельскохозяйственной продукции назван как "Kou," ферма или поле Gp обозначена как G1, авторизованный дистрибьютор обозначен как (1), договорной розничный торговец назван "Ah", группа обозначена как i, индекс роста равен 70 и ожидаемое оптимальное время сбора урожая определено как 16 октября.
Более того, позиция датчика с IP-адресом ССС указывается как С, область обозначена как с, вид сельскохозяйственной продукции обозначен как Beta, владелец сельскохозяйственной продукции назван как "Otsu," ферма или поле Gp обозначена как G2, авторизованный дистрибьютор обозначен как (2), договорной розничный торговец назван "Eah", группа обозначена как ii, индекс роста равен 65 и ожидаемое оптимальное время сбора урожая определено как 20 октября.
Блок 89 вычисления индекса роста вычисляет набор индексов роста как, например, взвешенное среднее значение индекса роста на основании RGB, индекса роста на основании NDVI и индекса роста с учетом стереоскопического изображения на основании любого одного или всех индексов.
Блок 90 сопоставления генерирует информацию, полученную посредством сопоставления индексов роста и ожидаемых оптимальных дат сбора урожая, как информацию на картах в каждой области.
Когда блок 91 мониторинга работы датчика-видеокамеры сравнивает последовательные изменения изображений RGB, включенные в состав информации о ситуации роста и есть чрезвычайно резкие изменения, блок мониторинга работы датчика-видеокамеры осуществляет мониторинг функционирования путем определения наличия или отсутствия нештатного рабочего состояния, возникшего в датчик-видеокамерах 11.
Блок 92 связи может включать в себя Ethernet-плату и т.п., и управляется с помощью блока 81 управления, таким образом, получать информацию о ситуации роста и информацию запроса, передаваемую из терминальных устройств 12, и передавать информацию ответа в терминальные устройства 12.
Блок 93 формирования плана уборки урожая генерирует информацию формирования плана уборки урожая из информации о времени сбора урожая на основании информации о ситуации роста и ожидаемого оптимального времени сбора урожая, и передает информацию в терминальное устройство 12, которое управляется и обслуживается фермером, с помощью блока 92 связи. Необходимо отметить, что информация о плане сбора урожая может быть передана не только на терминальное устройство 12, управляемое и обслуживаемое фермером, но и на терминальное устройство 12, которое управляется и эксплуатируется дистрибьютором, предприятие розничной торговли и потребителем. Благодаря передаче дистрибьютор, розничный торговец и потребитель также могут сформулировать свои собственные планы дистрибуции, планы продаж и закупочные планы из информации плана сбора урожая.
Блок 94 формирования плана доставки генерирует информацию плана доставки из информации о времени сбора урожая на основании информации о ситуации роста и информации ожидаемого оптимального времени сбора урожая, и передает информацию в терминальное устройство 12, управляемое и обслуживаемое предприятием розничной торговли с помощью блока 92 связи.
Блок 95 формирования плана продаж генерирует информацию плана продаж из информации о времени сбора урожая на основании информации о ситуации роста и информации об ожидаемом оптимальном времени сбора урожая, и передает информацию в терминальное устройство 12, управляемое и обслуживаемое предприятием розничной торговли, с помощью блока 92 связи.
Блок 96 формирования плана закупок генерирует информацию плана закупок из информации о времени сбора урожая на основании информации о ситуации роста и информации об ожидаемом оптимальном времени сбора урожая, и передает информацию в терминальное устройство 12, управляемое и обслуживаемое потребителем, с помощью блока 92 связи.
Блок 97 приема запроса управляет блоком 92 связи таким образом, что принимается информация с запросом, которая включает в себя запросы в отношении времени сбора урожая, помимо прочей информации, передаваемой из терминального устройства 12, эксплуатируемого либо потребителем, розничным торговцем, дистрибьютором или фермером, например, через сеть 13.
Блок 98 формирования ответа генерирует информацию ответа, включающую в себя, например, информацию сопоставления индекса роста, генерируемую блоком 90 сопоставления, соответствующую информации, принятой в качестве информации запроса, и управляет блоком 92 связи таким образом, что информация ответа передается на терминальные устройства 12, которые передали информацию с запросом.
Процесс накопления информации ситуации роста посредством датчика-видеокамеры
Со ссылкой на фиг. 7 далее будет описан процесс накопления информации ситуации роста с помощью датчика-видеокамеры.
На этапе S11 блок 34 управления датчика-видеокамеры 11 определяет, истекло ли заданное время от предыдущего процесса зондирования на основе информации времени, генерируемой RTC 38, и информации времени начала предыдущего процесса зондирования. Когда заданное время не истекло от предыдущего процесса зондирования на этапе S11, то процесс переходит к этапу S15.
На этапе S15, блок 34 управления определяет, получена ли или нет команда окончания операции посредством операции операционного блока, не показан на чертежах. Когда команда окончания операции получена на этапе S15, то процесс завершается, и когда команда окончания операции не получена, то процесс возвращается на этап S11. Другими словами, процессы на этапах S11 и S15 повторяются до тех пор, пока не поступит команда окончания операции или не истечет предварительно определенное время. Кроме того, когда предварительно определенное время истекает на этапе S11, то процесс переходит к этапу S12.
На этапе S12 датчик 31 выполняет процесс зондирования и получает изображение RGB и NDVI изображение из процесса зондирования. Обратите внимание, что различные иллюстративные варианты осуществления процесса зондирования будут описаны позже более подробно со ссылкой на блок-схему алгоритма на фиг. 10.
На этапе S13, блок 39 генерирования информации ситуации роста генерирует информацию о ситуации роста на основании изображения RGB и изображения NDVI, полученные в процессе зондирования, IP-адресов, хранящиеся в блоке 35 хранения IP-адресов, позиционной информации, включающую в себя долготу и широту места, полученную посредством GPS 36, информации температуры, влажности, атмосферного давления, измеренной блоком 37 измерения информации окружающей среды, и временной информации, генерируемой RTC 38. Обратите внимание, что, так как информация о ситуации роста включает в себя только информацию, указывающую ситуацию роста сельскохозяйственной продукции или информацию для распознавания ситуации роста, информации о ситуации роста может включать в себя информацию, указывающую на ситуацию роста или информацию для распознавания ситуации роста в дополнение к изображению RGB и изображению NDVI, IP-адресу, позиционной информации, включающая в себя долготу и широту места, информации температуры, влажности, атмосферного давления и временной информации.
На этапе S14, блок 34 управления управляет блоком 40 связи так, что сгенерированная информация ситуации роста передается на сервер 14, и процесс возвращается на этап S11. В этот момент, в различных вариантах осуществления, блок 34 управления блоком 41 определения коммуникационного тракта так, чтобы устанавливать связь с периферийной датчик-видеокамерой 11, затем определяет датчик-видеокамеру 11, которая будет использоваться для передачи информации о ситуации роста на сервер 14, и затем передает информацию ситуации роста на сервер 14 через указанную датчик-видеокамеру 11 по коммуникационному тракту.
Другими словами, как показано на фиг. 8, когда позиции, в которой датчик-видеокамеры 11 установлены, обозначены узлами с N1 по N10, например, устанавливается информация для вывода в интернет через базовую станцию K и шлюз GW, информации ситуации роста датчика-видеокамеры 11, соответствующей узлу N5, передается на базовую станцию K через датчик-видеокамеру 11, указанную узлом N4, и датчик-видеокамеру 11, указанную узлом N3, которые расположены рядом. В этом иллюстративном случае, датчик-видеокамера 11, обозначенная узлом N4, передает информацию ситуации роста узла N5 и свою собственную информацию ситуации роста в узел N3. Кроме того, узлы N1 и N2 передают свою информацию ситуации роста в узел N3. Кроме того, узел N3 перестраивается и передает на базовую станцию K информацию ситуации роста от узлов с N1 по N5. Кроме того, датчик-видеокамера 11, указанная узлом N7 передает информацию ситуации роста в датчик-видеокамеру 11, указанную узлом N6, перестраивает информацию о ситуации роста узлом N6 и N7 и выводит информацию в интернет через базовую станцию K и шлюз GW. Кроме того, датчик-видеокамеры 11, указанные узлами N9 и N10 соответственно, передают свою информацию о ситуации роста в датчик-видеокамеру 11, указанную узлом N8, и датчик-видеокамеру 11, обозначенную узлом N8, перестраивает информации о ситуации роста узлов с N8 по N10, и выводит информацию в интернет через базовую станцию K и шлюз GW.
Из вышеописанного процесса видно, что сложность, вызванная коммуникацией между базовой станцией K и шлюзом GW, может быть уменьшена и информация о ситуации роста может быть передана с более высокой скоростью, чем когда информация о ситуации роста из всех датчик-видеокамер 11 выводится одновременно. Отметим, поскольку информация о ситуации роста от всех датчик-видеокамер 11, которая должна быть передана только на сервер 14, передается эффективно, то информация о ситуации, роста от всех датчик-видеокамер 11, может быть передана с использованием других способов, отличных от способа передачи информации между датчик-видеокамерами 11, в виде способов релейной передачи, как описано выше, или, например, может быть передана непосредственно на базовую станцию K от каждой датчик-видеокамеры 11. Кроме того, каждая из датчик-видеокамера 11 может реорганизовывать и передавать информацию о ситуации роста от другой датчик-видеокамеры 11 или может последовательно передавать каждую порцию информации ситуации роста на базовую станцию K в заданном порядке. В качестве одного примера, когда каждая из датчик-видеокамер 11 передает информацию ситуации роста непосредственно на базовую станцию K, информация может быть передана от каждой из датчик-видеокамер 11 на базовую станцию K, и это может повысить эффективность коммуникации.
Кроме того, как показано на фиг. 9, когда установлены датчик-видеокамеры 11, указанные узлами с N11 по N17, с N21 по N23 и с N31 по N33, это может быть выполнено по отношению к датчик-видеокамерам 11, указанных, например, узлами с N21 по N23 и с N31 по N33, датчик-видеокамеры 11, указанные узлами с N21 по N23, установлены, чтобы быть первой группой G11, датчик-видеокамеры 11, указанные узлами с N31 по N33, установлены так, чтобы быть второй группой G12, фрагменты информации ситуации роста накапливаются в представительном узле каждой группы, и датчик-видеокамера 11 представительного узла перестраивает и выводит части информации о ситуации роста датчик-видеокамер 11 других узлов, которые принадлежат к группе. Дополнительно, в связи с установкой групп G11 и G12, например, датчик-видеокамеры 11, установленные на сельхозугодиях, находящихся в собственности одного владельца, могут принадлежать той же группе, или датчик-видеокамеры 11 установлены в паре для того, чтобы захватить стереоскопическое изображение, как описано здесь, и могут принадлежать той же группе.
Из описанного выше процесса, фрагменты информации ситуации роста, которые включают в себя RGB изображения и NDVI изображения, могут быть сгенерированы в заданном временном интервале, последовательно переданы на сервер 14 и последовательно накоплены на сервере 14.
Процесс зондирования
Со ссылкой на фиг. 10 будет описан иллюстративный процесс зондирования.
На этапе S31 датчик 31 захватывает изображение с размером, в котором размер и цвет сельскохозяйственной продукции, которая будет убрана, могут быть полностью распознаны в диапазоне культивируемой продукции, которая является объектом обработки. Кроме того, датчик-видеокамеры 11 установлены с интервалом и в направлении, в котором может быть сформированы изображения угодий в описанных выше условиях формирования изображений.
В этапе S32, блок 32 генерирования RBG изображения и блок 33 генерирования NDVI изображения выполняют процесс демозаики на световых пучках каждого цвета пикселей, захваченных датчиком 31. Другими словами, блок 32 генерирования RBG изображения выполняет процесс демозаики на пикселях соответствующих красному, зеленому и синему свету, чтобы генерировать красные, зеленые и синие составляющие сигнала изображения. Кроме того, блок 33 генерирования NDVI изображения выполняет процесс демозаики NIR пикселей для генерации NIR составляющих сигнала изображения.
На этапе S33, блок 32 генерирования RBG изображения объединяет демозаичные составляющие сигнала RGB изображений для генерирования RGB изображения.
На этапе S34, блок 33 генерирования NDVI изображения измеряет интенсивность NIR и красного света, выступающего в качестве света, падающего из области, распознанной как изображение неба для каждого пикселя, и измеряет интенсивность NIR и красного света, выступающей в качестве отраженного света в областях, отличных от вышеупомянутой области, на основании NIR изображения и изображения красного цвета, вычисляет коэффициенты отражения NIR и красного света, и генерирует NDVI изображение. По этой причине, датчик 31 установлен под углом, при котором захваченная область сельскохозяйственной продукции, которая является предметом измерения, и область, в которой падающий свет красного света или NIR с неба, может быть измерена и могут быть включены в состав. Кроме того, когда трудно установить датчик под этим углом, предусмотрены панорама и механизм наклона в датчик-видеокамерах 11, падающий свет красного света и NIR захватываются камерами, обращенными в небо, камеры управляются так, чтобы области сельскохозяйственной продукции, которая является предметом контроля, захватывались, отраженный свет улавливался, и генерировалось NDVI изображение, как описано выше. Кроме того, коэффициенты отражения NIR и красного света также могут быть получены путем измерения интенсивности падающего света со ссылкой на диффузор панели с известной коэффициентом отражения, расчет коэффициента отражения из соотношения между интенсивностью и отражением яркости мишени, и преобразование коэффициента в коэффициент отражения.
На этапе S35, блок 34 управления управляет блоком 37 измерения информации окружающей среды таким образом, что измеряются значения температуры, влажности, атмосферного давления, составляющие информацию окружающей среды.
Посредством выполнения описанного выше процесса, генерируется информация, содержащая информацию о ситуации роста, такую как изображения RGB, NDVI изображения и значения температуры, влажности, атмосферного давления, и которые включены в состав измеряемой информации окружающей среды. Следует отметить, что информация, составляющая информацию о ситуации роста, может включать в себя информацию, отличную от изображения RGB, NDVI изображения и температуры, влажности и атмосферного давления, которые включены в состав информации окружающей среды. Такая информация может включать в себя информацию, которая необходима для распознавания ситуации роста.
Процессы накопления информации ситуации роста посредством сервера и каждым терминальным устройством
Со ссылкой на фиг. 11 и фиг. 12 будет описаны процессы накопления информации ситуации роста посредством сервера 14 и каждым терминальным устройством 12.
На этапе S61, блок 81 управления сервера 14 управляет блоком 92 связи таким образом, что определяется факт того, была ли передана информация ситуации роста из любой датчик-видеокамеры 11, и когда определено, что информация не передана, то процесс переходит к этапу S82.
На этапе S82, блок 81 управления определяет, функционировал или нет операционный блок, который не показан на чертежах, и получена ли команда на окончание операции, и, когда получена команда завершения операции, то процесс заканчивается. Кроме того, когда команда завершения операции не получена, то процесс возвращается к этапу S61. Другими словами, когда команда завершения операции и информация о ситуации роста не передается, то процессы этапов S61 и S82 повторяются. Когда информация ситуации роста передается на этапе S61, например, из процесса этапа S14 на фиг. 7, то процесс переходит к этапу S62.
На этапе S62 блок 81 управления управляет блоком 92 связи таким образом, что принимается информация о ситуации роста, переданная от датчик-видеокамер 11, и управляет блоком 82 накопления информации ситуации роста таким образом, что принятая информация ситуации роста, накапливается. В этом иллюстративном случае, принятая информация ситуации роста может быть образована с помощью множества частей информации ситуации роста, поступившей из множества датчик-видеокамер 11, как описано здесь. Таким образом, множество частей информации ситуации роста может накапливаться посредством одноразового процесса. Тем не менее, в следующем описании, весь процесс протекает в предположении, что фрагменты информации ситуации роста передаются от двух датчик-видеокамер 11, которые захватывают один и тот же целевой объект, как стереоскопическое изображение, в одном процессе приема, хотя другие процессы, также используются в различных вариантах осуществления настоящего изобретения.
На этапе S63, блок 81 управления управляет блоком 83 определения целевой области таким образом, что определяется целевая область, которая представляет собой область в изображении, которую получают в результате формирования изображения целевой сельскохозяйственной продукции на основании изображения RGB, включенного в состав передаваемой информации ситуации роста. В одном иллюстративном конкретном примере, блок 83 определения целевой области извлекает информацию признака, такую как формы и окрас сельскохозяйственной продукции, которой индекс роста должен быть вычислен из RGB изображения. Кроме того, блок 83 определения целевой области определяет, совпадает ли или нет извлеченная информации признака фактической форме и окрасу сельскохозяйственной продукции, сохраненной заранее, и определяет целевую область, которая включает в себя область в сопоставляемом RGB изображении, в котором сельскохозяйственная продукция, индекс роста которой должен быть вычислен, изображается. Заметим, что в этом иллюстративном случае, в отношении определяемой сельскохозяйственной продукции, например, блок 83 определения целевой области может задавать информацию признака путем поиска информации управления, накопленной в блоке 88 накопления информации управления на основании IP-адреса, включенного в состав информации ситуации роста, включающая в себя RGB изображение, и чтение и использование информации, зарегистрированной в поле типа сельскохозяйственной продукции, как показано на фиг. 6.
На этапе S64, блок 81 управления 81 управляет блоком 84 вычисления индекса роста посредством RGB изображения таким образом, что индекс роста с использованием изображения RGB вычисляется на основании целевой области в изображении RGB. В одном иллюстративном конкретном примере, в отношении времени сбора урожая риса, например, блок 84 вычисления индекса роста посредством RGB изображения предполагает время, в котором соотношение зелени, вычисленное для рисовой шелухи в одном колосе, составляет около 10%, чтобы рассматриваться как время начала сбора урожая, и время, в котором такое соотношение составляет примерно 2%, чтобы рассматриваться как временя окончания сбора урожая, и, таким образом, индекс роста вычисляется на основании соотношения зелени рисовой шелухи, а индекс определяется как индекс роста на основании изображения RGB.
На этапе S65, блок 81 управления управляет блоком 85 вычисления индекса роста посредством NDVI изображения таким образом, что индекс роста с использованием NDVI вычисляется на основании целевой области в NDVI изображении. В одном иллюстративном конкретном примере блок 85 вычисления индекса роста посредством NDVI вычисляет, например, среднее значение, разброс или отклонение высокого порядка NDVI целевой области, тем самым вычисляя индекс роста посредством NDVI изображения.
На этапе S66, блок 81 управления управляет блоком 86 вычисления индекса роста посредством стереоскопического изображения таким образом, что индекс роста с использованием стереоскопического изображения вычисляется на основании стереоскопического изображения. В одном иллюстративном конкретном примере, блок 86 вычисления индекса роста посредством стереоскопического изображения извлекает два RGB изображения, включенные в состав информации о ситуации роста, по меньшей мере, от двух датчик-видеокамер 11, которые захватывают RGB изображения формируя стереоскопическое изображение. Другими словами, как показано на фиг. 13, датчик-видеокамеры 11-1 и 11-2 формируют изображения одной и той же сельскохозяйственной продукции M1 с разных углов, и блок 86 вычисления индекса роста посредством стереоскопического изображения генерирует стереоскопическое изображение, т.е. параллакса изображения от двух изображений RGB, захваченных двумя датчик-видеокамерами 11-1 и 11-2. Кроме того, блок 86 вычисления индекса роста посредством стереоскопического изображения генерирует трехмерное изображение сельскохозяйственной продукции, находящееся в целевой области, на основании параллакса изображения и вычисляет индекс роста на основании стереоскопического изображения, исходя от размера. Обратите внимание, что целевая область в процессах на этапах S65 и S66 может быть областью, отличной от области, полученной на основании изображений RGB до тех пор, пока область продукции, которая является целевой, может быть указана таковой, или область, которая, например, принадлежит к любой области NDVI изображения, имеющего высокую вероятность присутствия в ней целевого объекта, и имеющего значение NDVI выше, чем заданное значение, и область, полученную на основе изображений RGB, может быть установлена как целевая область.
На этапе S67, блок 81 управления управляет блоком 89 вычисления индекса роста таким образом, что индекса роста целевой сельскохозяйственной продукции вычисляется на основе индекса роста с использованием RGB изображения, индекса роста с использованием NDVI изображения и индекса роста с использованием стереоскопического изображения. В качестве одного иллюстративного конкретного примера, блок 89 вычисления индекса роста может использовать среднее значение трех видов индекса роста как индекс роста, может применять взвешенную сумму индексов как индекс роста или может выбрать один из индексов в качестве индекса роста. Кроме того, когда отсутствует возможность вычислить все значения индекса роста RGB изображения, индекса роста изображения NDVI и индекса роста стереоскопического изображения, среднее значение или взвешенная сумма вычислимых индексов роста может быть установлена как индекс роста.
На этапе S68, блок 81 управления выполняет поиск информации управления среди информации управления, накопленной в блоке 88 накопления информации управления, которая соответствует IP-адресу, включенному в состав информации ситуации роста, переданную из датчик-видеокамер 11, и обновляет значение индекса роста, включенное в состав найденной информации управления, к значению, вычисленному в процессе выполнения описанного выше процесса.
На этапе S69, блок 81 управления управляет блоком 87 вычисления времени сбора урожая таким образом, что время сбора урожая рассчитывается на основании индекса роста, экологической информации и информации о ситуации роста и информации о времени сбора урожая в прошлом. Другими словами, блок 87 вычисления времени сбора урожая вычисляет ожидаемое время сбора урожая в этом сезоне из информации изменения в индексе оценки роста этого сезона, основанной на отношениях между информацией изменения индексов оценки роста и информации времени сбора урожая в прошлом, как ожидаемое оптимальное время сбора урожая.
На этапе S70, блок 81 управления выполняет поиск информации управления среди информации управления, накопленной в блоке 88 накопления информации управления, которая соответствует IP-адресу, включенному в состав информации ситуации роста, переданная из датчик-видеокамер 11, и обновляет информацию ожидаемого оптимального времени сбора урожая, включенную в состав найденной информации управления, к значению, вычисленному в процессе выполнения описанного выше процесса.
На этапе S71, блок 81 управления управляет блоком 91 мониторинга работы датчика-видеокамеры таким образом, определяя наличие или отсутствие сбоя в работе датчик-видеокамер 11, которые передают информацию о ситуации роста на основании RGB изображений. В одном иллюстративном конкретном примере, блок 91 мониторинга работы датчика-видеокамеры сравнивает текущее RGB изображение с изображением RGB, захваченным в предшествующем моменте времени, причем оба имеют одинаковый IP-адрес, включенный в состав передаваемой информации о ситуации роста, среди информации о ситуации роста, накопленной в блоке 82 накопления информации ситуации роста, и определяет наличие или отсутствие сбоя в работе датчик-видеокамер 11 на основании наличия или отсутствия изменения между изображениями, величина которого превышает заданное значение. Другими словами, датчик-видеокамеры 11, в основном, представляют собой камеры с фиксированной уставкой и существенное изменение в RGB изображении отсутствует, даже если заданное время интервала формирования изображения составляет, например, около суток. Таким образом, при наличии значительного изменения, считается, что в работе датчик-видеокамере 11 присутствует сбой. Таким образом, когда блок 91 мониторинга работы датчика-видеокамеры сравнивает текущее переданное изображение RGB с предшествующим изображением RGB, и при наличии значительного изменения между изображениями определяется наличие сбоя в работе камер, то процесс переходит к этапу S72. Обратите внимание, что появление нарушения режима работы датчик-видеокамеры 11 может быть также определено при сравнении изображений NIR, NDVI изображений, NDVI средних значений, разноса значений, высокого порядка дисперсии и индексов роста.
На этапе S72, блок 91 мониторинга работы датчика-видеокамеры, определил, что датчик-видеокамера 11 работает в нештатном режиме, которая передает информацию о ситуации роста, выполняет поиск информации управления на основании IP-адреса датчик-видеокамеры 11, и уведомляет терминальное устройство 12, которое управляется и эксплуатируется владельцем сельскохозяйственной продукции (сельскохозяйственных угодий), включенный в состав информации управления поиска, или мобильный телефон не показан на чертежах, о возникновении сбоя в работе.
С другой стороны, когда считается, что отклонений от штатного режима работы не происходит, на этапе S71, то процесс этапа S72 пропускается.
На этапе S73, блок 81 управления определяет, является ли значение индекса роста выше, чем заданное пороговое значение, и приближается ли ожидаемое оптимальное время сбора урожая. На этапе S73, когда, например, значение индекса роста превышает заданное пороговое значение и приближается ожидаемое оптимальное время сбора урожая, другими словами, когда считается, что настал тот самый день, соответствующий ожидаемому оптимальному времени сбора урожая, или день, заданный на определенное количество дней раньше этого дня, то процесс переходит к этапу S74.
На этапе S74, блок 81 управления управляет блоком 93 разработки плана сбора урожая таким образом, что формируется план сбора урожая. Например, блок 93 разработки плана сбора урожая оценивает объем урожая в диапазоне, в котором предполагаемое оптимальное время сбора урожая перекрывается в информации управления, управляется в соответствии с IP-адресами, и составляет график уборки урожая, от начала сбора урожая на основании производительности сельскохозяйственных машин для уборки урожая, которые могут быть зарегистрированы заранее владельцем той же сельскохозяйственной продукции (сельскохозяйственных угодий).
На этапе S75, блок 81 управления управляет блоком 92 связи таким образом, что информация о плане сбора урожая, созданная блоком 93 разработки плана сбора урожая, передается на терминальное устройство 12, управляемое и эксплуатируемое фермером. Следует отметить, что информация о плане сбора урожая может также передаваться на терминальное устройство 12, управляемое и эксплуатируемое дистрибьютором, розничным торговцем и потребителем. На основании данной операции, дистрибьютор, розничный торговец и потребитель могут сформировать свои собственные планы распределения, планы продаж и планы покупки, исходя из информации плана сбора урожая.
После выполнения этого процесса на этапе S91 (фиг. 12), блок 61 управления каждого терминального устройства 12 управляет блоком 64 связи таким образом, что определяется факт того, был ли передан план сбора урожая, и тот же самый процесс повторяется до тех пор, пока план передается. Когда план уборки урожая передается посредством, например, выполнения процесса на этапе S75 на фиг. 12, на этапе S91, то процесс переходит к этапу S92.
На этапе S92, блок 61 управления управляет блоком 64 связи таким образом, что принимается переданная информация о плане уборки урожая.
На этапе S93, блок 61 управления предписывает информацию о плане урожая, полученного блоком 64 связи, которое будет отображаться на устройстве отображения 66.
На этапе S76 (фиг. 11), блок 81 управления управляет блоком 94 разработки плана доставки таким образом, что формируется план доставки. Например, блок 94 разработки плана доставки оценивает объем урожая в диапазоне, в котором предполагаемое оптимальное время сбора урожая перекрывается в информации управления, управляется в соответствии с IP-адресами, и составляет график поставки, от начала сбора урожая на основании характеристик транспортных средств для доставки урожая, которые могут быть зарегистрированы заранее авторизованным дистрибьютором.
На этапе S77, блок 81 управления управляет блоком 92 связи таким образом, что информация о плане доставки, генерируемого блоком 94 разработки плана доставки, передается на терминальное устройство 12, управляемое и эксплуатируемое авторизованным дистрибьютором. Отметим, что поскольку процесс, выполняемый в терминальном устройстве 12, представляет собой только прием и отображение плана доставки вместо обработки данных плана урожая в процессе, описанном со ссылкой на блок-схему алгоритма на фиг. 12, то описание процесса опускается. Кроме того, в процессах на этапах S76 и S77, план доставки, план продаж и план закупок всех сельхозугодий, включающие в себя сельхозугодия, где урожай не был законтрактован с дистрибьютором, предприятием розничной торговли и потребителем, могут быть переданы дистрибьютору, розничному торговцу и потребителю, которые показаны на фиг. 1 в качестве подрядчиков. Кроме того, в процессах на этапах S76 и S77, план доставки, план продаж и план закупок для сельхозугодий, которые находятся в пределах областей, которые контролируются дистрибьютором, предприятием розничной торговли и потребителем, могут быть переданы дистрибьютору, предприятию розничной торговли и потребителю, которые показаны на фиг. 1, в качестве подрядчиков. В таком иллюстративном случае, для крупной дистрибьюторской компании, например, плане доставки может быть передан филиалам.
На этапе S78, блок 81 управления управляет блоком 95 формирования плана продаж таким образом, что формируется план продаж. В качестве одного иллюстративного конкретного примера, блок 95 формирования плана продаж оценивает объем урожая в диапазоне, в котором предполагаемое оптимальное время сбора урожая перекрывается в информации управления, управляется в соответствии с IP-адресами, и составляет график продаж, от начала сбора урожая на основании количества продукции на складе, которое может быть зарегистрировано заранее авторизованным предприятием розничной торговли.
На этапе S79, блок 81 управления управляет блоком 92 связи таким образом, что информация о плане продаж, создаваемого блоком 95 формирования плана продаж, передается на терминальное устройство 12, управляемое и эксплуатируемое авторизованным предприятием розничной торговли. Отметим, что поскольку процесс, выполняемый в терминальном устройстве 12, представляет собой просто операцию приема и отображения плана продаж, вместо процедуры обработки данных плана урожая, описанном со ссылкой на блок-схему алгоритма на фиг. 12, то описание такового опущено. Кроме того, в процессах на этапах S78 и S79, может рассматриваться розничный торговец, расположенный вблизи угодий, как выбранный из розничных торговцев, показанных на фиг. 1, и выступающий в качестве подрядчика услуг для каждого из угодий, и план продаж передается выбранному розничному торговцу. В таком иллюстративном случае, например, план продаж может быть передан филиалам крупного предприятия розничной торговли, таким как супермаркет, и дополнительно, информация, к которой добавлен план доставки, может быть им передана.
На этапе S80, блок 81 управления управляет блоком 96 разработки плана закупок таким образом, что формируется план закупок. В качестве одного иллюстративного конкретного примера, блок 96 разработки плана закупок оценивает объем урожая в диапазоне, в котором предполагаемое оптимальное время сбора урожая перекрывается в информации управления, управляется в соответствии с IP-адресами, и составляет график закупок, от начала сбора урожая на основании количества продукции для закупок, которое может быть зарегистрировано заранее покупателем.
На этапе S81, блок 81 управления управляет блоком 92 связи таким образом, что информация о плане покупки, генерируемого блоком 96 разработки плана закупок, передается на терминальное устройство 12, и процесс возвращается к этапу S61. Отметим, что поскольку процесс, выполняемый в терминальном устройстве 12, представляет собой просто прием и отображение плана закупок, вместо обработки данных плана урожая, описанном со ссылкой на блок-схему алгоритма на фиг. 12, то описание такового опущено. Кроме того, в процессах на этапах S80 и S81, план закупок продуктов, которые могут быть приобретены, может быть передан каждому потребителю из потребителей, показанных на фиг. 1, которые являются подрядчиками услуг. Кроме того, план закупок Может быть сформирован в соответствий с планом продаж конкретного ритейлера, например, который находится вблизи места потребителя, и передал план для потребителей, которые покупают продукцию на предприятиях розничной торговли.
Кроме того, на этапе S73, когда индекс роста не превышает заданное пороговое значение, то процесс переходит к этапам с S83 по S86. Отметим, что поскольку процессы этапов с S83 по S86 такие же, как процессы этапов с S74 по S76, S78 и S80, то их описание опущено. Другими словами, даже когда индекс роста не превышает заданное пороговое значение на этапе S73, то могут быть разработаны план сбора урожая, план доставки, план продаж, план закупок, и когда существует запрос в отношении каждого из планов, ответ может быть направлен относительно каждого из планов, и обработанный индекс роста может быть передан всякий раз, когда происходит изменения.
Другими словами, согласно приведенному выше процессу, фрагменты информации ситуации роста, которые передаются от датчик-видеокамер 11 в заданном интервале времени, последовательно накапливаются. В течение этого времени, индекс роста и ожидаемое оптимальное время сбора урожая в информации управления, управляемой на основании IP-адресов датчик-видеокамер 11, последовательно обновляются и записываются на основании фрагментов информации о ситуации роста. В результате, индекс роста и ожидаемое оптимальное время сбора урожая обновлено до последней информации в заданном интервале времени, и когда ожидаемое оптимальное время сбора урожая наступает, обновленная информация может быть передана в терминальные устройств 12, управляемые и обслуживаемые каждым из фермером, авторизованным дистрибьютором, авторизованным предприятием розничной торговли и потребителем в режиме реального времени, как и информация о плане сбора урожая, плане доставки, плане продаж и плане закупок. Кроме того, поскольку соответствующие модели поведения могут быть приняты в соответствии с ожидаемым оптимальным временем сбора урожая путем передачи информации о плане уборки урожая, плане доставки, плане продаж и плане закупок, то представляется возможным эффективно осуществить сбор урожая, доставку, продажу и закупку. Кроме того, последовательно сравнивая изображения RGB, можно обнаружить неисправности датчик-видеокамеры 11, таким образом осуществляя мониторинг функционирования датчик-видеокамеры 11 соответственно. Кроме того, поскольку датчик-видеокамеры 11 могут быть использованы в качестве канала связи, даже когда датчик-видеокамера 11 украдена или перемещена в другое место сильными порывами ветра, или когда продукция была украдена, сбой в работе может быть обнаружен при сравнении передаваемой позиционной информации, которая включена в состав информации управления. Кроме того, когда датчик-видеокамера 11 может быть использована в качестве канала связи, даже когда направление изображения или угол датчик-видеокамеры 11 изменяется по любой причине, можно предположить наличие сбоя в работе, что обнаруживается с помощью того же процесса. Обратите внимание, что план сбора урожая, план доставки, план продаж, план закупок могут быть переданы в тот самый день, указанный в качестве ожидаемого оптимального времени сбора урожая, или за день заранее заданного числа от указанного дня.
Процесс направления ответа на запрос
Со ссылкой на фиг. 14 будет описан процесс направления ответа на запрос. Обратите внимание, что будут описаны процессы передачи информации с запросом для получения запроса о времени сбора урожая на сервер 14 оконечным устройством 12, управляемым и эксплуатируемым фермером, и прием и отображение информации ответа. Обратите внимание, что, так как тот же процесс выполняется, когда предприятие розничной торговли, авторизованный дистрибьютор и потребитель направляют то же самый запрос, то их описание опускается.
Другими словами, на этапе S101, блок 61 управления терминального устройства 12 управляет операционным блоком 63 таким образом, что определяется наличие или отсутствие операции запроса, сделанный в соответствии с операцией, выполняемой пользователем, и тот же самый процесс повторяется, пока не будет определена операция запроса. При определении наличия операции запроса на этапе S101, процесс переходит к этапу S102.
На этапе S102, блок 62 запроса генерирует информацию с запросом для направления запроса о времени сбора урожая, что ассоциировано с IP-адресом для определения датчик-видеокамер 11, контролирующие продукцию, возделываемую на сельскохозяйственных угодьях законтрактованного фермера, хранящийся в блоке 65 хранения IP-адресов. Обратите внимание, что, когда авторизованный дистрибьютор, розничный торговец и потребитель, как показано на фиг. 1, которые получают ряд услуг, заключают контракт на обслуживание не для каждого сельхозугодия (каждый IP-адрес), блок 62 запроса хранит информацию таблицы отношения, которая записана заранее, в котором отражены бизнес отношения дистрибьютора, розничного торговца и потребителя, ассоциированные с IP-адресами соответствующих датчика-видеокамер 11, и генерирует информацию с запросом, включающую в себя IP-адреса в соответствии с бизнес отношениями дистрибьютора, розничного торговца и потребителя.
На этапе S103 блок 61 управления управляет блоком 64 связи таким образом, что информация с запросом, генерированная блоком 62 запроса, формируя запрос о времени сбора урожая, передается на сервер 14 через сеть 13.
На этапе S121, блок 81 управления сервера 14 управляет блоком 97 приема запроса таким образом, что определяется была ли или нет передана информация с запросом из блока 92 связи, и процесс повторяется до тех пор, пока информация не будет передана. Кроме того, когда считается, что информация с запросом передана на этапе S121, то процесс переходит к этапу S122.
В этапе S122, блок 81 управления управляет блоком 97 приема запроса таким образом, что принимается информация с запросом, переданная из блока 92 связи, и содержание запроса проверяется.
На этапе S123, блок 81 управления осуществляет поиск информации управления, накопленную в блоке 88 накопления информации управления, на основании IP-адреса, включенного в состав информации с запросом, и считывает информацию об ожидаемом оптимальном времени сбора урожая и информацию областей в информации управления. Здесь, когда имеется множество датчик-видеокамер 11, которые осуществляют мониторинг культур, выращиваемых фермером, имеются в наличии множество IP-адресов. Кроме того, здесь, искомая информация ожидаемого оптимального времени сбора урожая базируется не только на датчик-видеокамеры 11, установленные на собственных сельхозугодиях фермера, но и на IP-адресах, указывающий на датчик-видеокамеру 11, определенную пользователем.
На этапе S124, блок 81 управления управляет блоком 90 сопоставления таким образом, что информация о предполагаемом оптимальном времени сбора урожая сопоставляется в положениях, соответствующих считанной информации областей в соответствии с графиком и, таким образом, генерируется информация сопоставления предполагаемого оптимального времени сбора урожая.
На этапе S125, блок 81 управления управляет блоком 98 генерирования ответа таким образом, что генерируется информация ответа, которая включает в себя сгенерированную информацию сопоставления предполагаемого оптимального времени сбора урожая.
На этапе S126, блок 81 управления управляет блоком 92 связи таким образом, что информация ответа, которая включает в себя сгенерированную информацию сопоставления предполагаемого оптимального времени сбора урожая, передается на терминальное устройство 12, которое передало информацию с запросом.
На этапе S104 блок 61 управления терминального устройства 12 управляет блоком 64 связи таким образом, что принимается информация ответа.
На этапе S105, блок 61 управления терминального устройства 12 вызывает информацию ответа, которая включает в себя сгенерированную информацию сопоставления предполагаемого оптимального времени сбора урожая, которая будет отображаться на блоке 66 отображения.
Из описанных выше процессов, информация о предполагаемом оптимальном времени сбора урожая может получать информацию сопоставления. Кроме того, посредством отображаемой информации сопоставления, информация о предполагаемом оптимальном времени сбора урожая может быть передана в режиме реального времени по требованию. Следует отметить, как описано выше, был описан процесс ответа на запрос, выполняемый посредством терминального устройства 12 под управлением фермера, но тот же самый процесс может быть также выполнен терминальным устройством 12, управляемым авторизованным дистрибьютором, авторизованным предприятием розничной торговли и договорным потребителем. Кроме того, как описано выше, контент запроса является информацией о предполагаемом оптимальном времени сбора урожая, но даже если контент представляет собой другую информацию, например, план урожая, план доставки, план продаж, план закупок, управляемую сервером 14, запрос может быть сделан посредством того же процесса, или направлен ответ на запрос. Кроме того, вполне возможно, что, например, информация сопоставления предполагаемого оптимального времени сбора сельскохозяйственной культуры передается на оконечные устройства 12 под управлением фермера, дистрибьютора, потребителя или розничных торговцев классифицируются для каждой сельскохозяйственной продукции и информация сопоставления ожидаемого оптимального времени сбора урожая передается в адрес розничных торговцев. Другими словами, информация о предполагаемом оптимальном времени сбора урожая, например, определенного вида сельскохозяйственной продукции, времени сбора урожая и наименования филиала дистрибьютора, который осуществит доставку конкретного вида продукции, может быть передана в супермаркет.
Следует отметить, что как описано в приведенном ранее примере, в котором RGB изображения и NIR изображения захватываются датчик-видеокамерами 11, описывается информация ситуации роста, включающая в себя изображения, которая передается на сервер 14, индекс роста на основании изображения RGB и индекс роста на основании NDVI изображения, которые вычисляются сервером 14, и ожидаемое оптимальное время сбора урожая, которое вычисляется. Тем не менее, посредством предоставления той же функции сервера 14 в датчик-видеокамерах 11, может быть сконфигурировано так, что посредством датчик-видеокамер 11 определяется область, в которой формируется изображения целевой сельскохозяйственной продукции, вычисляются индекс роста согласно RGB изображения и индекс роста согласно NDVI изображения области, указанной в качестве области RGB изображения и NDVI изображения, в которой формируется изображение сельскохозяйственная продукция, генерируется информация ситуации роста, включающая в себя индексы, и информация поступает на сервер 14. Кроме того, помимо этих функций, датчик-видеокамера 11 может захватить стереоскопическое изображение совместно с другой датчик-видеокамерой 11, находящейся рядом, и вычислять индекс роста посредством стереоскопического изображения. Кроме того, датчик-видеокамера 11 может вычислять индекс роста и ожидаемое оптимальное время сбора урожая на основании индекса роста посредством изображения RGB, индекса роста посредством NDVI изображения и индекса роста посредством стереоскопического изображения, полученные, как описано выше. В этом иллюстративном случае, когда вычисляется ожидаемое оптимальное время сбора урожая, датчик-видеокамера 11 может считывать записанную ранее информацию ситуации роста о прошлом, накопленную на сервере 14, и вычислять предполагаемое оптимальное время сбора урожая также с использованием информации о ситуации роста в прошлом.
Кроме того, в приведенном выше примере была описана конфигурации, содержащая датчик-видеокамеры 11, терминальные устройства 12 и сервер 14 для конфигурации системы обработки информации, однако, облачная технология вычисления может быть использована вместо сервера 14.
2. Первый пример модификации
В приведенном выше примере, в котором описана демозаичная информация, захваченная датчик-видеокамерами 11, где генерируется RGB и NIR составляющая сигнала изображений, однако, как показано на фиг. 15, например, используя изображения Р112 и Р114, которые включают в себя сигналы красного света и NIR сигналы до выполнения демозаики, NDVI изображение Р132, как показано на изображении Р132, может генерироваться. Поскольку процесс демозаики может быть опущен или количество пикселей, которые будут рассматриваться, может быть уменьшено с применением этой операции, нагрузка обработки может быть снижена, и скорость обработки может быть повышена. Следует отметить, что, так как изображения P111, Р113, с Р121 до Р123 и Р131 являются такими же изображениями как Р11, Р13, с Р21 по Р23, Р31 на фиг. 3, то их описание будет опущено.
3. Второй пример модификации
Кроме того, в приведенном выше примере, в котором описаны пиксели RGB и NIR составляющей сигналов выстроены в направлении плоскости датчик-видеокамер 11, однако, как показано на фиг. 16, например, датчик 31 может быть выполнен посредством кеширования уровней датчика перпендикулярно к направлению перемещения света так, чтобы генерировать составляющую сигнала изображения. Другими словами, на фиг. 16, уровень L1 датчика синей части спектра, уровень L2 датчика зеленого света, уровень L3 датчика красного света и уровень L4 датчика NIR настраиваются для кеширования сверху на чертеже, как показано с помощью изображения Р151. Каждый уровень имеет структуру датчика, в которой обнаруживается цветовой компонент только с целевой длиной волны. В результате, генерируются изображения с Р161 по Р163, которые включают в себя компоненты сигнала зеленого света, красного света, синего света и NIR изображения изображений с Р161 по Р164 для каждого уровня. В результате, изображение Р171 RGB генерируется из изображений с Р161 по Р163, и изображение NDVI P172 генерируется из изображений с Р162 по Р164.
4. Третий пример модификации
Кроме того, в отношения датчика 31, который обнаруживает составляющие сигналы RGB, то он может быть сконфигурирован так, что, например, фильтр F заградитель IR, который включает в себя диэлектрическую ламинированную пленку, например, ламинированная пленка выполнена из SiO или SiN, как показано в левой части фиг. 17, предусмотренную под RGB цветными светофильтрами FR, FG и FB, как показано в правой части фиг. 17, так, чтобы датчик, который обнаруживает компоненты сигнала RGB не обнаруживал NIR, и ИК-фильтр F не предусмотрен только в маскировочном (срез видимого света) светофильтре FA NIR датчика. Обратите внимание, что правая часть фиг. 17 изображает перспективный внешний вид схемы два пикселя × два пикселя датчика 31, и левая часть чертежа является увеличенным масштабом в поперечного разреза ИК-фильтра F, который показывает, что инфракрасный свет ИК заблокирован ИК-фильтром и только свет Т, отличный от инфракрасного света IR, передает датчик. Следует отметить, что маскировочный фильтр FA может быть выполнен с возможностью не включать в себя цветной фильтр.
5. Четвертый пример модификации
Кроме того, датчик 31, который обнаруживает NIR составляющие сигнала, может быть сконфигурирован таким образом, что ИК-фильтры F предоставляются под RGB светофильтрами FC и над SC датчиками, как показано на, например, фиг. 18, так что датчик, который обнаруживает RGB составляющие сигнала, не обнаруживает NIR, и ИК-фильтр F не предусмотрен только над NIR датчиками SC. Обратите внимание, что фиг. 18 является схемой в поперечном разрезе для четырех пикселей датчика 31, показывающая конфигурацию пикселя Р1 для NIR, пикселя Р2 для света, отличного от NIR, пикселя Р3 для NIR и пикселя Р4 для света, кроме NIR, расположенные слева на чертеже.
Следует отметить, что в приведенном выше описании описан пример, в котором используется NDVI изображение генерируется на основании RGB составляющих сигнала и NIR составляющих сигнала и NDVI изображение индекса роста, полученный из сгенерированного NDVI изображения, однако, и другие индексы роста, могут быть использованы при условии, что индексы роста получены на основании составляющих сигнала RGB и NIR составляющих сигнала. Таким образом, возможно вместо изображения NDVI, например, использовать изображение простого соотношения (SR), изображение индекса глобального мониторинга окружающей среды (GEMI), изображение скорректированного вегетативного индекса почвы (SAVI), изображение усовершенствованного вегетационного индекса (EVI), изображение перпендикулярного вегетационного индекса (PVI), изображение фотохимического индекса отражения (PRI), изображение индекса структуры нечувствительности пигмента (SIPI), изображение индекса отражения при зондировании растения (PSRI), изображение индекса хлорофилл (CI), изображение преобразованного простого соотношения (mSR), изображение модифицированного стандартного различия (mND), изображение индекса хлорофилла покрова (CCI), изображение индекса воды (WI), изображение индекса нормированной разности воды (NDWI), изображение индекса поглощения целлюлозы (CAI), изображение соотношения вегетативного индекс (RVI), изображение вида вегетативного индекса (KVI) и изображение разницы вегетационного индекса (DVI), которые получаются на основании составляющих сигнала RGB и составляющих NIR сигнала, и индексы роста, соответствующие изображениям, вычисляются и используются. Более того, путем объединения множества видов изображений, полученных на основании составляющих сигнала RGB и NIR составляющих сигнала, индекс роста изображение объединенного изображения может быть получен и использован.
Последовательность процессов, описанная выше, может быть выполнена посредством аппаратных средств или программным обеспечением. Когда последовательность процессов выполняется программным обеспечением, программы, составляющие программное средство, устанавливаются в компьютере, встроенное в специализированное аппаратное средство, или, например, в персональный компьютер общего назначения, который может выполнять различные функции путем установки различных программ на носитель информации.
Фиг. 19 иллюстрирует пример конфигурации персонального компьютера общего назначения. Персональный компьютер имеет процессор (CPU) 1001, встроенный в него. Процессор 1001 подсоединен к интерфейсу 1005 ввода и вывода через шину 1004. Постоянное запоминающее устройство (ROM) 1002 и оперативное запоминающее устройство (RAM) 1003 подключены к шине 1004.
Входной блок 1006, который сконфигурирован с помощью устройства ввода, такого как клавиатура или мышь, с помощью которого пользователь вводит операционные команды, выходной блок 1007, который вырабатывает результат процесса, отображаемый на устройстве отображения, блок 1008 хранения, который представляет собой жесткий диск, на котором хранятся программы и различные виды данных, и блок 1009 связи, которая конфигурируется адаптером локальной сети (LAN) и выполняет коммуникационные процессы через сеть, представленной интернетом, подключены к интерфейсу 1005 ввода и вывода. Кроме того, привод 1010, который считывает и записывает данные на и со съемного носителя 1011, такого как магнитный диск (включающий в себя гибкий диск), оптический диск (включающий в себя компакт-диск - постоянное запоминающее устройство (CD-ROM) или цифровой универсальный диск (DVD)), магнитооптический оптический диск (включающий в себя мини-диск (MD)), или полупроводниковое запоминающее устройство, подключенного к нему.
Процессор 1001 выполняет различные процессы в соответствии с программами, хранящаяся в ROM 1002, или программами, считанными со съемного носителя 1011, такого как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство, и установленного в блоке 1008 хранения, и загружены на RAM 1003 из блока 100 хранения 1008. RAM 1003 также соответственно хранит данные для центрального процессора 1001 для выполнения различных процессов. Такие данные могут быть необходимы для процессора 1001, чтобы выполнять различные процессы.
Компьютер, как описано выше, выполнен с возможностью выполнять ряд процессов, описанных выше, когда процессор 1001 вызывает, например, программы, записанные в блоке 1008 хранения для загрузки на RAM 1003, и выполняет программы через интерфейс 1005 ввода и вывода и шину 1004.
Программы, выполняемые компьютером (CPU 1001), могут быть обеспечены посредством записи на съемном носителе 1011, например, пакетный носитель. Кроме того, программы могут быть предоставлены с помощью Проводной или беспроводной средой передачи, такой как локальная сеть или интернет, или в виде цифрового спутникового вещания.
Программы могут быть установлены в блоке 1008 хранения в компьютере через интерфейс 1005 ввода и вывода путем загрузки съемного носителя 1011 в дисковод 1010. Кроме того, программы могут быть установлены в блоке 1008 хранения, будучи принятые блоком 1009 связи с помощью проводной или беспроводной среды передачи. Кроме того, программы могут быть установлены в ROM 1002 или блок 1008 хранения заранее.
Следует отметить, что программы, выполняемые компьютером, могут быть программами, посредством которых процессы выполняются, в виде временной последовательности, как описано выше, или могут быть программами, с помощью которых выполняются процессы, например, параллельно или в определенный момент времени, например, при наличии вызова.
Кроме того, в настоящем описании система означает набор из множества составных элементов (например, устройств или модулей (элементов)) и не важно, что все составные элементы размещены в одном корпусе. Таким образом, множество устройств, которые размещены в отдельных корпусах и соединены друг с другом через сеть, и одно устройство, в котором множество модулей размещены в одном корпусе, рассматривается как система.
Следует отметить, что описанные варианты осуществления настоящего изобретения не ограничиваются вариантами осуществления, описанными выше, и могут быть различным образом модифицированы, не отходя от сущности описанного настоящего изобретения.
Например, описанное настоящее изобретение может использовать облачную конфигурацию вычисления, в которой одна функция разделяется и совместно использоваться множеством устройств через сеть.
Кроме того, выполнение каждого этапа процесса, описанного в указанных выше блок-схемах алгоритма, может быть сделано одним устройством или раздельно с помощью множества устройств.
Дополнительно, когда множество процессов включены в состав одного этапа, выполнение множества процессов, включенных в состав этапа, может быть сделано одним устройством или раздельно с помощью множества устройств.
Обратите внимание, что описанное настоящее изобретение может также иметь следующие конфигурации.
(А-1) Способ содержит: получение информации изображения организма, содержащее набор оптических данных; вычисление индекса роста на основании набора оптических данных; и вычисление ожидаемого времени уборки урожая на основании индекса роста, в котором информация изображения содержит, по меньшей мере, одно из следующего: (а) данные видимого изображения, полученные от датчика изображения, и данные невидимого изображения, полученные от датчика изображения, и (b) набор данных изображения, по меньшей мере, от двух устройств захвата изображений, в котором, по меньшей мере, два устройства захвата изображений захватывают набор данных изображения, по меньшей мере, из двух положений.
(А-2) Способ по (А-1) дополнительно содержит передачу информации об ожидаемом времени сбора урожая на внешнюю сторону.
(А-3) Способ по (А-2), в котором внешняя сторона представляет собой, по меньшей мере, одно из предприятие розничной торговли, обычного потребителя, ресторан и производитель продуктов питания.
(А-4) Способ по любому одному с (А-1) по (А-3), в котором данные видимого изображения генерируются на основании демозаичного RGB пикселей сигнала.
(А-5) Способ по любому одному с (А-1) по (А-4), в котором данные невидимого изображения генерируются на основании демозичного R и IR сигнала.
(А-6) Способ по любому одному с (А-1) по (А-4), в котором данные невидимого изображения генерируются на основании R и IR сигнала без выполнения демозаики.
(А-7) Способ по любому одному с (А-1) по (А-3), в котором данные видимого изображения генерируются на основании демозаичного RGB пикселей сигнала, и в котором данные изображения ближнего инфракрасного диапазона излучения генерируются на основании демозаичного R и IR сигнала.
(А-8) Способ по любому одному с (А-1) по (А-3), в котором данные видимого изображения генерируются на основании демозаичного RGB пикселей сигнала, и в котором данные изображения ближнего инфракрасного диапазона излучения генерируются на основании R и IR сигнала без выполнения демозаики.
(А-9) Способ по любому одному с (А-1) по (А-8), в котором набор оптических данных получается с помощью многоуровневого датчика изображения, в котором многоуровневый датчик изображения имеет уровень синего света датчика, размещенный на уровне зеленого света датчика, в котором уровень зеленого света датчика размещен на уровне красного света датчика, и в котором уровень красного света датчика размещен на уровне ближнего инфракрасного диапазона излучения (NIR) датчика.
(А-10) Способ по любому одному с (А-1) по (А-8), в котором набор оптических данных получается с помощью датчика изображения, содержащего набор RGB цветных светофильтров, находящиеся поверх ламинированной пленки, в котором ламинированная пленка содержит, по меньшей мере, одно из SiO и SiN, и в котором набор RGB цветных светофильтров содержит FR цветовой фильтр, FG цветовой фильтр и FB цветовой фильтр.
(А-11) Способ по любому одному с (А-1) по (А-8), в котором набор оптических данных получается с помощью датчика изображения, содержащего набор RGB цветных светофильтров, предусмотренных поверх набора фильтров-заградителей инфракрасного излучения (IR), в которых набор фильтров-заградителей инфракрасного излучения IR обеспечивается поверх набора датчиков изображения.
(А-12) Способ по любому одному с (А-1) по (А-11), который дополнительно содержит вычисление параллакса данных изображения на основании, по меньшей мере, данных двух изображений из набора данных изображения, полученного, по меньшей мере, из двух устройств захвата изображений; и вычисление индекса роста на основании параллакса данных изображения, в котором, по меньшей мере, данные двух изображений захватываются, по меньшей мере, из одного из: двух углов, по меньшей мере, и двух позиций посредством, по меньшей мере, двух устройств захвата изображения.
(А-13) Система содержит: устройство захвата изображения, в котором, по меньшей мере, один из серверов и устройство захвата изображения выполнено с возможностью: получать данные изображения организма, содержащие набор оптических данных; вычислять индекс роста на основании набора оптических данных; и вычислять ожидаемое время уборки урожая на основании индекса роста, в котором информация изображения содержит, по меньшей мере, одно из следующего: (а) данные видимого изображения, полученные от датчика изображения, и данные невидимого изображения, полученные от датчика изображения, и (b) набор данных изображения, по меньшей мере, из двух устройств захвата изображений, в котором, по меньшей мере, два устройства захвата изображений захватывают набор данных изображения, по меньшей мере, из двух положений.
(А-14) Система по (А-13) дополнительно содержит сервер, в котором устройство захвата изображения устанавливает связь с сервером.
(А-15) Система по (А-14), в котором, по меньшей мере, один из серверов и устройство захвата изображения дополнительно выполнено с возможностью передавать информацию об ожидаемом времени уборки урожая на внешнюю сторону.
(А-16) Система по любому из пунктов с (А-13) по (А-15), в котором данные видимого изображения генерируется на основании демозаичного RGB пикселей сигнала.
(А-17) Система по любому из пунктов с (А-13) по (А-16), в котором данные невидимого изображения генерируются на основании демозичного R и IR сигнала.
(А-18) Система по любому из пунктов с (А-13) по (А-16), в котором данные невидимого изображения генерируются на основании R и IR сигнала без выполнения демозаики.
(А-19) Система по любому из пунктов с (А-13) по (А-18), в котором набор оптических данных получается с помощью многоуровневого датчика изображения, в котором многоуровневый датчик изображения имеет уровень синего света датчика, размещенный над уровнем зеленого света датчика, в котором уровень зеленого света датчика размещен над уровнем красного света датчика, и в котором уровень красного света датчика размещен над уровне ближнего инфракрасного диапазона излучения датчика.
(А-20) Система по любому из пунктов с (А-13) по (А-18), в котором набор оптических данных получается с помощью датчика изображения, содержащего набор RGB цветных светофильтров, находящиеся поверх ламинированной пленки, в котором ламинированная пленка содержит, по меньшей мере, одно из SiO и SiN, и в котором набор RGB цветных светофильтров содержит FR цветовой фильтр, FG цветовой фильтр и FB цветовой фильтр.
(А-21) Система по любому из пунктов с (А-13) по (А-18), в котором набор оптических данных получается с помощью датчика изображения, содержащего набор RGB цветных светофильтров, предусмотренных поверх набора фильтров-заградителей инфракрасного излучения (IR), в которых набор фильтров-заградителей инфракрасного излучения IR обеспечивается поверх набора датчиков изображения.
(А-22) Система по любому из пунктов с (А-13) по (А-21), в котором, по меньшей мере, один из серверов и устройство захвата изображения дополнительно выполнено с возможностью: вычислять параллакс данных изображения на основании, по меньшей мере, данных двух изображений из набора данных изображения, полученного, по меньшей мере, из двух устройств захвата изображений; и вычислять индекс роста на основании параллакса данных изображения, в котором, по меньшей мере, данные двух изображений захватываются, по меньшей мере, из одного из: двух углов и, по меньшей мере, двух позиций посредством, по меньшей мере, двух устройств захвата изображения.
(А-23) Материальный, невременный машиночитаемый носитель информации, на котором хранятся команды, которые вызывают процессор выполнять способ, при этом способ содержит: получение информации изображения организма, содержащее набор оптических данных; вычисление индекса роста на основании набора оптических данных; и вычисление ожидаемого времени уборки урожая на основании индекса роста, в котором информация изображения содержит, по меньшей мере, одно из следующего: (а) данные видимого изображения, полученные от датчика изображения, и данные невидимого изображения, полученные от датчика изображения, и (b) набор данных изображения, по меньшей мере, от двух устройств захвата изображений, в котором, по меньшей мере, два устройства захвата изображений захватывают набор данных изображения, по меньшей мере, из двух положений.
(А-24) Машиночитаемый носитель по (А-23), в котором способ дополнительно содержит передачу информации об ожидаемом времени уборки урожая на внешнюю сторону.
(А-25) Машиночитаемый носитель по (А-24), в котором, внешняя сторона представляет собой, по меньшей мере, одно из предприятие розничной торговли, обычный потребитель, ресторан и производитель продуктов питания.
(А-26) Машиночитаемый носитель по любому из пунктов с (А-23) по (А-25), в котором данные видимого изображения генерируются на основании демозаичного RGB пикселей сигнала.
(А-27) Машиночитаемый носитель по любому из пунктов с (А-23) по (А-26), в котором данные невидимого изображения генерируются на основании демозичного R и IR сигнала.
(А-28) Машиночитаемый носитель по любому из пунктов с (А-23) по (А-27), в котором способ дополнительно содержит вычисление параллакса данных изображения на основании, по меньшей мере, данных двух изображений из набора данных изображения, полученного, по меньшей мере, из двух устройств захвата изображений; и вычисление индекса роста на основании параллакса данных изображения, в котором, по меньшей мере, данные двух изображений захватываются, по меньшей мере, из одного из: двух углов, по меньшей мере, и двух позиций посредством, по меньшей мере, двух устройств захвата изображения.
Более того, необходимо отметить, что описанное настоящее изобретение может также использовать следующие конфигурации.
(В-1) Система обработки информации, которая включает в себя блок формирования изображения, который захватывает изображение сельскохозяйственной продукции в качестве RGB изображения и изображения ближнего инфракрасного излучения (NIR), блок определения, который определяет область изображения, в которой изображается предмет, представляющий собой сельскохозяйственную продукцию, и блок вычисления индекса роста, который вычисляет индекс роста сельскохозяйственной продукции на основании изображения индекса роста, полученного из RGB изображения, NIR изображения и изображение красной области спектра RGB изображения области на изображении, которая определена блоком определения, и в которой изображается предмет.
(В-2) Система обработки информации, описанная ранее в (В-1), в котором изображение индекса роста является любым из или комбинацией изображения стандартизированного индекса различий растительного покрова (NDVI), изображения простого соотношения (SR), изображения индекса глобального мониторинга окружающей среды (GEMI), изображения скорректированного вегетативного индекса почвы (SAVI), изображения усовершенствованного вегетационного индекса (EVI), изображения перпендикулярного вегетационного индекса (PVI), изображения фотохимического индекса отражения (PRI), изображения индекса структуры нечувствительности пигмента (SEPI), изображения индекса отражения при зондировании растения (PSRI), изображения индекса хлорофилл (CI), изображения преобразованного простого соотношения (mSR), изображения модифицированного стандартного различия (mND), изображения индекса хлорофилла покрова (CCI), изображения индекса воды (WI), изображения индекса нормированной разности воды (NDWI), изображения индекса поглощения целлюлозы (CAI), изображения соотношения вегетативного индекс (RVI), изображения вида вегетативного индекса (KVI) и изображения разницы вегетационного индекса (DVI).
(В-3) Система обработки информации, описанная в (В-1), в котором блок формирования изображения, выполненный с возможностью включать в себя датчики изображения каждого цвета изображения RGB и датчик изображения для NIR.
(В-4) Система обработки информации, описанная в (В-3), в котором блок формирования изображения имеет плоскую матрицу пикселей, имеющую цвета для изображения RGB и NIR.
(В-5) Система обработки информации, описанная в (В-3), в котором блок формирования изображения содержит пиксели, имеющие цвета для изображения RGB и NIR, которые выстроены таким образом, чтобы быть ламинизированными в направлении движения света.
(В-6) Система обработки информации, описанная в (В-1) выше, дополнительно включает в себя блок вычисления индекса роста на основании изображения, который вычисляет индекс роста на основании изображения сельскохозяйственной продукции, основанной на изображении красной области спектра и NIR изображении области на изображении, которая определена блоком определения, и в которой изображается предмет, представляющий собой сельскохозяйственную продукцию, и в которой блок вычисления индекса роста вычисляет индекс роста сельскохозяйственной продукции, основываясь на индексе роста на основании изображения, вычисленного блоком вычисления индекса роста на основании изображения.
(В-7) Система обработки информации, описанная в (В-6), выше, в котором блок вычисления индекса роста на основании изображения вычисляет индекс роста на основании изображения из коэффициента отражения ближнего инфракрасного излучения, полученного на основании изображения красной области спектра и NIR изображения области в изображении, которое определено блоком определения, и в котором изображается предмет, который является сельскохозяйственной продукцией, и индекс роста сельскохозяйственной продукции вычисляется на основании среднего значения, дисперсии или дисперсии высокого порядка индекса роста на основании изображения.
(В-8) Система обработки информации, описанная в (В-1) выше, которая дополнительно включает в себя блок вычисления индекса роста на основании RGB изображения, который вычисляет индекс роста на основании RGB изображения сельскохозяйственной продукции на основании RGB изображения области на изображении, которая определена блоком определения, и в которой изображается предмет, который является сельскохозяйственной продукцией, и в которой блок вычисления индекса роста вычисляет индекс роста сельскохозяйственной продукции на основании индекса роста на основании RGB изображения, вычисленного блоком вычисления индекса роста на основании RGB изображения.
(В-9) Система обработки информации, описанная в (В-8) выше, в котором блок вычисления индекса роста на основании RGB изображения, который вычисляет индекс роста на основании RGB изображения из соотношения заданного цвета в изображении RGB области в изображении, которая определена блоком определения, и в которой изображается предмет, который является сельскохозяйственной продукцией.
(В-10) Система обработки информации, описанная в (В-1) выше, которая дополнительно включает в себя блок вычисления индекса роста на основании параллакса изображения, который вычисляет индекс роста на основании параллакса изображения на основании параллакса изображения, полученного, по меньшей мере, из двух изображений, полученных путем захвата того же предмета, который является сельскохозяйственной продукцией, из разных углов, которые представляют собой RGB изображения области в изображении, которая определена блоком определения, и в которой изображается предмет, который является сельскохозяйственной продукцией, и в которой блок вычисления индекса роста вычисляет индекс роста сельскохозяйственной продукции на основании индекса роста на основании параллакса изображения, вычисленного блоком вычисления индекса роста на основании параллакса изображения.
(В-11) Система обработки информации, описанная в (В-10) выше, в котором блок вычисления индекса роста на основании параллакса изображения, который вычисляет индекс роста на основании параллакса изображения на основании параллакса изображения из размера сельскохозяйственной продукции, который определяется на основании расстояния до сельскохозяйственной продукции в направлении формирования изображения, размер, будучи вычисленный на основании параллакса изображения, получен, по меньшей мере, из двух изображений, полученные путем захвата того же предмета, который является сельскохозяйственной продукцией, из разных углов, которые являются RGB изображениями области в изображении, которая определена блоком определения, и в которой изображается предмет, который является сельскохозяйственной продукцией.
(В-12) Система обработки информации, описанная в (В-1) выше, которая дополнительно включает в себя блок хранения, в котором хранится информация о позиции блока формирования изображения, изображение, захваченное с помощью блока формирования изображения, дата и время съемки захваченного изображения блоком формирования изображения и индекс роста каждого вида сельскохозяйственной продукции, захваченного блоком формирования изображения в качестве информации управления совместно с информацией для идентификации блока формирования изображения, и блок вычисления времени сбора урожая, который вычисляет ожидаемое оптимальное время сбора урожая сельскохозяйственной продукции на основании индекса роста каждого вида сельскохозяйственной продукции, хранящегося в блоке хранения, и соотношения индекса роста и времени сбора урожая каждого вида сельскохозяйственной продукции в прошлом, и в котором блок хранения также хранит информацию об ожидаемом оптимальном времени сбора урожая, вычисленного блоком вычисления времени сбора урожая, совместно с информацией для идентификации блока формирования изображения.
(В-13) Система обработки информации, описанная в (В-12) выше, в котором предусмотрены датчик совместно с блоком формирования изображения, сервером, который управляет блоком хранения, хранящий информацию управления, и терминальным устройством, которое направляет запрос о времени сбора урожая на сервер, и, когда запрос об ожидаемом оптимальном времени сбора урожая получен с терминального устройства, сервер генерирует информацию ответа, включающая в себя информацию об ожидаемом оптимальном времени сбора урожая, на основании информации управления, хранящейся в блоке хранения, в ответ на запрос об ожидаемом оптимальном времени сбора урожая на основании информации управления, хранящейся в блоке хранения, и передает информацию ответа на терминальное устройство.
(В-14) Способ обработки информации системы обработки информации, который включает в себя: захват изображения сельскохозяйственной продукции как RGB изображение и изображение ближней инфракрасно области излучения (NIR); определение области изображения, в которой изображается предмет, который является сельскохозяйственной продукцией; и вычисление индекса роста сельскохозяйственной продукции на основании индекса роста на основании изображения, полученного из RGB изображения, NIR изображения и изображения красной области спектра RGB изображения области в изображении, которая определена посредством определения, и в которой изображается предмет.
(В-15) Программа, которая вызывает компьютер управлять системой обработки информации для выполнения: захвата изображения сельскохозяйственной продукции как RGB изображение и изображение ближней инфракрасно области излучения (NIR); определения области изображения, в которой изображается предмет, который является сельскохозяйственной продукцией; и вычисления индекса роста сельскохозяйственной продукции на основании индекса роста на основании изображения, полученного из RGB изображения, NIR изображения и изображения красной области спектра RGB изображения области в изображении, которая определена посредством определения, и в которой изображается предмет.
(В-16) Устройство формирования изображения, которое включает в себя блок формирования изображения, который захватывает изображение сельскохозяйственной продукции в виде RGB изображения и изображение ближней инфракрасно области излучения (NIR), блок определения, который определяет область в изображении, в которой изображается предмет, который является сельскохозяйственной продукцией, и блок вычисления индекса роста, который вычисляет индекс роста сельскохозяйственной продукции на основании индекса роста, полученного из. RGB изображения, NIR изображения и изображение красной области спектра RGB изображения области на изображении, которая определена блоком определения, и в которой изображается предмет.
(В-17) Устройство формирования изображения, описанное в (В-16) выше, в котором изображение индекса роста является любым из или комбинацией изображения стандартизированного индекса различий растительного покрова (NDVI), изображения простого соотношения (SR), изображения индекса глобального мониторинга окружающей среды (GEMI), изображения скорректированного вегетативного индекса почвы (SAVI), изображения усовершенствованного вегетационного индекса (EVI), изображения перпендикулярного вегетационного индекса (PVI), изображения фотохимического индекса отражения (PRI), изображения индекса структуры нечувствительности пигмента (SIPI), изображения индекса отражения при зондировании растения (PSRI), изображения индекса хлорофилл (CI), изображения преобразованного простого соотношения (mSR), изображения модифицированного стандартного различия (mND), изображения индекса хлорофилла покрова (CCI), изображения индекса воды (WI), изображения индекса нормированной разности воды (NDWI), изображения индекса поглощения целлюлозы (CAI), изображения соотношения вегетативного индекс (RVI), изображения вида вегетативного индекса (KVI) и изображения разницы вегетационного индекса (DVI).
(В-18) Устройство формирования изображения, описанное в (В-16) выше, в котором блок формирования изображения выполнен с возможностью включать в себя датчики изображения каждого цвета RGB изображения и датчик изображения для ближнего инфракрасного излучения.
(В-19) Способ формирования изображения, которая включает в себя: захват изображения сельскохозяйственной продукции как RGB изображение и изображение ближней инфракрасно области излучения (NIR); определение области изображения, в которой изображается предмет, который является сельскохозяйственной продукцией; и вычисление индекса роста сельскохозяйственной продукции на основании индекса роста на основании изображения, полученного из RGB изображения, NIR изображения и изображения красной области спектра RGB изображения области в изображении, которая определена посредством определения, и в которой изображается предмет.
(В-20) Программа, которая вызывает компьютер управлять устройством формирования изображения для выполнения: захвата изображения сельскохозяйственной продукции как RGB изображение и изображение ближней инфракрасно области излучения (NIR); определения области изображения, в которой изображается предмет, который является сельскохозяйственной продукцией; и вычисления индекса роста сельскохозяйственной продукции на основании индекса роста на основании изображения, полученного из RGB изображения, NIR изображения и изображения красной области спектра RGB изображения области в изображении, которая определена посредством определения, и в которой изображается предмет.
Как используется здесь, "по меньшей мере, один", "один или более" и "и/или" являются открытыми выражениями, которые имеют сослагательное наклонение, так и дизъюнктивное применение. Например, каждое из выражений "по меньшей мере, один из А, В и С", "по меньшей мере, один из А, В, или С", "один или более из А, В, и С", "один или более из А, В или С" и "А, В и/или С" означает один А, один В, один С, А и В вместе, А и С вместе, В и С вместе или А, В и С вместе.
Следует отметить, что термин "а" или "an" относится к одному или более из этого объекта. Таким образом, термины "а" (или "an"), "один или более" и "по меньшей мере, один" могут быть использованы в данном описании взаимозаменяемо. Следует также отметить, что термины "содержащий", "включающий в себя" и "имеющий" могут быть использованы взаимозаменяемо.
Термины "определить", "вычислить" и "рассчитать" и их вариации, как использованы здесь, используются взаимозаменяемо, и включают в себя любой тип методики, процесса, математической операции или способа.
Термин "машиночитаемый носитель информации", используемый здесь, относится к любому материальному носителю хранения информации и/или среде передачи, которая используется в предоставлении команд в процессор для выполнения. Такой носитель может принимать различные формы, включающий в себя, но, не ограничиваясь ими, энергонезависимые носители, так и энергонезависимые носители, и среды передачи информации. Энергонезависимые носители включают в себя, например, NVRAM или магнитные или оптические диски. Энергозависимые носители включают в себя динамическую память, такую как основная память. Обычные формы машиночитаемых носителей информации включают в себя, например, флоппи-диск, гибкий диск, жесткий диск, магнитную ленту или любой другой магнитный носитель, магнитооптический носитель, компакт-диск, любой другой оптический носитель, перфокарты, бумажную ленту, любой другой физический носитель с узорами отверстий, RAM, PROM, и EPROM, FLASH-EPROM, твердотельный носитель, такой как карты памяти, любую другую микросхему памяти или картридж, несущую волну, как описано далее, или любой другой носитель, с которого компьютер может считать информацию. Прикрепленный цифровой файл, переданный по электронной почте, или другой автономный источник информации или набор архивов считается эквивалентным материальному носителю информации. Когда машиночитаемый носитель информации выполнен в виде базы данных, то следует понимать, что база данных может быть любым типом базы данных, например, реляционной, иерархической, объектно-ориентированной и/или тому подобное. Таким образом, считается, что изобретение включает в себя материальный носитель хранения или дистрибутивный носитель информации и эквивалентные носители информации, используемые в предшествующем уровне техники, на которых хранится программное обеспечение для реализации настоящего изобретения.
Термин "модуль", используемый здесь, относится к любому известному или разработанному аппаратному оборудованию, программному обеспечению, микропрограммному обеспечению, искусственному интеллекту, нечеткой логике или комбинации аппаратных средств и программного обеспечения, которое способно выполнять функции, ассоциированные с этим элементом. Кроме того, хотя изобретение описано с использованием примерных вариантов осуществления, следует понимать, что отдельные аспекты изобретения могут быть по отдельно описаны в формуле изобретения.
Следует понимать специалистам в данной области техники, что могут иметь место различные модификации, комбинации, подкомбинации и изменения в зависимости от конструктивных требований и других факторов, если только они находятся в пределах объема прилагаемой формулы изобретения или ее эквивалентов.
Перечень ссылочных позиций
11, 11-1 - 11-N Датчик-видеокамера
12, 12-1 - 12-4 Терминальное устройство
13 Сеть
14 Сервер
31 Датчик
32 Блок генерирования RGB изображения
33 Блок генерирования NDVI изображения
34 Блок управления
35 Блок хранения IP-адресов
36 GPS
37 Блок измерения параметров информации окружающей среды
38 RTC
39 Блок генерации информации ситуации роста
40 Блок связи
41 Блок определения коммуникационного тракта
61 Блок управления
62 Блок запроса
63 Операционный блок
64 Блок связи
65 Блок хранения IP-адресов
66 Блок отображения
81 Блок управления
82 Блок накопления информации ситуации роста
83 Блок определения целевой области
84 Блок вычисления индекса роста на основании RGB изображения
85 Блок вычисления индекса роста на основании NDVI изображения
86 Блок вычисления индекса роста на основании стереоскопического изображения
87 Блок вычисления времени сбора урожая
88 Блок накопления информации управления
89 Блок вычисление индекса роста
90 Блок сопоставления
91 Блок мониторинга работы датчик-видеокамеры
92 Блок связи
93 Блок формирования плана сбора урожая
94 Блок формирования плана доставки
95 Блок формирования плана продаж
96 Блок формирования плана закупок
97 Блок приема запроса
98 Блок генерирования ответа
1. Способ оценки времени уборки урожая, содержащий этапы, на которых:
получают информацию изображения организма, содержащую набор оптических данных;
вычисляют индекс роста на основании набора оптических данных; и
вычисляют ожидаемое время уборки урожая на основании индекса роста,
при этом информация изображения содержит набор данных изображения по меньшей мере от двух устройств фиксации изображений, причем указанные по меньшей мере два устройства фиксации изображений фиксируют набор данных изображения по меньшей мере из двух положений,
при этом способ дополнительно содержит этапы, на которых:
вычисляют данные изображения параллакса на основании по меньшей мере двух элементов данных изображения из набора данных изображения, полученных от указанных по меньшей мере двух устройств фиксации изображений, и вычисляют индекс роста на основании данных изображения параллакса, при этом указанные по меньшей мере два элемента данных изображения фиксируют с двух углов и/или с указанных по меньшей мере двух позиций посредством указанных по меньшей мере двух устройств фиксации изображений.
2. Способ по п. 1, дополнительно содержащий этап, на котором передают ожидаемое время сбора урожая внешней стороне.
3. Способ по п. 2, в котором внешняя сторона представляет собой предприятие розничной торговли, и/или обычного потребителя, и/или ресторан, и/или производителя продуктов питания.
4. Способ по п. 1, в котором набор данных изображения получают с помощью многоуровневого датчика изображения, при этом многоуровневый датчик изображения имеет уровень датчика синего света, размещенный над уровнем датчика зеленого света, причем уровень датчика зеленого света размещен над уровнем датчика красного света, а уровень датчика красного света размещен над уровнем датчика ближнего инфракрасного диапазона излучения (NIR).
5. Способ по п. 1, в котором набор данных изображения получают с помощью датчика изображения, содержащего набор светофильтров RGB, находящихся поверх слоистой пленки,
при этом слоистая пленка содержит SiO и/или SiN, а набор RGB цветных светофильтров содержит светофильтр FR, светофильтр FG и светофильтр FB.
6. Способ по п. 1, в котором набор данных изображения получают с помощью датчика изображения, содержащего набор светофильтров RGB, обеспеченных поверх набора фильтров-поглотителей инфракрасного излучения (IR), при этом набор фильтров-поглотителей IR обеспечивают поверх набора датчиков изображения.
7. Система для оценки времени уборки урожая, содержащая:
устройство фиксации изображения,
причем сервер и/или устройство фиксации изображения выполнено с возможностью:
получать информацию изображения организма, содержащую набор оптических данных;
вычислять индекс роста на основании набора оптических данных; и
вычислять ожидаемое время уборки урожая на основании индекса роста,
при этом информация изображения содержит набор данных изображения по меньшей мере от двух устройств фиксации изображений, причем указанные по меньшей мере два устройства фиксации изображений выполнены с возможностью фиксировать набор данных изображения по меньшей мере из двух положений,
при этом сервер и/или устройство фиксации изображения дополнительно выполнено с возможностью вычислять данные изображения параллакса на основании по меньшей мере двух элементов данных изображения из набора данных изображения, полученных от указанных по меньшей мере двух устройств фиксации изображений, и вычислять индекс роста на основании данных изображения параллакса, при этом указанные по меньшей мере два элемента данных изображения фиксируются с двух углов и/или с указанных по меньшей мере двух позиций посредством указанных по меньшей мере двух устройств фиксации изображений.
8. Система по п. 7, дополнительно содержащая сервер, причем между устройством фиксации изображения и сервером установлена связь.
9. Система по п. 8, в которой сервер и/или устройство фиксации изображения дополнительно выполнено с возможностью передавать информацию об ожидаемом времени уборки урожая на внешней стороне.
10. Система по п. 7, в которой набор данных изображения получен с помощью многоуровневого датчика изображения, при этом многоуровневый датчик изображения имеет уровень датчика синего света, размещенный над уровнем датчика зеленого света, при этом уровень датчика зеленого света размещен над уровнем датчика красного света, а уровень датчика красного света размещен над уровнем датчика ближнего инфракрасного диапазона излучения.
11. Система по п. 7, в которой набор данных изображения получен с помощью датчика изображения, содержащего набор RGB светофильтров, находящиеся поверх слоистой пленки,
при этом слоистая пленка содержит SiO и/или SiN, а набор RGB светофильтров содержит светофильтр FR, светофильтр FG и светофильтр FB.
12. Система по п. 7, в которой набор данных изображения получен с помощью датчика изображения, содержащего набор RGB светофильтров, обеспеченных поверх набора фильтров-поглотителей инфракрасного излучения (IR), при этом набор фильтров-поглотителей IR обеспечен поверх набора датчиков изображения.
13. Материальный, энергонезависимый машиночитаемый носитель информации, на котором хранятся команды, которые вызывают выполнение процессором способа, содержащего этапы, на которых:
получают информацию изображения организма, содержащую набор оптических данных;
вычисляют индекс роста на основании набора оптических данных; и
вычисляют ожидаемое время уборки урожая на основании индекса роста,
при этом информация изображения содержит набор данных изображения по меньшей мере от двух устройств фиксации изображений, при этом указанные по меньшей мере два устройства фиксации изображений фиксируют набор данных изображения по меньшей мере из двух положений,
при этом способ дополнительно содержит этапы, на которых вычисляют данные изображения параллакса на основании по меньшей мере двух элементов данных изображения из набора данных изображения, полученных от указанных по меньшей мере двух устройств фиксации изображений, и вычисляют индекс роста на основании данных изображения параллакса, при этом указанные по меньшей мере два элемента данных изображения фиксируют с двух углов и/или с указанных по меньшей мере двух позиций посредством указанных по меньшей мере двух устройств фиксации изображений.
14. Машиночитаемый носитель по п. 13, в котором способ дополнительно содержит этап, на котором передают информацию об ожидаемом времени уборки урожая внешней стороне.
15. Машиночитаемый носитель по п. 13, в котором внешняя сторона представляет собой предприятие розничной торговли, и/или обычного потребителя, и/или ресторан, и/или производителя продуктов питания.
