Система и способ управления управляемым транспортным устройством для собранного урожая

Группа изобретений относится к сельскому хозяйству. Система управления управляемым транспортным устройством для собранного урожая на сельскохозяйственной машине содержит, по меньшей мере, одно устройство формирования трехмерного изображения и сенсорное устройство отображения для отображения объекта и для приема команд сенсорного ввода. Устройство формирования трехмерного изображения предназначено для захвата реального объекта и для получения массива трехмерных данных реального объекта. Система управления выполнена с возможностью генерирования на основе массива трехмерных данных командных сигналов, соответствующих взаимодействию с отображаемым объектом, для управления транспортным устройством. Группа изобретений позволяет легко и эффективно управлять управляемым транспортным устройством, благодаря чему уменьшается стресс и рабочая нагрузка на оператора. 3 н. и 12 з.п. ф-лы, 8 ил.

 

Область техники

Данное изобретение относится к системе управления управляемым транспортным устройством для собранного урожая на сельскохозяйственной машине, в частности самоходном комбайне. Кроме того, изобретение относится к сельскохозяйственной машине, содержащей систему управления, и к способу управления управляемым транспортирующим устройством сельскохозяйственной машины при помощи системы управления.

Уровень техники

Собранный урожай обычно транспортируют с первой сельскохозяйственной машины, например кормоуборочного комбайна, на вторую сельскохозяйственную машину, например буксируемую трактором тележку, при помощи транспортирующего устройства. Вследствие перемещения сельскохозяйственных машин друг относительно друга транспортирующее устройство выполнено с возможностью регулирования, например, оператором первой или второй сельскохозяйственной машины.

В целях поддержки оператора составлен европейский патент ЕР 2266383 А1, раскрывающий устройство управления, предназначенное для управления передачей сельскохозяйственной культуры с уборочной машины на транспортную машину, при этом транспортная машина содержит погрузочный контейнер. Устройство управления, основываясь на сигналах от сенсорного устройства, распознает уровень заполнения и/или внешние контуры погрузочного контейнера и управляет положением выходного конца разгрузочного устройства по отношению к уборочной машине и/или направлением выброса из разгрузочного устройства, и/или положением транспортной машины с погрузочным контейнером по отношению к уборочной машине таким образом, чтобы погрузочный контейнер постепенно заполнялся собранной культурой. Кроме того, предложено выполнить сенсорное устройство с возможностью распознавания положения второго погрузочного контейнера, и выполнить устройство управления с возможностью автоматического выравнивания разгрузочного устройства по второму погрузочному контейнеру после регистрации в целом достаточного заполнения первого погрузочного контейнера, основываясь на сигналах от сенсорного устройства.

Автоматическое выравнивание транспортирующего устройства имеет недостаток, заключающийся в том, что в условиях запыленности и наличия рассеянных в воздухе частиц культуры сенсорное устройство может оказаться неспособным к выравниванию транспортного устройства должным образом, и в этом случае оператор должен вручную корректировать транспортное устройство, что увеличивает рабочую нагрузку оператора.

Раскрытие изобретения

Таким образом, задачей данного изобретения является разработка системы управления для управляемого транспортного устройства для собранного урожая на сельскохозяйственной машине, в частности самоходном комбайне, что улучшит эксплуатацию транспортного устройства. Еще одной задачей данного изобретения является разработка способа управления управляемым транспортным устройством для собранного урожая на сельскохозяйственной машине, который улучшит эксплуатацию транспортного устройства.

Эту задачу решают системой управления для управляемого транспортного устройства для собранного урожая на сельскохозяйственной машине с признаками, раскрываемыми в п.1, и способом интерактивного управления управляемым транспортным устройством для собранного урожая на сельскохозяйственной машине с признаками, раскрываемыми в п.9. Желаемые варианты осуществления изобретения, дополнительные детали, признаки, характеристики и преимущества упомянутой системы управления и упомянутого способа управления раскрыты в зависимых пунктах формулы.

В общем аспекте данного изобретения система управления управляемым транспортным устройством для собранного урожая на сельскохозяйственной машине, в частности самоходном комбайне, содержит, по меньшей мере, одно устройство формирования трехмерного изображения для захвата реального объекта и для получения массива трехмерных данных для реального объекта, а также сенсорный дисплей для отображения объекта и для приема команд сенсорного ввода. Согласно изобретению система управления выполнена с возможностью генерирования командных сигналов на основе массива трехмерных данных, соответствующих взаимодействию с отображаемым объектом, с целью управления транспортным устройством.

Сельскохозяйственная машина может представлять собой уборочный комбайн, кормоуборочный комбайн, транспортную машину, трактор и/или прицеп для погрузки и транспортировки собранного урожая. Система управления транспортным устройством может быть расположена на сельскохозяйственной машине с транспортным устройством или на другой сельскохозяйственной машине, например тракторе, буксирующем прицеп, который должен быть загружен посредством транспортного устройства. Управляемое транспортное устройство может представлять собой шнековый транспортер уборочного комбайна или выгрузной рукав кормоуборочного комбайна, причем транспортное устройство может содержать регулируемый клапан на его свободном конце, предназначенный для, по меньшей мере, частичного управления транспортировкой собранного урожая. Транспортное устройство может содержать блок управления для управления транспортным устройством, в частности приводом транспортного устройства, причем блок управления может быть выполнен с возможностью подачи управляющих сигналов для перемещения, например, путем поворота и/или наклона, транспортного устройства в желаемое положение для транспортировки собранного урожая. Блок управления может также управлять клапаном на свободном конце транспортного устройства.

Система управления содержит, по меньшей мере, одно устройство формирования трехмерного изображения для захвата реальных объектов в реальном мире с целью создания отображаемого двумерного изображения, с которым можно взаимодействовать. При захвате реального объекта устройство формирования трехмерного изображения, в частности процессор устройства формирования трехмерного изображения, может получать массив трехмерных данных и/или трехмерную карту дальностей для захваченного реального объекта, причем может быть рассчитано расстояние для каждого пикселя устройства формирования трехмерного изображения, причем информация о расстоянии может относиться к относительному расстоянию и/или абсолютному расстоянию. Устройство формирования трехмерного изображения может захватывать реальные объекты в реальном времени. Полученный массив трехмерных данных может содержать информацию о расстоянии и/или трехмерные координаты реального объекта. Расстояние может быть относительным по отношению к системе управления и/или сельскохозяйственной машине и/или в абсолютным, например, в виде трехмерных координат. Информация об абсолютном расстоянии может быть получена при помощи навигационной системы, в частности спутниковой навигационной системы, например глобальной системы позиционирования (GPS). Навигационная система может предоставлять трехмерные координаты, в частности, для системы формирования трехмерного изображения и/или сельскохозяйственной машины, основываясь на которых, можно вычислить трехмерные координаты реального объекта путем определения положения, например расстояния и направления, реального объекта относительно устройства формирования трехмерного изображения и/или сельскохозяйственной машины.

Захваченный реальный объект может быть визуализирован для отображения на устройстве отображения, например, в виде карты дальностей. Визуализация захваченного объекта может осуществляться в форме прямого изображения и/или видео в реальном времени или в виде смоделированного видео и/или смоделированного изображения, подходящего для визуализации собранной информации о расстоянии для оператора системы управления. Для каждого визуализированного и, в частности, отображенного пикселя на устройстве отображения может быть рассчитана соответствующая информация о расстоянии. Пиксель устройства формирования трехмерного изображения может представлять собой наименьшую захватываемую точку разрешения изображения в устройстве формирования изображения, причем пиксель устройства отображения может представлять собой наименьший адресуемый элемент устройства отображения. Разрешение устройства формирования трехмерного изображения может превышать разрешение устройства отображения, причем массив трехмерных данных может соответствовать более высокому разрешению устройства формирования трехмерного изображения.

Устройство отображения может представлять собой многофункциональный дисплей, выполненный с возможностью принимать сенсорный ввод, в частности мультисенсорный ввод, например, вплоть до мультисенсорного ввода пятью пальцами. Многофункциональный дисплей может содержать несколько зон, например, в виде разделенного экрана для независимого отображения информации и независимого приема сенсорного ввода. Многофункциональный дисплей может содержать дополнительные элементы ввода, например кнопки и/или колеса. Устройство отображения может принимать данные от устройства формирования трехмерного изображения с целью отображения, например, захваченного и визуализированного реального объекта и/или виртуального элемента. Объекты, например, в виде прямого видео реального объекта или в виде виртуального элемента, отображенного на устройстве отображения, представляют собой отображаемые объекты, причем массив трехмерных данных соответствует каждому, в частности, захваченному и/или визуализированному отображаемому объекту. Отображаемые объекты могут быть увеличены на устройстве отображения.

Устройство отображения отображает захваченные и визуализированные объекты и может принимать и/или распознавать обратную связь в виде сенсорного ввода, в частности, соответствующего отображаемому объекту, причем сенсорный ввод можно принимать в форме установленных двумерных координат, относящихся к выполненному сенсорному вводу, в частности, выполненному жестовому вводу. Сенсорный ввод может представлять собой несколько различных жестов ввода, причем реакция системы управления на различные жесты ввода может быть предопределена. С отображаемым объектом можно взаимодействовать сенсорным вводом. Взаимодействие с отображаемым объектом можно осуществлять манипулированием рукой с отображаемым объектом, в частности, по меньшей мере, одним пальцем для сенсорного ввода. Например, отображаемый объект может быть выбран, перемен и/или изменен в форме и/или размере. Процесс взаимодействия может быть выведен на устройство отображения в режиме реального времени, что делает возможной интерактивную манипуляцию с отображаемым объектом.

Полученный сенсорный ввод, например выбор отображаемого объекта и/или манипулирование с отображаемым объектом, может быть передан в устройство формирования изображения, например, в виде двумерных координат. Устройство формирования изображения, в частности процессор устройства формирования трехмерного изображения, может зафиксировать полученную обратную связь, например двумерные координаты сенсорного ввода, в виде отображаемого объекта, отображаемого в этих координатах. Устройство формирования трехмерного изображения может оценивать полученную обратную связь и соотносить обратную связь с соответствующим отображаемым объектом и связанным с ним массивом трехмерных данных. Устройство формирования трехмерного изображения может генерировать основанные на массиве трехмерных данных командные сигналы, соответствующие принятому двумерному сенсорному вводу. Командные сигналы могут быть приняты блоком управления управляемого транспортного устройства в качестве входных сигналов для соответствующего управления транспортным устройством, например, дольше оставляя транспортное устройство на прицепе с целью автоматического увеличения уровня собранного урожая в прицепе, или выбирая порядок, в котором несколько прицепов будут автоматически заполняться системой управления. Командные сигналы могут содержать информацию о положении реальных объектов, которая может быть необходима в качестве входных данных для блока управления для правильного расположения транспортного устройства. Отображаемым объектом можно интерактивно манипулировать, причем двумерное манипулирование отображаемым объектом соответствует генерированию трехмерных команд управления. Команды управления могут быть, например, переданы в блок управления транспортного устройства для обеспечения желаемого перемещения транспортного устройства, необходимого, например, для изменения места выгрузки транспортируемой культуры и/или для повышения уровня перегружаемой культуры в прицепе.

Генерирование на основании массива трехмерных данных командных сигналов, соответствующих взаимодействию с отображаемым объектом, для управления транспортным устройством имеет преимущество в том, что оператор может вручную взаимодействовать с визуальной информацией, предоставляемой устройством формирования трехмерного изображения. Визуальная информация позволяет оператору контролировать, например, автоматически, процесс транспортировки собранного урожая, а манипулирование отображаемыми объектами делает возможным прямое взаимодействие, например, с процессом транспортировки и/или устройством, если необходима корректировка или ввод других данных. Таким образом, система управления позволяет легко и эффективно управлять управляемым транспортным устройством, благодаря чему уменьшается стресс и рабочая нагрузка на оператора.

В желаемом варианте осуществления изобретения система управления также выполнена с возможностью генерирования командных сигналов в виде управляющих сигналов для транспортного устройства для непосредственного управления транспортным устройством. Устройство формирования трехмерного изображения может быть непосредственно соединено с управляемым транспортным устройством, в частности, с приводами транспортного устройства, с тем, чтобы непосредственно управлять транспортным устройством. Командные сигналы, генерируемые устройством формирования изображения, в частности, на основе полученного сенсорного ввода, могут представлять собой управляющие сигналы, которые непосредственно управляют приводами транспортного устройства. Например, транспортное устройство или отображаемый поток выбрасываемой собранной культуры можно выбирать при помощи сенсорного ввода, причем движение при сенсорном вводе может приводить к непосредственно связанному движению транспортного устройства и потока выбрасываемой собранной культуры. Это является преимуществом в том, что транспортным устройством может управляться непосредственно устройством формирования трехмерного изображения, что позволяет приводу транспортного устройства более быстро реагировать на движения оператора при сенсорном вводе на устройстве отображения. Кроме того, непосредственное взаимодействие с отображаемым объектом при работе с системой управления дополнительно повышает удобство обращения с системой.

Желательно, чтобы система управления также была выполнена с возможностью распознавания захваченного реального объекта. Система управления может включать в себя запоминающее устройство для хранения справочных данных, соответствующих реальным объектам. Захваченный реальный объект, в частности полученный массив трехмерных данных, соответствующий реальному объекту, можно сравнить с предопределенными справочными данными с тем, чтобы распознать реальный объект, например, является ли он прицепом и/или какой тип имеет этот прицеп. Если захваченный реальный объект распознан, то соответствующие данные объекта, например размеры реального объекта, в частности длина, высота и/или ширина, могут быть привязаны к реальному объекту и/или отображаемому объекту и могут быть предоставлены для управления транспортным устройством. Данные объекта могут быть предварительно сохранены в запоминающем устройстве. Это является преимуществом в том, что обеспечивается эффективная доступность точных данных о реальном объекте, таким образом, повышается точность процесса перегрузки без увеличения рабочей нагрузки на оператора.

В следующем желательном варианте осуществления система управления выполнена с возможностью привязки и/или изменения данных, соответствующих отображаемому объекту. Захваченный реальный объект, в частности полученный массив трехмерных данных, соответствующий реальному объекту, можно сравнить с предопределенными справочными данными с тем, чтобы распознать реальный объект, например, является ли он прицепом и/или какой тип имеет этот прицеп. В случае если захваченный реальный объект, который показан в виде отображаемого объекта на устройстве отображения, не был распознан, оператор может привязать данные объекта, например, полученные из запоминающего устройства, к отображаемому объекту, соответствующему реальному объекту. Отображаемый объект также может быть сгенерирован и отображен для реального объекта, передавшего свое положение в систему управления, например, в виде трехмерных координат. Реальный объект вместе с информацией о своем положении может передавать идентификатор. Идентификатор позволяет идентифицировать реальный объект, например определить тип объекта. Данные объекта, соответствующего реальному объекту, передавшему свое положение и, в частности, идентификатор в систему управления, могут быть извлечены из запоминающего устройства с целью уменьшения количества передаваемых данных. Такой реальный объект может представлять собой, например, другую сельскохозяйственную машину, например транспортную машину или трактор с прицепом. Оператор может исправлять отображаемый объект. Это является преимуществом в том, что можно эффективность перегрузки собранного урожая может быть повышена за счет улучшения наполнения, например, ранее не распознанного прицепа. Данные объекта могут быть изменены, например, в случае если реальный объект был ошибочно распознан или если нужно внести изменения в данные объекта. Привязка и/или изменение данных, соответствующих отображаемому объекту, могут быть осуществлены при помощи сенсорного ввода, в частности жестовым вводом на устройстве отображения, в частности изменением отображаемого объекта. Это является преимуществом в том, что оператор может легко и более эффективно управлять транспортным устройством, что позволяет снизить рабочую нагрузку на оператора.

В более желательном варианте осуществления изобретения система управления выполнена с возможностью генерирования визуальной и/или звуковой обратной связи, в частности сенсорного ввода. Сенсорный ввод, например, для выбора и/или манипулирования отображаемым объектом, может приводить к образованию звуковой и/или визуальной обратной связи, предназначенной для информирования оператора о выполнении желаемого действия. Звуковая и/или визуальная обратная связь может представлять собой визуальную индикацию на устройстве отображения, световой индикатор и/или звуковой сигнал, например тональный сигнал или сообщение. Это является преимуществом в том, что оператор получает четкую обратную связь с введенными им данными.

Желательно, чтобы система управления была выполнена с возможностью генерирования, по меньшей мере, одного виртуального элемента, соответствующего отображаемому объекту. Виртуальный элемент может быть сгенерирован при помощи устройства формирования трехмерного изображения и может быть отображен на устройстве отображения, например, наложением на отображаемый реальный объект. Виртуальным элементом можно интерактивно манипулировать при помощи сенсорного ввода. Отображаемый объект может представлять собой реальный объект, например прямое изображение и/или видео, и/или виртуальный элемент. Виртуальный элемент может быть сгенерирован в соответствии с распознанным и отображенным реальным объектом, например, в виде искусственного изображения реального объекта, символа или графических элементов.

Данные объекта, соответствующие отображаемому реальному объекту, могут содержать, например, информацию о размерах прицепа, максимальной высоте подачи и/или о безопасном расстоянии, показывающем, насколько близко к стенке прицепа транспортное устройство может транспортировать собранный урожай. Виртуальный элемент, изображающий стенки и/или безопасные расстояния для распознанного прицепа, может быть показан в виде отображаемых объектов, виртуальных элементов, наложенных на прямое изображение прицепа. Данные объекта можно изменять, например, в том случае, если реальный объект был распознан ошибочно или если необходимо изменить данные объекта, взаимодействием с виртуальным элементом. Например, безопасные расстояния прицепа, ограничивающие перемещение транспортного устройства, можно изменить их выбором и перемещением при помощи сенсорного ввода, а также расширением или сужением площади, доступной для транспортного устройства для перегрузки урожая, благодаря чему генерируются командные сигналы для блока управления, позволяющие соответственно перемещать транспортное устройство и управлять им. Преимущество виртуального элемента заключается в увеличении информации, которая может быть показана оператору без увеличения рабочей нагрузки. Кроме того, дальнейшие взаимодействия могут быть включены в систему управления, увеличивая разнообразие параметров ввода для оператора.

В желательном варианте осуществления изобретения устройство формирования трехмерного изображения содержит, по меньшей мере, одно электрооптическое устройство измерения дальности, в частности, в виде стереокамеры, лазерной системы обнаружения и измерения дальности и/или камеры, работающей по времени прохождения. Электрооптическое устройство измерения дальности может представлять собой активное и/или пассивное устройство измерения дальности, предназначенное для генерирования интерактивного двумерного изображения захваченного трехмерного реального мира и/или трехмерного реального объекта, показывая, например, расстояние от электрооптического устройства измерения дальности до отдельных точек в картине реального мира. Лазерная система обнаружения и измерения дальности, называемая LIDAR или иногда LADAR (сокращение от Laser Imaging Detection and Ranging), построена по технологии активного оптического дистанционного обнаружения, которая позволяет измерить расстояние до объекта, например земли или реального объекта, освещением цели светом лазера и анализом отраженного света. Работающая по времени прохождения камера, используемая в качестве активного устройства измерения дальности, может определять расстояние на основании известной скорости света, измеряя время прохождения светового сигнала между камерой и реальным объектом для каждой точки изображения. Устройство формирования трехмерного изображения может представлять собой радар или ультразвуковое устройство измерения дальности. Могут быть скомбинированы различные виды устройств формирования трехмерного изображения. Полученный массив трехмерных данных может быть представлен, например, в виде соответствующей карты дальностей, причем карта дальностей содержит значения пикселей, каждое из которых соответствует расстоянию. Карта дальностей может быть визуализирована на основании массива трехмерных данных при помощи устройства формирования трехмерного изображения, обеспечивая тем самым возможность отображения изображения на устройстве отображения для оператора, например, в виде прямого изображения и/или видео реального мира и/или объекта. Стереокамера, будучи пассивным устройством измерения дальности, может получать массив трехмерных данных и соответствующие значения пикселей для реального объекта непосредственно из захваченного изображения. Карта дальностей может быть составлена из отдельных массивов трехмерных данных и/или карт дальности, например, в форме панорамного изображения, причем отдельные карты дальности могут быть получены от одного или нескольких (даже различных) устройств формирования трехмерного изображения. Это является преимуществом в том, что позволяет увеличить поле зрения.

Кроме того, изобретение относится к сельскохозяйственной машине, содержащей, по меньшей мере, одну систему управления, описанную выше. Система управления, описываемая изобретением, позволяет легко и эффективно управлять управляемым транспортным устройством, уменьшая стресс и рабочую нагрузку на оператора.

Еще один аспект данного изобретения относится к способу интерактивного управления, в частности, описанной выше системой управления, управляемым транспортным устройством для собранного урожая на сельскохозяйственной машине, в частности самоходном уборочном комбайне, включающему следующие этапы:

- получение массива трехмерных данных для реального объекта, захваченного устройством формирования трехмерного изображения,

- отображение объекта на сенсорном устройстве отображения,

- получение обратной связи от устройства отображения по результатам сенсорного ввода при взаимодействии с отображаемым объектом,

- генерирование на основании массивов трехмерных данных управляющих сигналов, соответствующих взаимодействию с отображаемым объектом, для управления транспортным устройством.

Устройство формирования трехмерного изображения может захватывать изображение реального объекта в реальном мире, получая массив трехмерных данных для захваченного реального объекта. Массив трехмерных данных может содержать информацию, в частности информацию о положении, о расстоянии от реального объекта до устройства формирования изображения и/или сельскохозяйственной машины. Каждый пиксель захваченного изображения в устройстве формирования изображения может содержать информацию о расстоянии от реального объекта до устройства формирования изображения. Массив трехмерных данных может содержать информацию об относительном и/или абсолютном положении и/или трехмерные координаты. Трехмерные координаты могут быть получены при помощи навигационной системы, в частности спутниковой навигационной системы, например системы глобального позиционирования (GPS). Навигационная система позволяет получить трехмерные координаты, в частности, для системы формирования трехмерного изображения и/или сельскохозяйственной машины, на основе которых можно вычислить трехмерные координаты реального объекта путем определения положения, например расстояния и направления, реального объекта относительно устройства формирования трехмерного изображения и/или сельскохозяйственной машины. Визуализация захваченного реального объекта позволяет получить отображаемый вариант изображения, захваченного устройством формирования изображения. Визуализация реального объекта может осуществляться в форме прямого и/или искусственного изображения и/или видео реального объекта. Это позволяет предоставлять трехмерную информацию, которая может быть легко воспринята оператором сельскохозяйственной машины, управляющим транспортным устройством. Для отображения визуализированного захваченного реального объекта информация может быть передана от устройства формирования изображения на сенсорное устройство отображения. Визуализированный захваченный реальный объект может отображаться в виде отображаемого объекта на устройстве отображения, причем несколько объектов могут отображаться в одной или нескольких зонах устройства отображения по отдельности и/или совместно. Устройство отображения может воспринимать мультисенсорный ввод, в частности, для каждой зоны и/или отображаемого объекта.

С отображаемым объектом можно взаимодействовать прикосновением к сенсорному устройству отображения в области, показывающей отображаемый объект. Под взаимодействием можно понимать выбор отображаемого объекта и/или манипулирование отображаемым объектом, например его формой и/или размерами. Сенсорный ввод зарегистрирован в качестве обратной связи устройством отображения в двумерных координатах. Двумерные координаты обратной связи и взаимодействие с отображаемым объектом передают обратно на устройство формирования трехмерного изображения, причем устройство формирования трехмерного изображения соотносит двумерные координаты с массивом трехмерных данных, соответствующих отображаемому объекту. На основе взаимодействия с отображаемым объектом могут быть сгенерированы командные сигналы, предназначенные для управления транспортным устройством в соответствии с взаимодействием, основываясь на массиве трехмерных данных. Командные сигналы могут быть переданы в качестве входных сигналов на блок управления, управляющий транспортным устройством. Сгенерированные командные сигналы могут содержать информацию, основанную на массиве трехмерных данных и соответствующую сенсорному вводу, например трехмерные координаты выбранного положения или предполагаемого перемещения транспортного устройства, которые впоследствии могут быть переданы в качестве входных сигналов на блок управления, соответствующим образом управляющий транспортным устройством с тем, чтобы выполнить перемещения и/или операцию, предназначенную для взаимодействия с отображаемым объектом. Например, место выгрузки, в котором сбрасывают собранную культуру, на отображаемом объекте, имеющем форму прицепа, может быть выбрано сенсорным вводом, причем двумерные координаты сенсорного ввода передают в устройство формирования изображения, которое соотносит эти двумерные координаты с трехмерными координатами, основываясь на массиве трехмерных данных отображаемого прицепа. Впоследствии эти трехмерные координаты могут быть переданы в качестве входных сигналов на блок управления, управляющий транспортным устройством соответствующим образом, чтобы блок управления мог расположить транспортное устройство в соответствии с местом выгрузки собранного урожая, выбранным оператором.

Генерирование на основании массива трехмерных данных командных сигналов, соответствующих взаимодействию с отображаемым объектом, для управления транспортным устройством имеет преимущество в том, что оператор может вручную взаимодействовать с визуальной информацией, предоставленной устройством формирования трехмерного изображения. Визуальная информация позволяет оператору контролировать, например автоматически, процесс транспортировки собранного урожая, а манипулирование отображаемыми объектами делает возможным прямое взаимодействие, например, с процессом транспортировки и/или устройством, если необходима корректировка или ввод других данных. Таким образом, система управления позволяет легко и эффективно управлять управляемым транспортным устройством, благодаря чему уменьшается стресс и рабочая нагрузка на оператора.

В желательном варианте осуществления изобретения способ дополнительно содержит этап генерирования командных сигналов в виде сигналов управления для непосредственного управления транспортным устройством. Командные сигналы могут быть сгенерированы в виде сигналов управления, которые могут быть переданы непосредственно на, по меньшей мере, один привод транспортного устройства с целью непосредственного управления перемещением транспортного устройства. Таким образом, взаимодействие с отображаемым объектом посредством сенсорного ввода может быть непосредственно преобразовано в управляющие сигналы для прямого управления, по меньшей мере, одним приводом транспортного устройства. Это имеет преимущество в том, что транспортное устройство может управляться непосредственно при помощи устройства формирования трехмерного изображения, что позволяет движениям транспортного устройства более быстро реагировать на сенсорный ввод оператора на устройстве отображения. Например, с отображаемым объектом потока выбрасываемого собранного урожая можно взаимодействовать с помощью сенсорного дисплея, причем поток может быть выбран с помощью жестов ввода и перемещен в другое положение, причем транспортное устройство и поток выбрасываемого собранного урожая реагируют непосредственно и перемещают в соответствии с сенсорным вводом.

В более желательном варианте осуществления изобретения способ дополнительно содержит этап распознавания захваченного реального объекта. Захваченный реальный объект, в частности полученный массив трехмерных данных, соответствующий реальному объекту, можно сравнить с предопределенными справочными данными с целью распознавания реального объекта. Справочные данные могут быть предварительно сохранены в запоминающем устройстве. При распознавании реального объекта путем сравнения полученного массива трехмерных данных со справочными данными соответствующие данные объекта могут быть привязаны к захваченному реальному объекту и предоставлены управления транспортным устройством. Данные объекта могут быть предварительно сохранены в запоминающем устройстве. Данные объекта могут представлять собой, например, точные размеры реального объекта, например высоту, ширину, длину, грузоподъемность, уровень заполнения и т.д. Это имеет преимущество в том, что становится возможным эффективный доступ к точным данным о реальном объекте в целях управления процессом перегрузки и/или транспортным устройством, в результате чего повышается точность процесса перегрузки без увеличения нагрузки на оператора.

В еще более желательном варианте осуществления изобретения способ дополнительно содержит этап хранения и/или извлечения справочных данных, в частности, для сравнения полученного массива трехмерных данных со справочными данными. Справочные данные могут быть извлечены и использованы для сравнения полученных массивов трехмерных данных захваченного реального объекта с предопределенными данными. В случае если реальный объект не удается распознать, в частности, если справочные данные недоступны, полученный массив трехмерных данных захваченного и нераспознанного реального объекта могут быть сохранены, например, в запоминающем устройстве, в качестве справочных данных. Это может иметь место в том случае, если для погрузки собранного урожая используют новый тип прицепа. Сохраненные справочные данные могут быть дополнены впоследствии более точной информацией о реальном объекте, например, из спецификации к реальному объекту. Это имеет преимущество в том, что нераспознанный реальный объект может потребоваться сохранить только один раз, и он будет автоматически распознаваться впоследствии, уменьшая, тем самым, рабочую нагрузку на оператора.

В следующем желательном варианте осуществления изобретения способ дополнительно включает этап привязки и/или изменения данных, соответствующих отображаемому объекту. Данные, соответствующие отображаемому объекту, могут представлять собой массив трехмерных данных, данные объекта и/или справочные данные. В случае если захваченный реальный объект, показанный в виде отображаемого объекта, не удалось распознать, оператор может привязать данные объекта к отображаемому объекту. Привязанные данные объекта могут быть получены, например, из запоминающего устройства. В случае если захваченный реальный объект, показанный в виде отображаемого объекта, не удалось распознать корректно, оператор может изменить данные объекта, привязанные к отображаемому объекту, например, путем извлечения правильных данных объекта из запоминающего устройства и/или путем изменения данных объекта, например, с помощью сенсорного ввода, на устройстве отображения. Отображаемый объект может также быть сгенерирован и отображен для реального объекта, передавшего свое положение в систему управления, например, в виде трехмерных координат. Реальный объект может передавать идентификатор вместе с информацией о своем положении. Данные объекта, соответствующие реальному объекту, передавшему свое положение в систему управления, могут быть извлечены из запоминающего устройства с тем, чтобы уменьшить количество передаваемых данных. Такой реальный объект может представлять собой другую сельскохозяйственную машину, например транспортную машину или трактор с прицепом. Оператор может исправлять отображаемый объект. Это является преимуществом в том, что перегрузку собранного урожая можно выполнять более эффективно за счет более точных данных, например уровня наполнения, ранее нераспознанного прицепа.

Способ желательно включает этап генерирования визуальной и/или звуковой обратной связи, в частности, по результатам сенсорного ввода. Взаимодействие с отображаемым объектом, в частности, путем сенсорного ввода, может поддерживаться звуковой и/или визуальной обратной связью для индикации выполнения желаемого действия. Звуковая и/или визуальная обратная связь может быть задана визуальной индикацией на устройстве отображения, световым индикатором и/или звуковым сигналом, например тональным сигналом или сообщением. Это является преимуществом в том, что оператор получает четкую обратную связь с введенными им данными.

В желательном варианте осуществления изобретения способ дополнительно содержит этап генерирования, по меньшей мере, одного виртуального элемента, соответствующего отображаемому объекту. Виртуальный элемент может быть сгенерирован при помощи устройства формирования трехмерного изображения и может быть отображен на устройстве отображения. Виртуальный элемент может быть, например, наложен на визуализированный реальный объект. Виртуальным элементом можно интерактивно манипулировать при помощи сенсорного ввода. Отображаемый объект может представлять собой реальный объект, например прямое изображение и/или видео, и/или виртуальный элемент. Виртуальный элемент может быть сгенерирован в соответствии с распознанным и отображенным реальным объектом, например, в виде искусственного изображения реального объекта, символа или графических элементов.

Для генерирования виртуального элемента могут быть включены данные объекта, соответствующие отображаемому и распознанному реальному объекту, например, путем включения в виртуальный элемент информации об объекте, в частности информации о максимальной высоте подачи или о безопасном расстоянии, показывающем, насколько близко к стенке прицепа транспортное устройство может выгружать собранный урожай. Виртуальный элемент, изображающий стенки и/или безопасные расстояния для распознанного прицепа, может быть показан в виде отображаемого объекта, виртуальных элементов, наложенных на прямое изображение прицепа. Взаимодействие с отображаемым объектом, например, в виде виртуального элемента, может быть преобразовано в командные сигналы, основанные на массиве трехмерных данных, например, передачей измененных безопасных расстояний в форме, в частности, относительных трехмерных координат в блок управления, позволяя, тем самым, блоку управления перемещать транспортное устройство и управлять им в соответствии с новыми безопасными расстояниями. Преимущество виртуального элемента заключается в увеличении информации, которая может быть показана оператору без увеличения нагрузки. Кроме того, дальнейшие взаимодействия могут быть включены в систему управления, увеличивая разнообразие параметров ввода для оператора.

Вышеупомянутые компоненты, а также заявленные компоненты и компоненты, которые будут использовать в соответствии с описанными вариантами исполнения изобретения, не подпадают под действие каких-либо специальных исключений в отношении их размера, формы, выбора материалов и технической концепции, то есть критерии отбора, известные в данной области, могут быть применены без ограничений.

Краткое описание чертежей

Дополнительные детали, признаки, особенности и преимущества предмета изобретения раскрыты на фигурах и в последующем описании соответствующих фигур, иллюстрирующих в качестве примера один из вариантов исполнения и варианты системы управления, а также способ управления, описываемый изобретением. На фигурах изображено:

Фигура 1: схематический вид сельскохозяйственных машин с системой управления, раскрываемой изобретением.

Фигура 2: схематический вид системы управления, раскрываемой изобретением.

Фигура 3: изображение выбора прицепа.

Фигура 4: взаимодействие с транспортным устройством.

Фигура 5: взаимодействие с виртуальным элементом.

Фигура 6: изменение данных объекта.

Фигура 7: выбор места выгрузки.

Фигура 8: изображение прицепа.

Осуществление изобретения

На фигуре 1 представлен схематический вид двух сельскохозяйственных машин, причем система 10 управления установлена на кормоуборочный комбайн 12 (для которого приведен вид спереди), содержащий жатку 14, кабину 16 и управляемое транспортное устройство 18 с регулируемым клапаном 20 на свободном конце устройства. Во время работы комбайн 12 обрабатывает собранный урожай и выбрасывает его через транспортное устройство 18. Для складирования собранного урожая прицеп 22 расположен рядом с комбайном 12 в пределах досягаемости транспортного устройства 18. Устройство 24 формирования трехмерного изображения с электрооптическим устройством измерения дальности в виде стереокамеры 26 для захвата реальных объектов, например прицепа 22, прикреплено к транспортному устройству 18 и обращено к прицепу 22. Устройство 24 формирования трехмерного изображения контролирует и снимает, по меньшей мере, часть прицепа 22. Устройство 24 формирования трехмерного изображения соединено с сенсорным устройством 28 отображения, предназначенным для отображения визуализированного изображения реального объекта, захваченного стереокамерой 26. Регулируемое транспортное устройство 18 установлено на комбайне 12 с возможностью поворота и наклона. Транспортное устройство 18 и клапан 20 выполнены с возможностью контролирования блоком 30 управления, предназначенным для приема командных сигналов с устройства 24 формирования трехмерного изображения.

На фигуре 2 изображен схематичный вид системы 10 управления. Стереокамера 26 устройства 24 формирования трехмерного изображения захватывает реальный объект, представляющий собой прицеп 22. Устройство 24 формирования трехмерного изображения содержит блок 32 обработки, предназначенный для получения массива трехмерных данных для захваченного реального объекта, представляющего собой прицеп 22. Захваченный реальный объект визуализируют для отображения на сенсорном устройстве 28 отображения. Визуализация означает преобразование захваченной информации с устройства 24 формирования трехмерного изображения в визуализируемую и визуально распознаваемую форму для оператора системы 10 управления.

Массив трехмерных данных можно сравнивать со справочными данными 34, хранящимися в запоминающем устройстве 36 устройства 24 формирования трехмерного изображения. Если реальный объект удается распознать на основании сравнения сгенерированного массива трехмерных данных с сохраненными справочными данными 34, данные 38 объекта, соответствующие распознанному реальному объекту, могут быть связаны с объектом. Таким образом, данные 38 объекта сохранены в запоминающем устройстве 36. Данные 38 объекта могут содержать дополнительную информацию о реальном объекте, например тип прицепа 22, точные размеры прицепа, высоту боковых стенок прицепа 22, максимальный уровень наполнения и т.д. Визуализированную информацию захваченного реального объекта передают на устройство 28 отображения и показывают в виде отображаемого объекта 40, по меньшей мере, в части сенсорного устройства 28 отображения (отображаемое прямое изображение реального объекта приведено в увеличенном виде на фигуре 2). Отображаемый объект 40 может представлять собой прямое изображение и/или видео, синтезированное изображение и/или виртуальный элемент 42. Виртуальный элемент 42 может содержать и визуализировать дополнительную информацию об отображаемом объекте 40, в данном случае, о прицепе 22. Виртуальный элемент 42 показан в виде прямоугольной рамки, указывающей границы боковых стенок прицепа 22. Виртуальные элементы 42 показывают уровень наполнения в виде цветных точек, обозначающих положение кучи перегруженной собранной культуры 44, а также высоту заполнения при помощи их положения и цвета. Вертикальные границы потока выбрасываемого собранного урожая 44 также обозначены виртуальными элементами 42.

Отображаемые объекты 40 выполнены с возможностью интерактивного манипулирования при помощи сенсорного ввода, в частности при помощи предопределенных жестов ввода. Собранный урожай 44, выбрасываемый из транспортного устройства 18, выбирают при помощи сенсорного ввода, например указательного пальца, и его можно переместить или иным образом взаимодействовать с ним. Этот сенсорный ввод передают в устройство 24 формирования трехмерного изображения в качестве обратной связи, включающей в себя двумерные координаты сенсорного ввода. Если, например, оператор намерен переместить или перетащить выбранный отображаемый объект 40, в данном случае поток выбрасываемого собранного урожая 44, устройство 24 формирования трехмерного изображения генерирует командные сигналы 46 на основании массива трехмерных данных согласно взаимодействию с отображаемым объектом 40 для соответствующего управления транспортным устройством 18. Команды 46 управления могут быть направлены в блок 28 управления транспортного устройства 18 с целью соответствующего контроля и управления транспортным устройством 18, например удержания транспортного устройства 18 в определенном положении до достижения определенной высоты собранного урожая 44 и последующего автоматического перемещения транспортного устройства 18 в следующее положение, которое может быть выбрано сенсорным вводом, причем трехмерные координаты генерируют на основе двумерного сенсорного ввода. Таким образом, команды 46 управления могут представлять собой команды для управления транспортным устройством 18 определенным образом, в частности хронологически независимо от сенсорного ввода. Особым типом командных сигналов 46 являются управляющие сигналы 48, сгенерированные в целях непосредственного управления, по меньшей мере, одним приводом для перемещения транспортного устройства 18. Сигналы 48 управления могут быть сгенерированы в блоке 30 управления и/или в устройстве 24 формирования трехмерного изображения, в частности, в процессоре 32 устройства 24 формирования трехмерного изображения. В случае передачи выбранного потока выбрасываемого собранного урожая 44 перетягивание потока, в соответствии с жестом ввода, может привести к перемещению транспортного устройства 18 в режиме реального времени в соответствии с взаимодействием собранного урожая 44 с отображаемым объектом 40 путем сенсорного ввода на устройстве 28 отображения.

Выбор второго прицепа 22 показан на фигуре 3. Первый прицеп 22 заполнен собранным урожаем 44, а пустой второй прицеп 22 выбран взаимодействием с отображаемым объектом 40, представляющим собой пустой второй прицеп 22. Сенсорный ввод передают на устройство 24 формирования трехмерного изображения, генерирующее команды 46 управления для соответствующего позиционирования транспортного устройства 18 с целью заполнения второго прицепа 22 собранным урожаем 44. Выбор и перетаскивание потока собранного урожая 44 показан на фигуре 4. Согласно данным 38 объекта, соответствующим распознанному прицепу 22, безопасные расстояния обозначены виртуальными элементами 42, указывающими на пределы перегрузки собранного урожая 44 и, тем самым, пределы позиционирования транспортного устройства 18. При перетаскивании выбранного потока выбрасываемого собранного урожая 44, транспортируемого в рамках безопасных расстояний, например, вправо в направлении пустого прицепа 22 может быть активирована функция коррекции, позволяющая пересечь безопасное расстояние, перемещая транспортное устройство 18 в сторону возможно еще нераспознанного пустого прицепа 22. Привязка данных объекта к пустому прицепу 22 может быть осуществлена сенсорным вводом.

Выбранный отображаемый объект 40, имеющий вид виртуального элемента 42, обозначающего безопасное расстояние, можно переместить в желаемое новое положение, например дальше к концу прицепа 22, сенсорным вводом (фигура 5). Взаимодействие с виртуальным элементом 42 путем перемещения виртуального элемента 42 приводит к изменению данных 38 объекта, соответствующих отображаемому прицепу 22. Двумерное изменение положения виртуального элемента 42 соотносят с трехмерными изменениями координат безопасного расстояния, отражающимися на данных прицепа 22, которые изменяются и могут быть сохранены в запоминающем устройстве (не показано на фигуре). Уровень наполнения прицепа 22, показанного на фигуре 6, может быть изменен, например увеличен, после выбора виртуальных элементов 42 и выполнением соответствующего жеста ввода, например движения вверх. Уровень наполнения может быть увеличен для одной или нескольких выбранных куч собранного урожая 44 или в целом для прицепа. Увеличение уровня наполнения может быть желательным при уборке сухой и, следовательно, менее тяжелой, культуры с целью эффективного использования максимальной полезной нагрузки прицепа. Уменьшение максимального уровня наполнения может быть желательным при уборке сырых или влажных и, тем самым, тяжелых культур с целью недопущения превышения максимальной полезной нагрузки прицепа.

На фигуре 7 транспортное устройство 18 обращено к задней части кормоуборочного комбайна и к трактору 50 с прицепом 22. Прицеп 22 был распознан, и соответствующие безопасные расстояния отображены в виде виртуальных элементов 42, обозначающих боковые границы заполнения прицепа 22. Положение места выгрузки выбрасываемого собранного урожая 44 выбирают прикосновением к нужному месту на отображаемом объекте 40, то есть прицепе 22. Двумерные координаты сенсорного ввода используются устройством 24 формирования трехмерного изображения для генерирования команд 46 управления, содержащих соответствующие трехмерные координаты места выгрузки. Положение места выгрузки может также быть выбрано взаимодействием с отображаемым объектом 40, причем отображаемый объект 40 может быть нераспознанным и не содержать никакой дополнительной информации на виде виртуального элемента (фигура 8). В этом случае двумерные входные координаты передают в трехмерные команды управления, основываясь на массиве трехмерных данных захваченного и отображенного нераспознанного реального объекта.

Конкретные комбинации элементов и признаков в приведенных выше детальных вариантах исполнения даны исключительно для примера; также явно допускается взаимозаменяемость и замещение этих идей другими идеями в данной патентной заявке и патентных заявках/приложениях, включенных путем отсылки. Специалист в данной области техники может изменить, модифицировать и реализовать иным способом описанные здесь идеи, не отходя от сущности и объема заявленного изобретения. Соответственно, вышеприведенное описание дано исключительно для примера и не может рассматриваться как ограничение. В формуле изобретения формулировка «содержащий» не исключает другие элементы или этапы, а единственное число не исключает множества. Сам факт, что определенные признаки изложены во взаимно различающихся зависимых пунктах формулы изобретения, не означает невозможность использования комбинации этих признаков с целью получения преимущества. Защищаемый объем изобретения определен в следующей формуле изобретения и ее эквивалентах. Кроме того, ссылочные обозначения в описании и формуле изобретения не ограничивают заявленный объем изобретения.

НОМЕРА ПОЗИЦИЙ
10	система управления
12	кормоуборочный комбайн
14	жатка
16	кабина
18	транспортное устройство
20	заслонка
22	прицеп
24	устройство формирования трехмерного изображения
26	стереокамера
28	устройство отображения
30	блок управления
32	процессор
34	справочные данные
36	запоминающее устройство
38	данные объекта
40	отображаемый объект
42	виртуальный элемент
44	собранный урожай
46	командный сигнал
48	управляющий сигнал
50	трактор

1. Система управления регулируемым транспортным устройством (18) для собранного урожая (44) на сельскохозяйственной машине, в частности самоходном комбайне (12), содержащая, по меньшей мере, одно устройство (24) формирования трехмерного изображения, предназначенное для захвата реального объекта и для получения массива трехмерных данных для реального объекта, а также сенсорное устройство (28) отображения, предназначенное для отображения объекта (40, 42) и для приема команд сенсорного ввода, отличающаяся тем, что система (10) управления выполнена с возможностью генерирования на основе массива трехмерных данных командных сигналов (46), соответствующих взаимодействию с отображаемым объектом (40), с целью управления транспортным устройством (18).

2. Система по п. 1, причем система выполнена с возможностью генерирования командных сигналов (46), имеющих вид управляющих сигналов (48) для транспортного устройства (18), предназначенных для непосредственного управления транспортным устройством (18).

3. Система по п. 1 или 2, причем система выполнена с возможностью распознавания захваченного реального объекта.

4. Система по любому из пп. 1 или 2, причем система выполнена с возможностью привязки и/или изменения данных, соответствующих отображаемому объекту (40).

5. Система по любому из пп. 1 или 2, причем система выполнена с возможностью формирования визуальной и/или звуковой обратной связи, в частности, по результатам сенсорного ввода.

6. Система по любому из пп. 1 или 2, причем система выполнена с возможностью генерирования, по меньшей мере, одного виртуального элемента (42), соответствующего отображаемому объекту (40).

7. Система по любому из пп. 1 или 2, причем устройство (24) формирования трехмерного изображения содержит, по меньшей мере, одно электрооптическое устройство измерения дальности, в частности, в виде стереокамеры (26), лазерной системы обнаружения и измерения дальности и/или камеры, работающей по времени прохождения.

8. Сельскохозяйственная машина, содержащая, по меньшей мере, одну систему (10) управления по любому из пп. 1-7.

9. Способ интерактивного управления, в частности, с помощью системы (10) управления по любому из пп. 1-7 управляемым транспортным устройством (18) для собранного урожая (44) на сельскохозяйственной машине, в частности самоходном уборочном комбайне (12), содержащий следующие этапы:

получение массива трехмерных данных для реального объекта, захваченного устройством (24) формирования трехмерного изображения,

отображение объекта на сенсорном устройстве (28) отображения,

получение обратной связи от устройства (28) отображения по результатам сенсорного ввода при взаимодействии с отображаемым объектом (40),

генерирование на основании массивов трехмерных данных командных сигналов (46), соответствующих взаимодействию с отображаемым объектом (40), для управления транспортным устройством (18).

10. Способ по п. 9, содержащий также этап генерирования командных сигналов (46), имеющих вид управляющих сигналов (48), предназначенных для непосредственного управления транспортным устройством (18).

11. Способ по п. 9 или 10, содержащий также этап распознавания захваченного реального объекта.

12. Способ по любому из пп. 9, 10, содержащий также этап сохранения и/или извлечения справочных данных (34), в частности, в целях сравнения полученного массива трехмерных данных со справочными данными (34).

13. Способ по любому из пп. 9, 10, содержащий также этап привязки и/или изменения данных (34, 38), соответствующих отображаемому объекту (40).

14. Способ по любому из пп. 9, 10, содержащий также этап генерирования визуальной и/или звуковой обратной связи, в частности, по результатам сенсорного ввода.

15. Способ по любому из пп. 9, 10, содержащий также этап генерирования, по меньшей мере, одного виртуального элемента (42), соответствующего отображаемому объекту.