Распознавание жестов и его применение в машинном обучении

В последнее время предпринимаются значительные усилия по разработке интеллектуальных и естественных интерфейсов между пользователями и компьютерными системами на основе человеческих жестов. Жесты обеспечивают интуитивно понятный интерфейс как для людей, так и для компьютеров. Таким образом, такие интерфейсы на основе жестов могут не только заменить обычные интерфейсные устройства, но и могут использоваться для расширения их функциональности.

Робот обычно представляет собой электромеханическую машину, которая может выполнять задачи автоматически. Некоторым роботам требуется определенная степень руководства, которое может осуществляться с помощью пульта дистанционного управления или с помощью компьютерного интерфейса. Роботы настолько эволюционировали и способны подражать людям, что, кажется, у них есть собственный разум. Важным аспектом успешной роботизированной системы является взаимодействие человека и машины. В первые годы единственным способом общения с роботом было программирование, которое требовало большой и тяжелой работы. Но с развитием науки и робототехники широкое распространение получила технология распознавания жестов.

На нашем сайте вы можете посмотреть следующие проекты, имеющие отношение к технологии распознавания жестов:

Что такое жесты и распознавание жестов?

Жесты возникают из любого движения или состояния тела, но обычно возникают из лица или руки. Распознавание жестов можно рассматривать как способ для компьютера понимать язык тела человека. Это свело к минимуму необходимость в текстовых интерфейсах и GUI (графическом пользовательском интерфейсе). Жест — это действие, которое должен увидеть кто-то другой и которое должно передать некоторую информацию. Жест обычно рассматривается как движение части тела, особенно руки или головы, для выражения идеи или значения.

В настоящее время в этой области ведется много активных исследований, но мало общедоступных реализаций. Разработано несколько подходов для распознавания жестов и управления роботами. Метод на основе перчаток является хорошо известным средством распознавания жестов рук. Он использует датчик, прикрепленный к перчатке, который напрямую измеряет движения руки. На нашем сайте мы рассматривали подобный проект управляемой жестами роботизированной руки на Arduino Nano.

Жесты полезны для взаимодействия с компьютером, поскольку они являются наиболее первичными и выразительными формами человеческого общения. Интерфейсы жестов для игр, основанные на технологии жестов руки/тела, должны быть разработаны для достижения социального и коммерческого успеха. Ни один метод автоматического распознавания жестов рук не подходит для всех приложений; каждый алгоритм распознавания жестов зависит от культурного фона пользователя, области применения и среды его использования.

Структура технологии распознавания жестов

В компьютерных интерфейсах различают два типа жестов:
1. Офлайн-жесты: те жесты, которые обрабатываются после взаимодействия пользователя с объектом. Примером может служить жест активации меню.
2. Онлайн-жесты: жесты прямой манипуляции. Они используются для масштабирования или поворота осязаемого объекта.

Возможность отслеживать движения человека и определять, какие жесты он может выполнять, может быть достигнута с помощью различных инструментов. Хотя в области распознавания жестов на основе изображений/видео проведено много исследований, существуют некоторые различия в инструментах и средах, используемых в разных реализациях. Некоторые из инструментов могут включать проводные перчатки, камеры с учетом глубины, стереокамеры, контроллеры на основе жестов, а также радар. Эти контроллеры действуют как продолжение тела, так что при выполнении жестов часть их движения может быть удобно захвачена программным обеспечением. Примером нового захвата движения на основе жестов является отслеживание скелетной руки, которое разрабатывается для приложений виртуальной и дополненной реальности.

В зависимости от типа входных данных подход к интерпретации жеста может быть реализован разными способами. Однако большинство методов основаны на ключевых указателях, представленных в трехмерной системе координат. На основе их относительного движения жест может быть обнаружен с высокой точностью, в зависимости от качества входных данных и подхода алгоритма.

Чтобы интерпретировать движения тела, необходимо классифицировать их в соответствии с общими свойствами и сообщением, которое могут выражать движения. Например, в языке жестов каждый жест представляет собой слово или фразу. Таксономия, которая кажется очень подходящей для взаимодействия человека с компьютером, была предложена Куэком в его работе «На пути к интерфейсу жестов рук на основе зрения». Он представляет несколько интерактивных систем жестов для того, чтобы охватить все пространство жестов: манипулятивный, семафорический и разговорный. В некоторой литературе различаются 2 разных подхода к распознаванию жестов: основанный на трехмерной модели и основанный на внешнем виде. Самый передовой метод использует 3D-информацию ключевых элементов частей тела, чтобы получить несколько важных параметров, таких как положение ладони или углы суставов. С другой стороны, системы, основанные на внешности, используют изображения или видео для прямой интерпретации.

Они включают в себя:

1. Этап сбора данных или изображений жестов
Это этап сбора входных данных, на котором записываются и классифицируются жесты рук, тела или лица.

2. Этап предварительной обработки изображения жеста
Этот этап использует такие методы, как обнаружение границ, фильтрация и нормализация, чтобы захватить основные характеристики жеста. Он помещает входной жест в модель, используемую для распознавания жестов.

3. Стадия отслеживания изображения
Отслеживание изображения следует за предварительной обработкой изображения жеста, где датчики фиксируют ориентацию, а также положение объекта, выполняющего жесты. Это может быть достигнуто с помощью одного или нескольких трекеров, таких как магнитные, оптические, акустические, инерционные или механические.

4. Этап распознавания
Наконец наступает этап распознавания, который часто считается заключительной фазой управления жестами в системах виртуальной реальности. После успешного извлечения признаков после отслеживания изображения, когда идентифицированные признаки жеста сохраняются в системе с использованием сложных нейронных сетей или деревьев решений, объявляется команда или значение жеста. Жест официально распознается, и классификатор может прикрепить каждый ввод тестового движения к своему классу жеста.

Применение систем распознавания жестов

1. Разговор с компьютером

Представьте себе мир, в котором человек, собирающий презентацию, может добавить цитату или переместить изображение одним движением руки, а не щелчком мыши. Будущее, в котором мы сможем легко взаимодействовать в виртуальной реальности так же, как мы это делаем в реальной реальности, используя руки для небольших, сложных движений, таких как взятие инструмента, нажатие кнопки или сжатие мягкого предмета перед собой. Этот вид технологий все еще развивается. Но компьютерные ученые и инженеры, которые работают над этими проектами, говорят, что они находятся на пороге создания инструментов распознавания рук и жестов, достаточно практичных для массового использования, подобно тому, как многие люди сейчас используют распознавание речи, чтобы диктовать тексты, или компьютерное зрение, чтобы распознавать лица на фотографиях.

2. Медицинская операция

Жесты могут использоваться для управления распределением ресурсов в больницах, взаимодействия с медицинскими приборами, управления дисплеями визуализации и помощи пользователям с ограниченными возможностями в рамках их реабилитационной терапии. Некоторые из этих концепций были использованы для улучшения медицинских процедур и систем; например, технология, которая удовлетворяет требованию «приходи как есть», где хирурги управляют движением лапароскопа, делая соответствующие жесты лица без ручных или ножных переключателей или голосового ввода. Простые жесты руки в интерфейсах врач-компьютер, описывающие систему компьютерного зрения, которая позволяет хирургам выполнять стандартные функции мыши, включая перемещение указателя и нажатие кнопок, с помощью жестов руки, которые удовлетворяют требованию «интуитивности».

3. Управление игрой с помощью жестов

Компьютерные игры являются особенно технологически многообещающей и коммерчески выгодной ареной для инновационных интерфейсов из-за развлекательного характера взаимодействия. Пользователи стремятся попробовать новые парадигмы интерфейса, поскольку они, вероятно, погружены в сложную игровую среду. В устройстве с несколькими касаниями управление осуществляется кончиками пальцев пользователя. Какой палец касается экрана, не имеет значения; самое важное — где сделано касание и сколько пальцев задействовано. В играх, основанных на компьютерном зрении и управляемых жестами рук, система должна быстро реагировать на жесты пользователя, что является требованием «быстрого реагирования». В играх алгоритмы компьютерного зрения должны быть надежными и эффективными, в отличие от приложений (таких как системы инспекции), не требующих работы в реальном времени, и где производительность распознавания является наивысшим приоритетом. Таким образом, исследовательские усилия должны быть сосредоточены на отслеживании и распознавании жестов/поз с обработкой изображений с высокой частотой кадров.

4. Жесты рук для управления бытовой техникой, такой как MP3-плеер, телевизор и т. д.

В настоящее время все большее значение приобретает управление электронными устройствами с помощью жестов рук. Большинство электронных устройств ориентированы на алгоритм распознавания жестов рук и соответствующий пользовательский интерфейс. Пульт с помощью жестов рук — это устройство, заменяющее все остальные пульты, используемые в домашних хозяйствах, и выполняющее все их функции. Обычно в домах пульты используются для таких приборов, как телевизор, CD-плеер, кондиционер, DVD-плеер и музыкальная система. Пульты также используются для управления включением/выключением света, открывания дверей и т. д. Всеми этими устройствами можно управлять с помощью одного универсального пульта. Хотя технология синхронизирована для всех пультов (инфракрасная передача и модуляция включения/выключения в диапазоне 32–36 кГц), не существует согласованного соглашения о формате кода для передачи данных. Связь между пультом и приборами устанавливается с помощью предопределенного кода.

5. Управление автомобилем с помощью жестов

Это так же просто, как кажется: вы используете руки для управления функциями в вашем автомобиле и больше не должны отвлекаться от дороги. Хотя, конечно, есть несколько изящных технологий, работающих за кулисами, чтобы достичь этого подвига. Одна из них — это современные камеры слежения за глазами, которые отслеживают, куда направлен взгляд водителя, а вторая — это 3D-датчики распознавания жестов руки, которые считывают движение его руки. Таким образом, водитель может смотреть глазами, чтобы выбрать радио, а затем использовать движение руки, чтобы сменить станцию, не отрывая взгляда от дороги. Движения рук, используемые для управления системой, — это те, которые мы уже используем естественным образом ежедневно; например, поднимаем или опускаем руку, указываем, проводим пальцем влево или вправо, вращаем по часовой стрелке или против часовой стрелки, сжимаем или разжимаем. Это позволит вам выполнять такие действия, как прокрутка списка контактов телефона, изменение пункта назначения в вашем спутниковом навигаторе, возврат к предыдущей песне или повышение температуры в автомобиле.

6. Коммуникация

Виртуальная реальность и системы погружения в реальность — это компьютерно-генерируемые среды, которые воспроизводят сценарий или ситуацию, либо вдохновленные реальностью, либо созданные из воображения. Эти системы реальности, часто называемые гибридными реальностями, позволяют стимулировать физическое присутствие пользователя посредством взаимодействия с пользователем и движения для создания всеобъемлющего сенсорного опыта. Это может включать в себя чувства зрения, слуха, осязания и даже обоняния. Взаимодействие пользователя со средой VR ограничивается использованием различных устройств или дисплеев VR, монтируемых на голове, которые часто требуют использования указательных устройств. Однако для виртуальной реальности гораздо более предпочтительны командные устройства, которыми можно манипулировать невидимо, например, голосовые команды, чтение по губам, интерпретация выражения лица и распознавание жестов рук.

Заключение

Технология распознавания жестов является поворотным моментом в мире развития VR/AR. Она может обеспечить бесшовное неконтактное управление компьютеризированными устройствами для создания высокоинтерактивной, но полностью иммерсивной и гибкой гибридной реальности. Включение этой технологии в многочисленные приложения в различных секторах еще больше революционизирует общение человека с компьютером. Тем не менее, распознавание жестов — это не игра для новичков.

Это полностью интегрированная, высокоразвитая технология, требующая специальных навыков людей с соответствующим опытом, которые могут гарантировать надежные результаты.