html текст
All interests
  • All interests
  • Design
  • Food
  • Gadgets
  • Humor
  • News
  • Photo
  • Travel
  • Video
Click to see the next recommended page
Like it
Don't like
Add to Favorites

Камера ноутбука позволит немым обратиться к голосовому помощнику


Abhishek Singh / YouTube

Американский программист создал программу, позволяющую общаться с голосовым помощником Alexa с помощью жестового языка. Она распознает жесты с помощью камеры ноутбука и преобразует их в голосовые команды для помощника, а затем распознает ответы помощника и выводит их на экран в текстовом виде. На разработку обратил внимание блог prosthetic knowledge.

Многие технологические компании рассматривают голосовое управление в качестве одного из основных способов взаимодействия человека с умным домом и другими устройствами. Голосовые помощники установлены в практически всех современных смартфонах, но многие из них позволяют давать команды и с помощью клавиатуры. Однако в последние несколько лет стали довольно популярными умные колонки, в которых голосовой ввод — единственный способ общения с устройством. Это довольно удобно и позволяет, к примеру, включать музыку в комнате, не подходя к мультимедийному центру, но использовать такой интерфейс могут только люди без нарушений слуха и речи.

Разработчик из США Абхишек Сингх (Abhishek Singh) создал программное обеспечение, выступающее в качестве посредника между глухим человеком и голосовым помощником Alexa. Программа запускается на ноутбуке и использует встроенную камеру для распознавания жестов американского жестового языка. За распознавание отвечает алгоритм глубокого обучения, реализованный с помощью фреймворка TensorFlow.js, позволяющего обучать и запускать нейросетевые модели в браузере.

Пользователь дает команды на жестовом языке, а ноутбук в реальном времени распознает слова и произносит их с помощью системы синтеза речи, а также отображает на экране. В это же время колонка слышит и распознает слова компьютера и через небольшое время отвечает голосом, который также распознается и выводится на экран. Интерфейс приложения разделен на две части и оформлен как диалог пользователя и голосового ассистента:


Пока разработчик не раскрывает технические подробности реализации алгоритма, но планирует выложить исходный код приложения на GitHub.

В прошлом году Сингх представил необычный проект, позволяющий сыграть в Super Mario Bros. в дополненной реальности. Он разработал на Unity AR-версию первого уровня игры и адаптировал ее для очков дополненной реальности Microsoft Hololens. Поскольку пользователь не может запрыгнуть на виртуальный блок, геймплей игры претерпел изменения, но многие возможности повторяют оригинал. К примеру, можно ударять по блокам, собирать монетки и давить гумб.

Григорий Копиев

Читать дальше
Twitter
Одноклассники
Мой Мир

материал с nplus1.ru

1

      Add

      You can create thematic collections and keep, for instance, all recipes in one place so you will never lose them.

      No images found
      Previous Next 0 / 0
      500
      • Advertisement
      • Animals
      • Architecture
      • Art
      • Auto
      • Aviation
      • Books
      • Cartoons
      • Celebrities
      • Children
      • Culture
      • Design
      • Economics
      • Education
      • Entertainment
      • Fashion
      • Fitness
      • Food
      • Gadgets
      • Games
      • Health
      • History
      • Hobby
      • Humor
      • Interior
      • Moto
      • Movies
      • Music
      • Nature
      • News
      • Photo
      • Pictures
      • Politics
      • Psychology
      • Science
      • Society
      • Sport
      • Technology
      • Travel
      • Video
      • Weapons
      • Web
      • Work
        Submit
        Valid formats are JPG, PNG, GIF.
        Not more than 5 Мb, please.
        30
        surfingbird.ru/site/
        RSS format guidelines
        500
        • Advertisement
        • Animals
        • Architecture
        • Art
        • Auto
        • Aviation
        • Books
        • Cartoons
        • Celebrities
        • Children
        • Culture
        • Design
        • Economics
        • Education
        • Entertainment
        • Fashion
        • Fitness
        • Food
        • Gadgets
        • Games
        • Health
        • History
        • Hobby
        • Humor
        • Interior
        • Moto
        • Movies
        • Music
        • Nature
        • News
        • Photo
        • Pictures
        • Politics
        • Psychology
        • Science
        • Society
        • Sport
        • Technology
        • Travel
        • Video
        • Weapons
        • Web
        • Work

          Submit

          Thank you! Wait for moderation.

          Тебе это не нравится?

          You can block the domain, tag, user or channel, and we'll stop recommend it to you. You can always unblock them in your settings.

          • nplus1.ru
          • домен nplus1.ru

          Get a link

          Спасибо, твоя жалоба принята.

          Log on to Surfingbird

          Recover
          Sign up

          or

          Welcome to Surfingbird.com!

          You'll find thousands of interesting pages, photos, and videos inside.
          Join!

          • Personal
            recommendations

          • Stash
            interesting and useful stuff

          • Anywhere,
            anytime

          Do we already know you? Login or restore the password.

          Close

          Add to collection

             

            Facebook

            Ваш профиль на рассмотрении, обновите страницу через несколько секунд

            Facebook

            К сожалению, вы не попадаете под условия акции