DVI

Неділя, 18.11.2018, 20.57.04
Головна » 2018 » Жовтень » 23 » Китайські розробники створили додаток для смартфона, що розпізнає беззвучну мова по рухах губ користувача
15.00.05
Китайські розробники створили додаток для смартфона, що розпізнає беззвучну мова по рухах губ користувача
      Китайські вчені з Університету Цінхуа розробили голосовий помічник для смартфонів, що вміє розпізнавати мову по рухах губ, навіть якщо користувач не видає звуків.

Як повідомляється, додаток складається з двох нейромереж. Одна з них під час роботи визначає обличчя в кадрі з камери смартфона і після цього починає відстежувати стан 20 контрольних точок, які досить точно описують форму губ, а також ступінь відкритості рота, що дозволяє визначати моменти початку і кінця команди. Потім ці дані передаються другій нейромережі, яка на їх основі розпізнає мову.

На даний момент додаток підтримує 44 команди, частина з яких відноситься до всієї системи, наприклад, включення Wi-Fi, частина - до конкретних додатків, а ще одна частина дозволяє взаємодіяти з будь-яким додатком за допомогою системних служб, наприклад, виділяти текст. При цьому додаток розуміє контекст команд: так, якщо система відобразила спливаюче вікно з повідомленням, то користувач зможе швидко на нього відповісти.

Нейромережі були навчені на прикладах мови 21 людини. Потім розробники перевірили точність розпізнавання на мові ще одного. Середня точність розпізнавання виявилася рівною 95,5%.

Крім цього, автори перевірили, наскільки їх додаток зручніше голосового введення в громадських місцях, і провели експеримент в пекінському метро. Під час експерименту п'ять пар добровольців оцінювали конфіденційність і комфорт використання додатка, при цьому один з них виконував команди, а другий виступав в ролі пасажира.

Випробування показали, що в обох випадках люди вважають беззвучні команди більш комфортними і конфіденційними, ніж голосові команди, причому навколишні люди оцінювали комфорт навіть вище, ніж самі користувачі.

Джерело: N+1
Переглядів: 17 | Додав: dvi | Рейтинг: 0.0/0
Всього коментарів: 0
Ім'я *:
Email:
WWW:
Код *: