16.00.05 Китайські розробники створили додаток для смартфона, що розпізнає беззвучну мова по рухах губ користувача | |
 Китайські вчені з Університету Цінхуа розробили голосовий помічник для смартфонів, що вміє розпізнавати мову по рухах губ, навіть якщо користувач не видає звуків.
Як повідомляється, додаток складається з двох нейромереж. Одна з них під час роботи визначає обличчя в кадрі з камери смартфона і після цього починає відстежувати стан 20 контрольних точок, які досить точно описують форму губ, а також ступінь відкритості рота, що дозволяє визначати моменти початку і кінця команди. Потім ці дані передаються другій нейромережі, яка на їх основі розпізнає мову. На даний момент додаток підтримує 44 команди, частина з яких відноситься до всієї системи, наприклад, включення Wi-Fi, частина - до конкретних додатків, а ще одна частина дозволяє взаємодіяти з будь-яким додатком за допомогою системних служб, наприклад, виділяти текст. При цьому додаток розуміє контекст команд: так, якщо система відобразила спливаюче вікно з повідомленням, то користувач зможе швидко на нього відповісти.  Нейромережі були навчені на прикладах мови 21 людини. Потім розробники перевірили точність розпізнавання на мові ще одного. Середня точність розпізнавання виявилася рівною 95,5%. Крім цього, автори перевірили, наскільки їх додаток зручніше голосового введення в громадських місцях, і провели експеримент в пекінському метро. Під час експерименту п'ять пар добровольців оцінювали конфіденційність і комфорт використання додатка, при цьому один з них виконував команди, а другий виступав в ролі пасажира. Випробування показали, що в обох випадках люди вважають беззвучні команди більш комфортними і конфіденційними, ніж голосові команди, причому навколишні люди оцінювали комфорт навіть вище, ніж самі користувачі. Джерело: N+1 | |
|
| |
| Всього коментарів: 0 | |