09.11.14 Нейромережі через один змінений піксель можуть побачити на зображенні замість коня автомобіль | |
 Вчені японського Університету Кюсю виявили, що, замінивши всього один піксель, нейромережі, призначені для розпізнавання образів, можна змусити неправильно аналізувати зображення. Дослідники назвали цей прийом однопіксельною атакою (one pixel attack). За їх словами, атака підходить для обману штучних нейромереж з великою кількістю шарів. Стаття з описом методу опублікована на сервері препринтів arXiv.org.
Відзначимо, що штучні нейромережі - це комп'ютерні програми, принцип роботи яких в окремих аспектах нагадує функціонування мозку тварин. Вони виявилися надзвичайно ефективними при вирішенні задач деяких класів, наприклад, для класифікації даних, апроксимації функції по набору точок, стиснення інформації та деяких інших. Зокрема, образи на зображеннях вони можуть розпізнавати нарівні з людиною. Через відсутність повноцінної теорії роботи нейромереж причина їхнього успіху при вирішенні саме цих завдань залишається неясною. Більш того, немає гарантії, що при роботі нейромережі не допускають помилки - чим і користуються багато дослідників, намагаючись їх обдурити. У новій роботі описується алгоритм, який знаходить на 1024-піксельному зображенні саме той піксель, який потрібно змінити, щоб обдурити нейромережу. Якщо перефарбувати шуканий піксель в інший колір, нейромережа невірно класифікує зображення в 74% випадків, а зміна п'яти пікселів підвищує частку помилки до 87%. В ході дослідження нейромережа повинна була визначити зображення в один з дев'яти класів: літак, автомобіль, птах, кіт, олень, жаба, кінь, корабель і вантажівка. Зміна одного пікселя в середньому дозволило віднести картинку до 2-3 неправильним класах. Зміна п'яти пікселів дозволило майже напевно змусити нейромережу віднести зображення до будь-якого з 9 класів. Наприклад, зображення коня вченим вдалося таким чином "замаскувати" як автомобіль.  Варто відзначити, що в експерименті використовувалися зображення всього 32 на 32 пікселя, які, звичайно, дуже маленькі, і для картинок більшого розміру знадобиться змінювати більше пікселів. Однак сам метод підриву роботи нейромереж з використанням якомога меншого спотворення і вражаючі результати дослідження одночасно і цікаві, і тривожні. Так, для зображення розміром 280 тисяч пікселів необхідно змінити тільки 273 пікселя, і людське око, як і раніше може не помітити змін, в той час як комп'ютер напевно дасть збій. Як відзначають фахівці, особливо це турбує, оскільки поки у нас немає інструментів для того, щоб ефективно протидіяти таким атакам, в тому числі - через відсутність повного розуміння роботи нейромереж. Джерела: indicator, The Register | |
|
| |
| Всього коментарів: 0 | |