Раніше нейронні мережі вже навчилися «писати» картини, а зараз настала черга кінематографа. Лондонський дослідник Тіренс Броуд навчив нейромережу «дивитися» кіно. Свій незвичайний експеримент він в найдрібніших подробицях описав в своєму блозі на майданчику Medium.

Переказувати все особливого сенсу немає, та й, зізнатися чесно, деякі технічні аспекти вимагають глибоких пізнань в області машинного навчання і нейронних мереж. Спробуємо коротко передати суть.

Отже, суть полягає в тому, щоб навчити нейромережу свого роду мнемонічним прийомам запам'ятовування зображення з метою його точного відтворення в майбутньому. Нейромережа бере зображення, кодує його за допомогою 200 цифр, а потім намагається розкодувати цю послідовність і отримати картинку, максимально близьку до оригіналу. В якості вихідного матеріалу для навчання своєї нейромережі Броуд використовував фільм Рідлі Скотта «Той, що біжить по лезу» 1982 року, точніше його стислу версію з більш низьким дозволом - 256х144 точок. З трьома колірними каналами повний розмір зображення такої якості - 110592 цифр. Тобто, зображення стискується майже в 553 рази. У майбутньому подібна техніка може використовуватися для відновлення візуальних даних за допомогою штучних нейронних мереж.

Переглянувши кінострічку шість разів - за часом це зайняло близько двох тижнів - машина Броуда, що використовує NVIDIA GTX 960, зуміла покадрово відтворити весь фільм. Сама техніка потребує доопрацювання, та й встановлена ​​планка в 200 цифр неймовірно низька для відтворення найдрібніших подробиць, що добре видно по відео, але в цілому - це ідея хороша.

Найкраще оцінити «шедевр» нейромережі Броуда можна завдяки відео, на якому порівнюється оригінал «Того, що біжить по лезу» і робо-копія.

Найцікавіше сталося після того, як Броуд завантажив відтворену комп'ютером версію фільму на відеохостинг Vimeo. В кінці травня Warner Bros. відправила Vimeo повідомлення про порушення авторських прав. З урахуванням того, що пошуком порушень авторських прав зазвичай займаються роботи, виходить вельми іронічний фінал: робот від Warner Bros. переплутав фільм, створений іншим роботом, з картиною, знятою людиною. І ще одна цікава деталь - сюжет «Того, що біжить по лезу» розповідає про штучний інтелект, який неможливо відрізнити від справжніх людей. До речі кажучи, Warner Bros. відновила видалене відео після того, як видання Vox звернулося до представників за коментарем.

Крім «Того, що біжить по лезу» в експерименті Броуда взяла участь ще одна стрічка - «Помутніння» Річарда Лінклейтера.

Джерело: meduza.io і medium