Студентки НИТУ МИСИС создали систему проверки подлинности изображения лиц

Студентки Университета МИСИС создали кастомную нейросеть для определения наличия лиц на фотографиях и вычисления подлинных. Загружать изображения для проверки можно через специально разработанное веб-приложение, также предусмотрена возможность анализа в реальном времени через камеру компьютера. Для обучения нейросети использовались 16 500 настоящих и фейковых фотографий. Разработка, сделанная по заказу компании VK, получила первое место на хакатоне INNOGLOBALHACK.

Для решения задачи по созданию face anti-spoofing – комплекса защитных мер, направленных на предотвращение обмана систем защиты путем предъявления ей «ложного» лица – разработчики используют системы с применением внешних датчиков электронных устройств или анализом видео-отрывка, по которому можно определить, настоящее ли перед нами лицо и окружение вокруг него и др.

Перед студентами-участниками хакатона стояла задача – предложить систему проверки подлинности изображения лица только по изображению с использованием методов машинного обучения. В своей работе разработчики опирались на обманы presentation attacks: использование фотографии лиц в печатном и электронном виде, а также объёмных масок, имитирующие черты лица человека.

Студентки Университета МИСИС – Алиса Семенова, Алина Бурыкина, Елизавета Борисенко – проанализировали пять существующих нейросетей, выбрали из них две самые перспективные, и на основе проведенных экспериментов и наблюдений разработали кастомную версию представляющую собой двухступенчатую систему.

«Важным этапом разработки решения с использованием машинного обучения является поиск набора данных для обучения моделей (в данном случае речь идет о большом количестве фотографий с примерами как реальных лиц, так и «ложных»). Мы использовали набор данных из 16500 изображений: подлинных и фейковых с примерно равномерным распределением по типам обмана систем распознавания лиц: с помощью печатных фотографий и изображений на экранах электронных устройств, масок и персонажей мультфильмов. А также сами напечатали фотографии людей с различными внешними признаками, сделали их «ложные» изображения и добавили в выборку, – пояснила Алиса Семенова, студентка 4 курса Университета МИСИС.

На первом этапе распознавания лица используется предобученная нейронная сеть MTCNN, которая определяет положение лица на картинке. Затем на изображение добавляется специальное поле, 60% от площади которого составляет анализируемое лицо. Такое приближение дает значительный прирост в точности. Далее используется сеть InceptionResnet, дающая числовые представления особенностей лица. Это позволило избежать смещения в предсказании модели, которая помимо лица анализирует все изображение в целом.

На втором этапе используется еще несколько слоев нейронной сети для отбора признаков изображения. Результаты двух этапов объединяются и проходят через несколько финальных слоев для получения окончательного вывода о подлинности изображения. Этот подход позволил команде достичь высокого значения точности при определении подлинности лиц.

Для нейросети было создано специальное веб-приложение, с помощью которого можно анализировать изображения лиц на подлинность, в том числе в режиме реального времени через камеру компьютера.