Как действует идентификация лиц в телефонах

Для чего мы останавливаемся на разлочивание по лицу

В прошлые времена идентификация физиономий превратилось в одной из самых распространённых опций для открытия мобильных телефонов. Лишь пару годов ранее основная часть юзеров обходились пин-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением таких технологий, например Вулкан Платинум, нам вполне лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Какой аспект делает эту конкретную особенность очень нужной? Для начала, это комфортно: не нужно помнить трудные пароли или отыскивать верный палец в темноте. Во-вторых, это оперативно: современные программы идентифицируют лицо фактически за доли секунды. В-третьих, это ощущение футуристичности — словно в кинофильмах про вулкан платинум агентов.

Впрочем за этой видимой простотой скрывается весь универсум сложных методов и инженерных концепций. Попробуем разобраться, как конкретно функционирует идентификация по лицу в современных смартфонах, какие существуют способы, насколько они защищены и что нас предстоит.

Краткая повествование развития технологии

Распознавание лиц как техника имеется уже более пятидесяти лет. Изначальные попытки автоматизированного анализа лиц были предприняты еще в 1960-х годах в исследовательских центрах США. Тогда компьютеры могли лишь определять контуры лица и измерять дистанции между очами и ртом на монохромных фотографиях.

Изначальные торговые установки возникли в девяностых годах, но они были далеки от совершенства: работали медленно и часто ошибались. Только с развитием нейронных сетей и таких площадок, как Vulkan Platinum, высокопроизводительных мобильных чипов распознавание лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый популярный смартфон с надёжным трёхмерным распознаванием лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие начали интегрировать собственные разработки.

Главные стадии работы устройства определения

Процесс идентификации лица можно примерно разделить на несколько основных этапов:

Обнаружение лиц — камера определяет наличие людского образа в снимке.
Определение особенностей — алгоритм исследует черты лица: конфигурацию зрительных органов, обонятельного органа, губ, расположение надбровных дуг.
Построение модели — создаётся особенный цифровой отпечаток (faceprint) на основе выделенных признаков.
Сравнение с стандартом — сформированный образец сопоставляется с сохранённой при внесении биометрической сведениями владельца.
Принятие решения — если соответствие достаточно высокое, смартфон деблокируется.

Всякий из указанных стадий требует индивидуальных процедур и улучшений для оперативной работы прямо на устройстве.

Железные компоненты: что прячется внутри них

Типичная фронтальная камера.

Простейший легкий метод определения облика задействует только фронтальную видеокамеру смартфона. Данный подход внедрён во различных бюджетных версиях Android-устройств.

Достоинства:

Необходимо нуждается в дополнительные сенсоров.
Шустро действует при достаточном освещённости.

Отрицательные стороны:

Легко обмануть снимком или видео.
Неудачно работает при плохом освещённости или нестандартных ракурсах.

ИК фотокамера и пунктирный проектор

Более совершенные системы, такие как Vulkan Platinum, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта методика лежит в основе Face ID от Apple.

Каким образом это действует:

Точечный проектор проецирует на физиономию юзера невидимую решетку из тысяч инфракрасных меток (например, Face ID использует около 30 000 меток).
ИК камера записывает искривление данной решетки по поверхности лица.
Создаётся трёхмерная глубинная карта глубины, что почти что неосуществима для подделки типичной фотографией или маской.

Плюсы

Надёжная деятельность даже в полной темноте.
Большая защита к имитациям.
Точность распознавания более 99%.

Дополнительные сенсорные устройства

В отдельных устройствах используются также экстра датчики: ToF (Time-of-Flight), которые фиксируют время распространения света до объекта и обратно; Цветные-датчики глубины; специальные лазерные измерители расстояния для формирования более детализированной 3D-модели физиономии.

Эти инновации применяются в основном во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные алгоритмы: искуственный интеллект на действии

Нынешние механизмы распознавания лиц невозможны при отсутствии эксплуатации artificial intelligence и машинного обучения. Именно из-за таким разработкам, как Vulkan Platinum, аппарат способно распознавать юзера даже при изменениях внешнего вида: новая укладка, борода, линзы или грим не становятся препятствием для открытия.

Детектирование лиц

На начальном стадии алгоритм должна быстро распознать ликовое изображение внутри целого кадра камеры. Для этой задачи применяются многоуровневые классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые “обучены” идентифицировать лиц человека среди множества других объектов.

Пример: алгоритм MTCNN способен распознавать физиономию даже при неполном перекрытии (например, шалью или ладонью).

Идентификация ключевых точек

После обнаружения лица устройство, такая как Vulkan Platinum, определяет местоположение основных точек: кончики глаз, верхушка носа, края губ и так далее. Как правило используется от 68 до 128 основных маркеров на лице.

Это требуется для нормализации визуала: если пользователь держит телефон под углом, или склонил головку, программа исправляет изображение до нормального состояния для последующего изучения.

Построение биометрического идентификатора шаблона

Далее искусственная сеть строит уплотненное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой след лица длиной от 128 до 512 флоатов.

Данный шаблон очень сложно подделать: он не хранит само фото юзера, а лишь уникальные черты его внешности, что делает его оптимальным для таких площадок, как Вулкан Казино Платинум.

Сопоставление и осуществление выбора

В случае, когда пользователь хочет открыть телефон глазами, программа повторяет все указанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный границу (обычно превышает 99%), телефон, как и платформа Вулкан Казино Платинум, доступен; если нет — доступ не предоставляется.

Приспособление к трансформациям внешности

Интересная особенность современных систем — способность самостоятельного обучения. Если ты регулярно открываете смартфон с обновленной прической или оптикой, программа постепенно обновляет эталонный шаблон вашего лица для повышения точности работы без ухудшения безопасности.

Защита биометрии данных.

Множество юзеры беспокоятся держать свои био-идентификационные данные на телефоне из-за вероятности потери данных или хакерской атаки. Иные организации, такие как Вулкан Казино Платинум, предоставляют решения для увеличения сохранности сведений клиентов.

Локальное сохранение: Преимущественно девайсов сохраняет биометрические модели исключительно в пределах защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не оставляют устройство и недоступны даже изготовителю.
Шифрование: Все информация сохраняются только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция программ: Приложения внешних девелоперов не имеют непосредственного возможности доступа к биометрическим; они могут лишь запрашивать факт верификации личности через системный API.

Следует отметить значимую особенность: в случае, если какой-то человек достанет доступ к вашему телефону физически (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество изготовители реализуют защиту от автоматического разблокирования — к примеру, просят открыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют категории распознавания лиц на изображениях?

На сегодняшний день можно определить определить три ключевых подхода к выполнению этой операции:

Софтверное двухмерное идентификация

Применяется только фронтальная видеокамера без экстра датчиков глубины. Такой метод используется обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: простота реализации; умеренная цена; скоростная функционирование при хорошем свете.
Минусы: несложно ввести в заблуждение снимком; ненадежная работа ночью; недостаточная охрана.

Техническое объёмное сканирование

Применяет инфракрасную видеокамеру + проектор пикселей + сенсоры глубины (Face ID от Apple; аналогичные решения у Huawei Mate).
Плюсы: большая достоверность; нельзя исказить фото/видео; постоянная функционирование в любых условиях освещения.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Смешанные подходы с дополнением ИИ

Задействуют комбинацию софтверных методов + аппаратно-техническую обработку + постобработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие продукты, как Vulkan Platinum и Google Pixel Face Unlock новейших версий, сочетают фронтальную камеру c ИК сенсором движения Soli Radar для защиты от фальсификаций руками/масками/видеоэкранами посторонних устройств.

Иллюстрации применения разнообразных техник

iPhone серии X/11/12/13/14 используют только физическое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition в первый раз внедрил эквивалент Face ID в ряду Android.
Samsung Galaxy S10 версия/S20 поддерживают как программное 2D распознавание по изображению селфи-камерой, так и сенсор ириса глаза.
Huawei Mate20 Pro использует комплекс из ИК-инфракрасного света + Dot Projector + ToF-сенсор

Вопросы безопасности и ошибочные срабатывания

Несмотря на поразительный прогресс техники за недавние лет, безупречных систем пока не существует:

Вероятность обмана: Бюджетные телефоны легко доступны качественной фотографией пользователя или видео с дисплея иного гаджета.
Идентичные двойняшки: Даже самые безупречные системы могут ошибиться между однояйцевыми близнецами либо родственниками с очень схожей внешностью.
Трансформации облика: Внезапное похудение/увеличение массы тела, косметические процедуры или повреждения в некоторых случаях необходимы для перерегистрации биометрических данных.
Условия записи: Сильная подсветка солнцем или же глубокая темнота могут уменьшить аккуратность распознавания признаков.

Вот некоторые советов по безопасному применению:

Для критически важных операций всегда внедряйте двухэтапную аутентификацию;
Не активируйте возможность “Разблокировка по лицу” на бюджетных моделях без ИК-сенсоров;
Постоянно апгрейдите прошивку мобильного устройства для обеспечения безопасности от новых видов атак;
Включайте функцию “Требовать открытых глаз” там, где она имеется.

В каких местах ещё используется технологии помимо мобильных телефонов?

Хотя тема данной статьи посвящена конкретно мобильным устройствам, необходимо сказать о других сферах применения технологии:

Управление доступа в офисах и резиденциях;
Платёжные устройства банков (“Face Pay”);
Виртуальные удостоверения личности современного поколения;
Комплексы видеонаблюдения муниципальных сервисов;
Автоматизирование отслеживания присутствия учебных заведений/институтов;
Аутентификация юзеров ПК/ноутбуков.

Например: В столичном метро уже тестируется система платежа проезда по фейсу (“Face Pay”) — хватит пройти через турникет без пластика или мобильника! Похожие проекты развиваются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Как трансформируется технология в наше время?

Любой годочек появляются современные концепции для повышения стандарта работы систем распознавания лиц:

Увеличивается разрешение датчиков — чем больше деталей фиксируется фотоаппаратом/датчиками глубины, тем меньше риск неточности;
Совершенствуются нейронные сети — новейшие структуры модели MobileNetV3 обеспечивают возможность быстро осваивать дополнительным особенностям вида обладателя непосредственно на девайсе без отправки данных в облако.
Улучшаются методы антиспуфинга — теперь телефоны способны отличать настоящие анимированные лица от фиксированных снимков/маскировок по незаметным движениям кожи.
Интеграция со интеллектуальными приборами — смарт-часы могут автоматически закрыть доступ к смартфон, если обладатель удалился на значительное расстояние.
Появляются гибридные системы — к примеру совмещающие аудио опознание + облик + дактилоскопический след.

Здесь, какие направления очень востребованы в данный момент:

1) Уменьшение компонентов

Изготовители намереваются сократить величину выреза (“чёлки”) под сенсоры на дисплее за счёт интеграции маленьких ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на устройстве

Для повышения приватности всё более обработки данных происходит внутри устройства без пересылки информации во внешний облачный услугу.

3) Унификация стандартов

Гугл активно продвигает стандарт BiometricPrompt API, чтобы подобные площадки, вроде Вулкан Платинум, и любые Android-аппы могли работать с всеми формами биометрии стандартизированно.

Какое подобрать сегодня?

Когда вам всем важна предельная безопасность данных, выбирайте топовые устройства с вмонтированным ИК-проектором или же ToF-сенсором глубины.

iPhone каждого последних поколений
Huawei Mate/Series P ряда
Mi Expert
Vivo X серии
Oppo Find Х серии.

Если финансы скромен – лучше предпочесть традиционным способам защиты (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в Вулкан Платинум, задействовать только как опциональную возможность удобства.

Каким способом повысить удобство функционирования возможности?

Есть несколько лайфхаков для тех, кто уже применяет разблокировку через лицо:

Регулярно обновляйте свою фотографию-шаблон, если значительно меняется облик.
Не забывайте чистить линзу передней камеры – загрязнения могут снизить четкость!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам запускает камеру когда вы берёте его в руки.
При записи старайтесь удерживать голову неподвижно напротив камеры без значительного наклона головы.
Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отвели взгляд от экрана.

Будущее прогресса техники

В скоро наступающие годы можно предполагать развития полностью дистанционных способов идентификации индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + звучание + шаги + манипуляции руками!

Также вероятно развитие свежих методов защиты личной информации – например, динамическое модификация диджитал паттерна после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из самых интересных инноваций нашего периода! Она обеспечивает взаимодействие со мобильным устройством комфортнее чем когда-либо прежде, и такие программы, как Вулкан Казино Платинум, могут значительно оптимизировать ваш пользовательский опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы понимаете, как функционирует эта технология изнутри, – сможете более осмысленно подбирать свой будущий гаджет!