Ученые научились распознавать положение и позы людей в помещениях с помощью Wi-Fi сигнала. Для этого они использовали обычные домашние роутеры и технологии машинного обучения.
Для того чтобы найти человека, Диоген, как известно, использовал фонарь — философ полагался исключительно на оптические методы распознавания. Современные же ученые предлагают применять для этих целей сигнал Wi-Fi. Если быть точным, то методика, тремя исследователями из Университета Карнеги-Меллона, использует сигнал обычного домашнего Wi-Fi-роутера для того, чтобы достаточно точно распознавать не только местоположение, но и позы людей в помещении.
Почему Wi-Fi? Для этого есть несколько причин. Во-первых, в отличие от оптического распознавания, радиосигнал отлично работает в темноте и ему не мешают мелкие препятствия вроде мебели. Во-вторых, это дешево, чего нельзя сказать о лидарах и радарах, которые в целом тоже способны справиться с задачей. В-третьих, Wi-Fi уже повсеместно распространен — бери и пользуйся. Остается понять, насколько этот метод рабочий и чего с его помощью можно достичь, — давайте же в этом разберемся.
Вот как это работает. Для начала модель ищет на изображениях объекты, которые распознаются как человеческие тела. Далее эти объекты разделяются на отдельные участки, которые сопоставляются с теми или иными частями тела — каждая из них обрабатывается отдельно. Такой подход используется потому, что разные части тела двигаются очень по-разному: например, голова и торс ведут себя совсем не так, как руки и ноги.
С помощью DensePose получается верно распознавать позы человеческих тел на фотографиях и даже строить UV-развертки их поверхностей
В результате модель научилась соотносить двухмерное изображение с трехмерной поверхностью человеческого тела и получать не только разметку изображения в соответствии с распознанной позой, но и создавать UV-развертку изображенного на фотографии тела (последнее позволяет, например, наложить на него какую-нибудь текстуру).
Особенно впечатляет, что данная методика позволяет вполне уверенно распознавать позы множества людей на групповых фотографиях, в том числе — в жанре «фото с выпускного», когда люди стоят очень тесно и перекрывают друг друга.
DensePose уверенно распознает положения отдельных фигур на групповых фотографиях
Также, если верить приведенным в работе изображениям и опубликованным исследователями видеороликам, система уверенно справляется с не самыми обычными вариантами положения тела в пространстве. Скажем, нейросеть правильно распознает людей на велосипедах, мотоциклах и верхом на лошадях, а также верно определяет позы бейсболистов, футболистов и даже танцоров брейк-данс, которые периодически двигаются совсем уж непредсказуемо.
Модель DensePose отлично справляется даже с очень нестандартными позами
Дополнительный плюс DensePose — для работы модель не требует особых вычислительных мощностей. При использовании GeForce GTX 1080 — далеко не самой мощной видеокарты даже на момент публикации исследования — DensePose распознает 20–26 кадров в секунду с разрешением 240×320 и до пяти кадров в секунду с разрешением 800×1100.
Для своего эксперимента они соорудили следующий тестовый стенд.
Общая схема тестового стенда для распознавания человеческих поз через Wi-Fi
Далее они запустили DensePose, которая распознавала положения тел с помощью камеры, установленной рядом с роутером-приемником, и дали ей задачу обучить другую нейросеть, работавшую с Wi-Fi-сигналом, полученным принимающим роутером. Сигнал этот был предварительно очищен и модифицирован для более уверенного распознавания — но это, в общем, детали. Главное, что исследователям действительно удалось создать новую модель Wi-Fi-DensePose, которая вполне уверенно устанавливает положение в пространстве человеческих тел на основе сигнала Wi-Fi.
В удачных случаях модель может действительно хорошо распознавать человеческие позы
Насколько на самом деле сложна задача сколь-либо детальной визуализации с помощью Wi-Fi-сигнала, показано в на сходную тему, где исследователи экспериментировали с объектами куда проще человеческих тел, — и результаты, мягко говоря, были далеки от идеала.
Визуализация объектов с помощью сигнала Wi-Fi: чем менее выраженные грани, тем хуже это получается
Также следует отметить, что построенная исследователями из Университета Карнеги-Меллона модель значительно уступает по точности оригинальному методу распознавания поз на фотографиях, а также достаточно серьезно «галлюцинирует». Особенные сложности модель испытывает, сталкиваясь с необычными позами или сценами с участием более двух человек.
Модель Wi-Fi-DensePose плохо справляется с нестандартными позами и большим количеством человеческих тел в одной сцене
В довершение отметим, что конфигурация тестового стенда в исследовании была максимально благоприятной: хорошо известная и простая геометрия, прямая видимость между источником и приемником, никаких существенных помех на пути радиосигнала — учеными были созданы идеальные условия для «просвечивания» сцены радиоволнами. В реальной жизни воссоздать настолько удачную конфигурацию, скорее всего, никогда не получится.
Так что если вы уже начали переживать о том, что кто-то взломает ваш Wi-Fi-роутер и начнет с его помощью следить за тем, чем вы занимаетесь дома, то пока это делать несколько преждевременно. Уж если чего-то бояться в своем доме, так это бытовой техники: например, умных кормушек для домашних питомцев или даже детских игрушек: у них есть камеры, микрофоны, связь с облаком, а у роботов-пылесосов — еще и отлично работающие в темноте лидары, и даже возможность перемещаться в пространстве.
А за дверью вас ждет еще один шпион — четырехколесный: ведь по с современными автомобилями не сравнятся ни смарт-часы, ни умные колонки, ни прочие повседневные гаджеты.
Для того чтобы найти человека, Диоген, как известно, использовал фонарь — философ полагался исключительно на оптические методы распознавания. Современные же ученые предлагают применять для этих целей сигнал Wi-Fi. Если быть точным, то методика, тремя исследователями из Университета Карнеги-Меллона, использует сигнал обычного домашнего Wi-Fi-роутера для того, чтобы достаточно точно распознавать не только местоположение, но и позы людей в помещении.
Почему Wi-Fi? Для этого есть несколько причин. Во-первых, в отличие от оптического распознавания, радиосигнал отлично работает в темноте и ему не мешают мелкие препятствия вроде мебели. Во-вторых, это дешево, чего нельзя сказать о лидарах и радарах, которые в целом тоже способны справиться с задачей. В-третьих, Wi-Fi уже повсеместно распространен — бери и пользуйся. Остается понять, насколько этот метод рабочий и чего с его помощью можно достичь, — давайте же в этом разберемся.
DensePose: методика распознавания человеческих поз на изображениях
Начать, впрочем, придется немного издалека — сперва следует разобраться с тем, как в целом работает точное распознавание человеческого тела и его позы. В 2018 году другая группа ученых . С ее помощью они успешно распознавали человеческие позы на фотографиях — сугубо на основе двумерных картинок, без использования данных о третьей координате — глубине.Вот как это работает. Для начала модель ищет на изображениях объекты, которые распознаются как человеческие тела. Далее эти объекты разделяются на отдельные участки, которые сопоставляются с теми или иными частями тела — каждая из них обрабатывается отдельно. Такой подход используется потому, что разные части тела двигаются очень по-разному: например, голова и торс ведут себя совсем не так, как руки и ноги.
С помощью DensePose получается верно распознавать позы человеческих тел на фотографиях и даже строить UV-развертки их поверхностей
В результате модель научилась соотносить двухмерное изображение с трехмерной поверхностью человеческого тела и получать не только разметку изображения в соответствии с распознанной позой, но и создавать UV-развертку изображенного на фотографии тела (последнее позволяет, например, наложить на него какую-нибудь текстуру).
Особенно впечатляет, что данная методика позволяет вполне уверенно распознавать позы множества людей на групповых фотографиях, в том числе — в жанре «фото с выпускного», когда люди стоят очень тесно и перекрывают друг друга.
DensePose уверенно распознает положения отдельных фигур на групповых фотографиях
Также, если верить приведенным в работе изображениям и опубликованным исследователями видеороликам, система уверенно справляется с не самыми обычными вариантами положения тела в пространстве. Скажем, нейросеть правильно распознает людей на велосипедах, мотоциклах и верхом на лошадях, а также верно определяет позы бейсболистов, футболистов и даже танцоров брейк-данс, которые периодически двигаются совсем уж непредсказуемо.
Модель DensePose отлично справляется даже с очень нестандартными позами
Дополнительный плюс DensePose — для работы модель не требует особых вычислительных мощностей. При использовании GeForce GTX 1080 — далеко не самой мощной видеокарты даже на момент публикации исследования — DensePose распознает 20–26 кадров в секунду с разрешением 240×320 и до пяти кадров в секунду с разрешением 800×1100.
DensePose через Wi-Fi: радиосигнал вместо фотографии
Собственно, идея исследователей из Университета Карнеги-Меллона заключалась в том, чтобы воспользоваться уже имеющейся и хорошо работающей ИИ-моделью для распознавания человеческих поз, — то есть DensePose. Однако в качестве входных данных для распознавания вместо фотографий ученые использовали сигнал Wi-Fi.Для своего эксперимента они соорудили следующий тестовый стенд.
- Две стойки с обычными домашними роутерами TP-Link, оборудованными тремя антеннами: один используется как передатчик, другой — как приемник.
- Сцена для распознавания, расположенная между этими стойками.
- Камера, закрепленная на стойке рядом с роутером-приемником и снимающая ту же сцену, которую ученые пытаются распознать с использованием Wi-Fi-сигнала.
Общая схема тестового стенда для распознавания человеческих поз через Wi-Fi
Далее они запустили DensePose, которая распознавала положения тел с помощью камеры, установленной рядом с роутером-приемником, и дали ей задачу обучить другую нейросеть, работавшую с Wi-Fi-сигналом, полученным принимающим роутером. Сигнал этот был предварительно очищен и модифицирован для более уверенного распознавания — но это, в общем, детали. Главное, что исследователям действительно удалось создать новую модель Wi-Fi-DensePose, которая вполне уверенно устанавливает положение в пространстве человеческих тел на основе сигнала Wi-Fi.
В удачных случаях модель может действительно хорошо распознавать человеческие позы
Ограничения метода
Однако не стоит спешить с заголовками вроде «Ученые научились видеть сквозь стены с помощью Wi-Fi». Начнем с того, что «зрение» это весьма абстрактно — модель не столько «видит» тело человека, сколько способна с определенной вероятностью предсказать его положение в пространстве и позу на основе косвенных данных.Насколько на самом деле сложна задача сколь-либо детальной визуализации с помощью Wi-Fi-сигнала, показано в на сходную тему, где исследователи экспериментировали с объектами куда проще человеческих тел, — и результаты, мягко говоря, были далеки от идеала.
Визуализация объектов с помощью сигнала Wi-Fi: чем менее выраженные грани, тем хуже это получается
Также следует отметить, что построенная исследователями из Университета Карнеги-Меллона модель значительно уступает по точности оригинальному методу распознавания поз на фотографиях, а также достаточно серьезно «галлюцинирует». Особенные сложности модель испытывает, сталкиваясь с необычными позами или сценами с участием более двух человек.
Модель Wi-Fi-DensePose плохо справляется с нестандартными позами и большим количеством человеческих тел в одной сцене
В довершение отметим, что конфигурация тестового стенда в исследовании была максимально благоприятной: хорошо известная и простая геометрия, прямая видимость между источником и приемником, никаких существенных помех на пути радиосигнала — учеными были созданы идеальные условия для «просвечивания» сцены радиоволнами. В реальной жизни воссоздать настолько удачную конфигурацию, скорее всего, никогда не получится.
Так что если вы уже начали переживать о том, что кто-то взломает ваш Wi-Fi-роутер и начнет с его помощью следить за тем, чем вы занимаетесь дома, то пока это делать несколько преждевременно. Уж если чего-то бояться в своем доме, так это бытовой техники: например, умных кормушек для домашних питомцев или даже детских игрушек: у них есть камеры, микрофоны, связь с облаком, а у роботов-пылесосов — еще и отлично работающие в темноте лидары, и даже возможность перемещаться в пространстве.
А за дверью вас ждет еще один шпион — четырехколесный: ведь по с современными автомобилями не сравнятся ни смарт-часы, ни умные колонки, ни прочие повседневные гаджеты.
