Virtual try-on — что это и как работает бьюти- и фэшн-примерка на ИИ

Virtual try-on, или VTO, — это примерка без примерочной: вы видите товар на собственном изображении, не надевая его. Английское try on переводится как «примерить», слово virtual подчёркивает, что вещь существует только на экране. Работает это двумя способами. Первый — через камеру телефона или ноутбука: алгоритм отслеживает лицо и в реальном времени накладывает на него помаду, оттенок волос или оправу. Второй — по готовой фотографии: нейросеть получает ваш снимок и изображение вещи и перерисовывает кадр так, будто вещь уже на вас. Первый способ типичен для косметики и очков, второй — для одежды. В обоих случаях результат — картинка, которая помогает оценить цвет, силуэт и сочетание с остальным образом. Тело virtual try-on не измеряет: размер и посадку по-прежнему выбирают по размерной таблице и своим замерам. Поэтому разумно относиться к примерке как к быстрому фильтру: отсеять то, что не идёт по цвету или пропорциям, и оставить пару вариантов для окончательного решения.

Они проверяют разные вещи. Бьюти-примерка отвечает на вопрос, идёт ли вам цвет: оттенок помады, тонального средства, краски для волос. Меняется небольшая зона лица или волос, форма почти не трогается, поэтому такие примерки обычно работают через камеру в реальном времени с помощью дополненной реальности. Примерка одежды отвечает на вопрос, как вещь меняет силуэт и пропорции: где заканчивается длина, как ложится объём, как цвет смотрится рядом с лицом и с остальными вещами. Здесь больше переменных — поза, складки ткани, руки, волосы поверх воротника, — и чаще используют генерацию по фото, а не наложение слоя на видео. Отсюда и разные слабые места. Бьюти-версию подводят цвет экрана и освещение в комнате: нюдовый оттенок на мониторе может выглядеть теплее, чем на губах. Фэшн-версию подводят мелкие детали вроде принта и логотипов, а ещё она не показывает плотность ткани и посадку. Поэтому сервис, который хорошо подбирает помаду, не обязательно справится с пальто, и наоборот: сначала смотрите, к какой ветке относится инструмент.

Так называют virtual try-on, в котором картинку создаёт нейросеть, а не накладывает готовый цифровой слой. Классическая AR-примерка берёт заранее подготовленную 3D-модель оправы или цветовую маску помады и совмещает её с лицом в кадре. AI-примерка устроена иначе: генеративная модель получает фото человека и изображение вещи и заново дорисовывает нужную область снимка с учётом позы, света, теней и складок. Благодаря этому можно примерить вещь, для которой никто не делал 3D-модель, — достаточно обычной фотографии товара. Именно это сделало технологию массовой для одежды. У подхода есть типичные артефакты: генерация может упростить мелкий принт, исказить надпись или пуговицы, иногда слегка меняет контур руки или прядь волос. Чтобы их было меньше, нужен чёткий снимок вещи на однотонном фоне и фото человека в полный рост при ровном свете. И главное ограничение то же, что у любой примерки: нейросеть подгоняет вещь под фигуру на фото, поэтому о размере она ничего не скажет, его выбирают по таблице и замерам.

Kolors Virtual Try-On — демонстрационная AI-примерка одежды от команды Kolors из китайской компании Kuaishou. Эта же команда разработала Kolors — генеративную модель, которая создаёт изображения по текстовому описанию. Демо выложено на платформе Hugging Face: вы загружаете фото человека и фото вещи, модель возвращает снимок, на котором вещь уже надета. По сути это наглядный пример фэшн-ветки virtual try-on на генеративном ИИ, поэтому название часто ищут вместе со словом «нейросеть». Для знакомства с технологией демо удобно, но это демонстрация модели, а не магазин и не гардероб, где вещи сочетаются с тем, что у вас уже есть. Правила хорошего результата те же, что в любой примерке по фото: снимок в полный рост при ровном свете, руки не закрывают торс, вещь сфотографирована целиком на однотонном фоне, без коллажа. Прежде чем загружать личные снимки в любой онлайн-сервис, проверьте, что он делает с фотографиями. И помните, что картинка показывает, как вещь выглядит на вас, но не то, какой размер нужен: его определяют по таблице и замерам.

Это бьюти-ветка технологии: примерка макияжа и цвета волос. В 2018 году группа L'Oréal купила канадскую компанию ModiFace, которая разрабатывает решения на дополненной реальности и ИИ для бьюти, в том числе виртуальную примерку макияжа и оттенков волос. Garnier входит в ту же группу L'Oréal. Принцип у таких примерок общий: камера снимает лицо, алгоритм находит контур губ, глаз и линию роста волос и накладывает на них выбранный оттенок так, чтобы цвет держался при поворотах головы. Иногда вместо камеры можно загрузить фото. Чтобы результату можно было доверять, снимайтесь при дневном свете, без фильтров и ретуши, а если примеряете макияж, уберите волосы с лица. Сравнивайте оттенки подряд при одном освещении. Помните и об ограничении: краска ложится по-разному в зависимости от исходного цвета и состояния волос, а экран искажает цвет. Поэтому примерка помогает сузить выбор до пары оттенков, но не заменяет пробу на пряди или совет колориста. Набор доступных примерок зависит от сайта бренда и страны.

Virtual try-on по фото работает так: вы загружаете свой снимок и изображение вещи, а генеративная модель перерисовывает область тела так, чтобы на ней оказалась новая вещь. Модель учитывает позу, направление света, складки и то, что должно оказаться поверх вещи, например волосы или руку. Остальные части кадра — лицо, фон, обувь, если меняется только верх, — она старается сохранить. Качество почти целиком зависит от исходников. Для одежды лучше всего работает фото в полный рост анфас, снятое с уровня пояса, чтобы не искажались пропорции ног, при ровном рассеянном свете. На вас должна быть простая облегающая одежда: объёмный худи скрывает линию плеч, и модели приходится угадывать. Руки держите вдоль тела, а вещь берите на чётком фото без коллажей и надписей поверх. Сравнивайте варианты на одном и том же снимке, иначе будете сравнивать свет, а не вещи. Результат покажет длину, объём, силуэт и цвет рядом с лицом. Размер и посадку он не измеряет: вещь на картинке сядет по фигуре при любом размере, поэтому размер выбирайте по таблице бренда и своим замерам.

Да, это одни из самых привычных сценариев технологии. Оправы примеряют через камеру: 3D-модель очков привязывается к переносице и ушам, и её можно рассмотреть, поворачивая голову. Так проще сравнить ширину оправы с шириной лица, толщину дужек и цвет рядом с кожей и волосами. Подбор линз такая примерка не заменяет и не проверяет, удобно ли оправа сидит на носу, это делают в оптике. С причёсками работают и через камеру, и по фото. В AI Dressup подбор причёски сделан по фото: сервис показывает разные стрижки и укладки прямо на вашем снимке, чтобы вы увидели длину, объём и линию чёлки на себе. Форму лица он не анализирует и не выносит вердикт, какая причёска правильная, — решение остаётся за вами и вашим мастером. Лучше всего подходит снимок анфас при дневном свете, с убранными от лица волосами и без головного убора. Покажите мастеру два-три понравившихся варианта: это надёжнее, чем объяснять желаемую длину словами, хотя структура и густота ваших волос всё равно внесут поправки.

Да, многие примерки доступны без оплаты — в англоязычных сервисах это называют virtual try-on. Бьюти-бренды обычно встраивают примерку макияжа и цвета волос прямо в сайт как часть витрины: она помогает выбрать продукт, поэтому покупатель за неё не платит. Исследовательские демо AI-примерки одежды тоже бывают открытыми, но это витрины технологий, а не инструменты для работы с гардеробом. У сервисов, где генерация по фото требует серьёзных вычислений, модель чаще смешанная: бесплатный старт, дальше платные возможности. В AI Dressup можно начать бесплатно: примерить вещь из каталога или свою, импортировать присмотренную вещь с Wildberries или из ЦУМа по ссылке и посмотреть её на своём фото. Выбирая бесплатный инструмент, проверьте три вещи. Первое — что сервис делает с вашими фото и можно ли их удалить. Второе — к какой ветке он относится: бьюти-примерка не поможет выбрать пальто. Третье — честно ли описаны ограничения. Если обещают угадать размер или показать вещь точно как в жизни, это маркетинг, а не свойство технологии: примерка показывает вид, а не посадку.