Диффузионная модель — как работает генеративная нейросеть и где применяется

Если коротко, это обученный шумодав, доведённый до предела. Фотографу знаком кадр, снятый на ISO 12800 в тёмном зале: зерно съедает фактуру ткани, и программа шумоподавления угадывает, где была нитка, а где складка. Диффузионной модели дают кадр, на котором от фото не осталось ничего, и короткую подсказку словами. Она решает, какой шум убрать первым, потом следующий слой, и так до чистой картинки, которой раньше не существовало.

Слово «диффузия» взято из физики. Капля туши в стакане воды растекается, пока вода не станет равномерно серой. В 2015 году исследователи предложили учить нейросеть обратному ходу — собирать «каплю» из равномерной мути. Практичной для картинок идея стала в 2020 году, после работы о моделях DDPM.

Диффузионные модели — одна из семей генеративного ИИ рядом с генеративно-состязательными сетями (GAN) и авторегрессионными моделями. Генеративными их называют потому, что они создают новое изображение, а не ищут готовое.

Работа делится на две фазы: обучение, где модель учится угадывать шум, и генерацию, где она этот шум убирает. Качество кадра зависит ещё от трёх деталей — шагов, латентного пространства и текстового энкодера.

Обучение: угадать, какой шум добавили

Модели показывают миллионы снимков с подписями и к каждому подмешивают шум случайной силы, от лёгкого зерна до сплошной ряби. Задача одна: предсказать, какой именно шум добавлен. Так нейросеть усваивает не сами фотографии, а закономерности: где у пиджака проходит линия лацкана, как ворс шерсти бликует в контровом свете. Подписи учат связывать эти закономерности со словами.

Генерация: от ряби к кадру по шагам

Генерация стартует с чистого шума, который задаёт случайное число — seed. На каждом шаге диффузионная модель оценивает шум в текущем кадре и убирает его часть. Первые шаги решают композицию и силуэт, средние — формы: лацканы, складки, черты лица. Последние — фактуру и мелочи вроде строчки на кармане.

У классических версий шагов обычно 20–50, у ускоренных (дистиллированных) — от 1 до 8. Тот же seed с тем же промтом и настройками, как правило, повторяет кадр, новый seed даёт другой вариант сцены.

Латентное пространство

Большинство современных моделей очищают не пиксели, а сжатое описание кадра — латентное пространство. У Stable Diffusion 1.x кадр 512×512 пикселей превращается в сетку 64×64 с четырьмя каналами: чисел в 48 раз меньше. Декодер в конце разворачивает сетку в фотографию. Так быстрее и легче для видеокарты, но палец или буква на бирке занимают считаные клетки.

Текстовый энкодер

Промт модель напрямую не читает. Текстовый энкодер превращает его в набор векторов: у Stable Diffusion 1.x это CLIP, у Imagen — T5. На каждом шаге модель сверяется с ними через механизм внимания. Силу сверки задаёт guidance scale: на низких значениях модель отвлекается от запроса, на слишком высоких цвета перенасыщаются, а кожа выглядит пластиковой.

Главное отличие — в числе проходов. GAN рисует кадр за один проход сети, диффузия — за десятки шагов. GAN быстрее, диффузия разнообразнее и точнее следует тексту.

В 2021 году исследователи OpenAI в работе «Diffusion Models Beat GANs on Image Synthesis» показали, что диффузия обходит лучшие GAN по качеству. С тех пор генерация по тексту в основном держится на диффузионных моделях и их родственниках: Stable Diffusion 3 и FLUX построены на выпрямленном потоке (rectified flow) — разновидности согласования потоков, где путь от шума к картинке спрямлён.

GAN при этом не исчезли: их приём с дискриминатором ускоряет диффузию. SDXL Turbo обучали с состязательной функцией потерь, и он выдаёт кадр за 1–4 шага.

Почти везде, где нейросеть рисует или дорисовывает изображение. Один механизм очистки шума работает в нескольких режимах:

• Текст в изображение. Кадр с нуля по описанию: сцена, свет, одежда, ракурс.
• Изображение в изображение. Модель частично зашумляет ваше фото и очищает заново. Параметр denoising strength решает, сколько останется от исходника: на малых значениях сохраняются поза и композиция, на больших — только общая раскладка цветов.
• Дорисовка по маске. Инпейнтинг заполняет шумом только выделенную область — рукав, пятно на фоне, вещь на человеке — и очищает её с оглядкой на остальной кадр. Аутпейнтинг так же расширяет холст: квадратный кадр становится вертикальным 3:4 под карточку товара.
• Увеличение разрешения. Диффузионные апскейлеры не растягивают пиксели, а дорисовывают детали и могут выдумать фактуру, которой на исходнике не было.
• Видео. OpenAI описывала Sora как диффузионную модель, которая очищает от шума сразу последовательность кадров.

В моде самое заметное применение — виртуальная примерка. В 2023 году исследователи Google описали TryOnDiffusion: диффузионная модель переносит вещь со снимка товара на человека с другого фото и подстраивает её под позу. Ту же задачу решает примерка одежды по фото: вещь из каталога, ваш снимок вещи или ссылка с Wildberries и ЦУМа — на вашем фото, готовой нейромодели или параметрической модели по росту, весу и обхватам. Это визуализация силуэта, цвета и длины, а не замер посадки: размер выбирают по размерной сетке.

Сервисы ИИ-фотосессий работают на генеративных моделях изображений — диффузионных или родственных им; разработчики крупных моделей не всегда раскрывают архитектуру. Пользователю важнее другое: у генерации три условия, и каждым из них вы управляете.

1. Фото — источник внешности. С него модель берёт черты лица, причёску, телосложение. Чем меньше ей приходится додумывать, тем ближе результат: лицо крупно и в фокусе, ровный рассеянный свет у окна, без бьюти-фильтров и тёмных очков. Селфи на вытянутой руке искажает пропорции, и модель примет искажение за вашу форму лица.
2. Промт — сцена, свет, одежда, обработка. В ИИ-фотосессии по фото сцену, свет и обработку задаёт выбранный стиль, их десятки: деловой портрет для резюме и сайта компании, арт-портрет, ретро, праздничная серия. Вы выбираете стиль и загружаете снимок.
3. Разрешение — до генерации. Кадр создаётся сразу в выбранном размере: 1K, 2K или 4K. Для аватара хватает 1K, для печати берите 4K.

Делайте несколько вариантов: каждый запуск начинается с нового шума, и кадры отличаются, как дубли на настоящей съёмке.

Деловой портрет сверьте с обычным своим снимком. Модель тянется к пропорциям, которые чаще встречались в обучающих снимках, и может «усреднить» линию плеч, шею и посадку пиджака. Плечи заметно шире или уже ваших — запустите ещё вариант. Фон и кадрирование для делового снимка разобраны в статье про фото на резюме.

Модель воспроизводит статистику, а не правила: она знает, как обычно выглядит рука или надпись, но не считает пальцы и не знает алфавита. К тому же мелкие детали занимают в латентной сетке слишком мало места.

Руки

Кисть на снимках почти всегда частично закрыта: пальцы в кармане, на ручке сумки, переплетены. Из миллионов таких поз модель выводит усреднённое «что-то похожее на руку». В кадре в рост кисть занимает малую долю площади, в сжатой сетке это считаные клетки, и пятый палец срастается с четвёртым или рядом появляется шестой.

Текст и логотипы

Текстовый энкодер видит промт как токены — куски слов, а не буквы. Буква же — точная форма, где ошибка в одном штрихе сразу заметна. Поэтому надпись на футболке или бирка часто выходят набором похожих на буквы знаков. Новые модели пишут заметно лучше, но длинный текст и кириллица по-прежнему подводят.

Что ещё проверять на готовом кадре

• узор ткани: клетка и полоска «плывут» на складках;
• парные детали: серьги, манжеты, число пуговиц;
• фурнитуру: молния уходит в никуда, пряжка теряет язычок;
• посадку: диффузионная модель не знает свойств ткани и ваших мерок, вещь садится так, как обычно садятся похожие вещи.

Всё это частные случаи галлюцинаций нейросети, когда модель уверенно выдаёт правдоподобное, но неверное. Перед публикацией смотрите кадр в масштабе 100%: руки, надписи, застёжки.

• Генеративный ИИ — общий класс моделей, диффузия — одна из его архитектур.
• Stable Diffusion — латентная диффузионная модель с открытыми весами.
• LoRA — лёгкое дообучение модели на небольшом наборе снимков: лицо, стиль, вещь.
• Инпейнтинг и аутпейнтинг — дорисовка внутри маски и за краем кадра.
• Virtual try-on — примерка вещи на фото человека.

Если запомнить одно: диффузионная модель не ищет готовые снимки в базе, а каждый раз заново собирает кадр из шума по вашим условиям. Поэтому от исходного фото и точности описания зависит, насколько кадр выйдет похожим и чистым.