Stable Diffusion — что за нейросеть, как установить и какие модели выбрать

Stable Diffusion — нейросеть, которая рисует изображение по текстовому описанию или переделывает готовый снимок. Простыми словами: вы пишете «портрет девушки в бежевом тренче у кирпичной стены, мягкий дневной свет», а модель собирает такую картинку за секунды или минуты, в зависимости от видеокарты. Внутри она не ищет похожие фото в базе, а начинает со случайного шума и за 20–30 шагов очищает его, на каждом шаге сверяясь с вашим текстом. Главное отличие от популярных сервисов — открытость. Файлы модели можно скачать, запустить на своём компьютере и дообучить под свою задачу: под стиль бренда, конкретную вещь или лицо. Первую публичную версию выпустила компания Stability AI вместе с исследователями из Мюнхена и компанией Runway в августе 2022 года, позже вышли SDXL, версии 3 и 3.5. Вокруг модели выросла целая экосистема: бесплатные интерфейсы, расширения для управления позой и композицией, тысячи дообученных моделей от сообщества.

Это два разных подхода к одной задаче. Midjourney — закрытый сервис по подписке: модель работает на серверах компании, вы пишете запрос на сайте и получаете четыре варианта кадра. Эффектный результат там выходит по короткой фразе, потому что эстетику и настройки сервис уже подобрал за вас. Stable Diffusion — открытая модель: её запускают на своём компьютере, на арендованном сервере или через сторонние сайты. Порог входа выше: нужна видеокарта, установка и понимание параметров. Зато контроль почти полный: позу задают через ControlNet, стиль — через LoRA, отдельную область кадра перерисовывают инпейнтингом, а число генераций на своём железе ограничено только временем. Для разовых красивых иллюстраций многим удобнее Midjourney. Для серийной работы, где нужна одинаковая поза, конкретная вещь или своя эстетика бренда, чаще выбирают Stable Diffusion. Отличаются и правила: у Midjourney действуют условия сервиса, у Stable Diffusion — лицензия конкретной версии модели, и её стоит прочитать до коммерческого проекта.

Установка сводится к трём шагам: интерфейс, модель, первый запуск. Сначала выберите интерфейс. Новичкам чаще советуют Forge или AUTOMATIC1111 WebUI с привычными вкладками и полями, а ComfyUI с узловой схемой удобнее, когда вы уже понимаете, из каких этапов состоит генерация. Скачивайте интерфейс только с официальной страницы проекта на GitHub: на сторонних сайтах попадаются сборки с вредоносным кодом. Для AUTOMATIC1111 нужны Python и Git, у Forge и ComfyUI есть готовые пакеты для Windows, которые ставят зависимости сами. Второй шаг — модель. Файл чекпоинта в формате .safetensors в AUTOMATIC1111 и Forge кладут в папку models/Stable-diffusion, в ComfyUI — в models/checkpoints. Для слабой видеокарты начните с версии 1.5, для карты от 8 ГБ — с SDXL. Третий шаг — запуск: интерфейс открывается в браузере по локальному адресу, вы пишете промпт и нажимаете кнопку генерации. Первый запуск долгий, докачиваются библиотеки. Если не хватает видеопамяти, используйте режимы экономии памяти в параметрах запуска.

Смотреть нужно прежде всего на объём видеопамяти, а не на модель карты. Версия 1.5 стартует примерно с 4 ГБ, SDXL нормально работает от 8 ГБ, а запас в 12 ГБ и больше снимает большинство ограничений. Чем больше памяти, тем выше разрешение без ухищрений, тем больше надстроек можно подключить одновременно, например ControlNet и несколько LoRA, и тем быстрее считается серия кадров. Проще всего с видеокартами NVIDIA: инструменты экосистемы изначально писали под их платформу CUDA, и инструкции рассчитаны в первую очередь на неё. На картах AMD модель тоже работает, но настройка сложнее, особенно в Windows, а скорость при том же объёме памяти обычно ниже. На Mac с процессорами Apple Silicon Stable Diffusion запускают, однако генерация заметно медленнее, чем на сопоставимой видеокарте NVIDIA. Без дискретной видеокарты возможен запуск на процессоре, но одна картинка может считаться минутами. Если железа не хватает, остаются облачные варианты: аренда сервера с видеокартой или готовые онлайн-сервисы, где ничего не нужно ставить.

Да, с оговорками. Сами веса бесплатны: версии 1.5 и SDXL можно скачать и использовать, в том числе в коммерческих проектах, с запретами лицензии на вредное, обманное и незаконное применение. Версии 3 и 3.5 идут под Stability AI Community License: она бесплатна, пока годовая выручка человека или компании не превышает 1 миллион долларов, а сверх этого порога Stability AI предлагает платную корпоративную (Enterprise) лицензию. Условия могут меняться, поэтому перед коммерческой работой сверьтесь с текущей редакцией на сайте Stability AI. Бесплатный локальный запуск не значит бесплатный вообще: вы платите видеокартой, электричеством и временем на настройку. Онлайн без установки модель доступна через сторонние сайты, арендованные облачные серверы и платный API самой Stability AI. У онлайн-сервисов свои лимиты, тарифы и правила хранения данных. Прежде чем загружать туда фото людей, прочитайте, сколько сервис хранит снимки и может ли использовать их для обучения, и загружайте только свои фото или снимки тех, кто дал согласие.

Модели делятся на базовые и дообученные. Базовые выпускает Stability AI: 1.5 (2022 год, родное разрешение 512×512), SDXL (2023 год, 1024×1024), 3 Medium и 3.5 (2024 год). Дообученные делает сообщество на основе базовых: под фотореализм, иллюстрацию, аниме или конкретную эстетику. Именно их чаще всего имеют в виду, когда ищут модели для Stable Diffusion. Выбор начинается с железа: на 4–6 ГБ видеопамяти разумно остаться на 1.5 и её дообученных версиях, с 8 ГБ — переходить на SDXL. Дальше решает задача. Для портретов и фэшн-кадров ищите фотореалистичные модели, в карточке которых есть примеры кожи, ткани и рук крупным планом, а не только эффектные пейзажи. Проверьте совместимость: LoRA и ControlNet для 1.5 не подходят к SDXL, и наоборот. Скачивайте с Hugging Face или Civitai, выбирайте формат .safetensors, читайте лицензию и описание обучающих данных. Модель, обученная на фото конкретных людей без их согласия, — плохой фундамент для коммерческой работы и источник юридических рисков.

Промпт для Stable Diffusion лучше писать на английском: текстовые кодировщики модели учились в основном на английских подписях к картинкам, и русский запрос она понимает заметно хуже или не понимает вовсе. Есть расширения, которые переводят запрос автоматически, но точность формулировок при переводе страдает. Рабочая структура промпта для фэшн-кадра: кто в кадре, что на нём надето, поза, место, свет, тип съёмки. Например: woman in a camel wool coat, three-quarter view, city street, overcast soft light, 85mm portrait photo. Версии 1.5 и SDXL лучше откликаются на короткие фразы через запятую, версии 3 и 3.5 лучше понимают длинные описательные предложения. Отдельное поле — негативный промпт: туда пишут, чего в кадре быть не должно, например лишние пальцы, размытие, текст, водяные знаки. Вес отдельного слова в AUTOMATIC1111 и Forge усиливают скобками с числом. Подбирайте промпт сериями: меняйте одну деталь за раз и сравнивайте кадры с одинаковым seed, тогда видно, что именно повлияло на результат.

ControlNet — расширение, которое управляет композицией кадра по картинке-подсказке. Обычный промпт задаёт содержание, а поза, ракурс и расположение предметов выходят случайными. ControlNet добавляет к запросу схему: контур объекта (режим Canny), карту глубины, линии рисунка или скелет позы OpenPose. Модель строит изображение так, чтобы оно совпадало со схемой. Первым автором статьи о методе был Львмин Чжан из Стэнфорда; позже он же выпустил интерфейс Forge. Для съёмки одежды самый полезный режим — поза. Берёте удачный кадр живой модели, из него автоматически извлекается скелет, и новая генерация повторяет постановку: опорную ногу, наклон корпуса, положение рук и поворот головы. Так собирают серию кадров в одинаковой позе для каталога или лукбука. Модели ControlNet выпускаются отдельно под каждую базовую версию: для 1.5 и для SDXL нужны свои файлы. Силу влияния регулируют ползунком: при слабой схема лишь подсказывает композицию, при сильной диктует кадр почти до пикселя.

Все три — бесплатные интерфейсы для запуска Stable Diffusion на своём компьютере, разница в подходе. AUTOMATIC1111 Stable Diffusion WebUI — самый известный: веб-страница с вкладками txt2img и img2img, инпейнтингом и огромным каталогом расширений. Большинство старых инструкций в интернете написаны именно под него. Forge — ответвление этого интерфейса от автора ControlNet: выглядит почти так же, но экономнее расходует видеопамять, поэтому его советуют владельцам карт с небольшим объёмом памяти. ComfyUI устроен иначе: генерация собирается из узлов, которые соединяют линиями, — загрузка модели, промпт, сэмплер, декодер, сохранение файла. Порог входа выше, зато виден каждый шаг, схему можно сохранить и через месяц повторить один в один, а новые модели там нередко поддерживают одними из первых. Для первых экспериментов удобнее Forge или AUTOMATIC1111, для серийной работы и сложных цепочек с несколькими ControlNet и LoRA — ComfyUI.