LoRA — что это в нейросети, как проходит обучение и где взять модели

LoRA — небольшой дополнительный файл к большой нейросети, который учит её одной новой вещи: определённому стилю съёмки, лицу конкретного человека, принту или форме изделия. Представьте, что базовая модель — опытный иллюстратор, который умеет рисовать всё подряд, но не знает вашего бренда. Переучивать его целиком долго и дорого, поэтому ему дают короткую памятку с поправками — это и есть LoRA. Сам иллюстратор не меняется: памятку можно убрать, заменить другой или прочитать вполсилы, если задать вес меньше единицы. Технически LoRA хранит не картинки, а числовые поправки к внутренним весам модели, поэтому файл выходит маленьким — мегабайты или сотни мегабайт против гигабайт у полной модели. Работает LoRA только с той базовой моделью, под которую её обучали: файл для Stable Diffusion 1.5 не подходит к SDXL или Flux. В моде её используют, чтобы держать одну и ту же ИИ-модель во всей серии кадров или переносить фирменную гамму бренда в новые генерации.

Это два разных термина, которые пишутся почти одинаково. LoRA с заглавной A на конце — Low-Rank Adaptation, метод дообучения нейросетей, о котором эта статья словаря. LoRa со строчной a на конце — Long Range, технология дальней радиосвязи с низким энергопотреблением, которую развивает компания Semtech. На ней работают датчики умного дома, счётчики, трекеры, сети LoRaWAN; это же слово встречается в описаниях некоторых автосигнализаций и брелоков, где речь о радиоканале связи с машиной. Отличить смысл легко по соседним словам. Если рядом «модель», «обучение», «Stable Diffusion», «Flux», «промт», «вес» или «ранг», речь о нейросетях. Если рядом «частота», «шлюз», «дальность», «датчик» или «брелок», речь о радио. В поиске помогает уточнение: «LoRA нейросеть», «LoRA Stable Diffusion» или «LoRa модуль». Общего у технологий нет ничего, кроме созвучного сокращения, поэтому инструкции и советы по одной к другой не применимы.

Обучение идёт в несколько шагов. Сначала собирают датасет — набор снимков одного концепта: человека, вещи или стиля. К каждому кадру пишут подпись: вручную или программой-тегером с последующей правкой. Затем выбирают базовую модель, под которую будет работать LoRA, и настраивают тренер: ранг (обычно от 4 до 128), скорость обучения, число шагов или эпох, разрешение кадров. Во время обучения исходные веса модели заморожены, меняются только небольшие добавочные таблицы. Тренер сохраняет промежуточные версии файла, например после каждой эпохи. Последний шаг — проверка: один и тот же промт прогоняют на разных версиях и с разным весом, раскладывают результаты сеткой и берут версию, где концепт уже узнаётся, но модель ещё не копирует датасет. Время обучения зависит от видеокарты, объёма датасета и базовой модели — от десятков минут до нескольких часов. Для SDXL и Flux нужно больше видеопамяти, чем для старой SD 1.5, поэтому многие обучают в облаке и скачивают готовый файл.

Начните с задачи: стиль, человек или вещь — от неё зависит датасет. Для LoRA человека на практике берут 15–40 резких снимков с разных ракурсов: лицо крупно, по пояс, в полный рост, при разном свете и в разной одежде. Если человек реальный, понадобится его согласие и на обучение, и на использование результатов. Вещь снимают со всех сторон, отдельно крупно фактуру и детали, на разных фонах, иначе фон станет частью вещи. Для стиля подбирают 30–50 кадров, где совпадает манера, но различаются сюжеты. Кадры обрезают под рабочее разрешение базовой модели, убирают дубли, смаз и сильные фильтры. Дальше нужна среда: своя видеокарта с программой-тренером (kohya_ss, OneTrainer, узлы обучения в ComfyUI) или облачный сервис. Заранее придумайте триггер-слово — короткое и редкое, чтобы оно не совпало с обычными словами промта. И заложите время на повторы: первая LoRA редко удаётся с первого запуска, часто её обучают заново, меняя состав датасета и число шагов.

Готовые LoRA выкладывают на открытых площадках для генеративных моделей, самые известные — Civitai и Hugging Face. Перед скачиванием посмотрите в карточке файла четыре вещи. Первая — базовая модель: SD 1.5, SDXL, Flux или другая; LoRA работает только со своим семейством. Вторая — триггер-слова, без которых концепт может не включиться. Третья — рекомендуемый вес: автор обычно указывает диапазон, в котором LoRA не ломает картинку. Четвёртая — лицензия: можно ли использовать результаты в коммерческих целях и разрешена ли переработка. Скачивайте файлы в формате .safetensors, он хранит только веса. Старые форматы .ckpt и .pt построены на механизме сериализации Python, который при загрузке способен выполнить встроенный код, поэтому файлы из непроверенных источников в них лучше не открывать. И помните, что популярность LoRA не делает её законной: модели, обученные на лицах реальных людей без их согласия, в работу брать не стоит, даже если их скачали тысячи раз.

Принцип везде одинаковый: базовая модель загружается целиком, а LoRA подмешивается к ней поверх. В интерфейсах на основе AUTOMATIC1111 и Forge файл кладут в папку models/Lora, после чего он появляется во вкладке LoRA и вставляется в промт вместе с весом. В ComfyUI файл кладут в models/loras, а в схему добавляют узел загрузки LoRA между загрузчиком модели и сэмплером; несколько LoRA ставят цепочкой. Для Flux порядок тот же, но нужны LoRA, обученные именно под Flux: файлы для Stable Diffusion к нему не подходят, и наоборот. Начинайте с веса, который рекомендовал автор, или с 0,7–0,8, затем двигайте его шагом 0,1 и сравнивайте кадры с одинаковым seed — так видно, что меняет именно LoRA, а не случайность генерации. Если LoRA обучали с триггер-словом, оно должно стоять в промте. Когда стиль или лицо перебивают всё остальное, снижайте вес; когда не проявляются совсем, проверьте базовую модель и триггер.

Можно, хотя для первой LoRA это не самый простой путь. В ComfyUI есть встроенный узел обучения LoRA, помеченный как экспериментальный, и расширения, которые запускают внутри схемы скрипты kohya. Удобство в том, что датасет, обучение и тестовая генерация собираются в одном окне: обучили и сразу проверили сетку весов. Главное ограничение — видеокарта. Обучение держит в видеопамяти базовую модель и данные, поэтому для SDXL и тем более Flux нужна карта с большим объёмом памяти, чем для обычной генерации. На слабых картах выручают пониженная точность вычислений, меньший ранг и разрешение, но обучение заметно замедляется. Если карта не тянет, LoRA обучают в облаке, а готовый файл скачивают и подключают в локальном ComfyUI. Новичкам часто проще отдельный тренер с понятным интерфейсом, например kohya_ss или OneTrainer, а ComfyUI оставить для генерации. Перед установкой расширений читайте их описание: узлы обучения обновляются часто, и прошлогодние инструкции могут уже не работать.

Регуляризирующие изображения — снимки общего класса, к которому относится ваш концепт. Если учите конкретного мужчину, это фото разных мужчин; если конкретную сумку — разные сумки. Приём пришёл из метода DreamBooth, который описали исследователи Google в 2022 году. Его задача — не дать модели забыть, как выглядит класс в целом. Без регуляризации LoRA, обученная на одном человеке, может начать подставлять его лицо всем мужчинам в кадре, а LoRA одной сумки — превращать в неё любую сумку. Обычно такие изображения генерируют самой базовой моделью по простому промту класса, например «фото мужчины», и кладут в отдельную папку; их берут не меньше, чем снимков в датасете. Для LoRA регуляризация не обязательна: многие обучают без неё и обходятся подбором шагов и веса. Она полезна, когда LoRA будет работать в сценах с несколькими людьми или вещами одного типа, например в групповом кадре коллекции, где ваша модель должна быть одна, а остальные люди — разными.

Технически да, и в открытом доступе такие модели встречаются. Но технически возможное не значит допустимое. LoRA лица позволяет изобразить человека где угодно и в чём угодно, поэтому обучение на чужих снимках без разрешения — прямой путь к дипфейкам. Статья 152.1 ГК РФ требует согласия человека на обнародование и использование его изображения, а исключения из этого правила перечислены в самой статье и узкие. Знаменитость здесь не исключение: известность не даёт права ставить её лицо в рекламу, карточку товара или чужой образ. Площадки с моделями тоже ограничивают такой контент: Civitai в мае 2025 года убрал модели и изображения, воспроизводящие внешность реальных людей. Рабочий вариант для бренда — ИИ-модель, чья внешность сгенерирована и не повторяет реального человека, или живая модель, подписавшая согласие на обучение и на конкретные цели использования. Для себя всё проще: свою LoRA или портреты по собственным фото вы делаете со своего согласия, а снимки знакомых берёте, только если они сами попросили или разрешили.