Красота в деталях: ученые Вышки и AIRI разработали метод высококачественного редактирования изображений
Исследователи Центра ИИ НИУ ВШЭ, AIRI и Бременского университета разработали новый метод редактирования изображений на основе глубинного обучения — StyleFeatureEditor. Он позволяет точно воссоздавать мельчайшие детали изображения и сохранять их при редактировании. С его помощью пользователи смогут изменять цвет волос или выражение лица без потери качества изображения. Результаты работы опубликованы на самой цитируемой конференции по компьютерному зрению CVPR 2024.
Искусственный интеллект уже научился генерировать изображения и редактировать их. Это стало возможным благодаря генеративно-состязательным нейросетям (GANs — generative adversarial networks). Архитектура предполагает две независимые сети: генератор производит изображения, дискриминатор различает реальные и сгенерированные образцы, и они соревнуются друг с другом. Новым этапом в развитии генеративно-состязательных сетей стала модель StyleGAN. Она может генерировать изображения и изменять их отдельные части по запросу пользователя, но не умеет работать с реальными фото или картинками.
Исследователи Центра ИИ НИУ ВШЭ, AIRI и Бременского университета предложили способ быстро и качественно редактировать реальные изображения. Ученые создали метод (StyleFeatureEditor) с двумя модулями: первый воссоздает (реконструирует) исходное изображение, а второй редактирует эту реконструкцию. Результат работы модулей передается в StyleGAN в понятном для нейросети наборе внутренних представлений, из которых и создается редактированное изображение. При этом разработчикам удалось решить проблемы, которые возникали в предыдущих исследованиях: при небольшом наборе представлений нейросеть хорошо редактировала изображение, но теряла детали исходного изображения, а при большом наборе все детали сохранялись, но нейросеть не понимала, как их правильно преобразовать с учетом поставленной задачи.
Для решения этой проблемы исследователи предложили следующее: первый модуль ищет и большие, и маленькие представления, а второй учится редактировать большие на примере редактуры маленьких представлений.
Однако, чтобы обучить эти модули правильно редактировать представления, нейросети нужны настоящие изображения и их отредактированные версии.
Денис Бобков
«Нам нужны были образцы, например одно и то же лицо с разной мимикой, прической, деталями. К сожалению, таких пар изображений не существует на данный момент. И мы придумали хитрость: с помощью метода, работающего с малыми представлениями, мы создали реконструкцию настоящего изображения и пример редактирования этой реконструкции. Несмотря на то что получились довольно простые примеры без деталей, модель четко поняла, как правильно совершать редактирования», — рассказывает один из авторов статьи, стажер-исследователь Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН, младший научный сотрудник лаборатории Fusion Brain AIRI Денис Бобков.
Однако обучение только на сгенерированных (простых) примерах ведет к потере деталей при работе с реальными (сложными) изображениями. Чтобы этого не происходило, ученые добавили реальные изображения в обучающую выборку. И нейросеть училась воссоздавать их в деталях.
Таким образом, показав модели и как редактировать простые, и как воссоздавать сложные изображения, ученым удалось создать условия, при которых нейросеть научилась редактировать сложные изображения. В частности, разработанный подход справляется с добавлением новых элементов стиля, а также лучше сохраняет детали исходных изображений по сравнению с другими существующими методами.
В случае простой реконструкции (первый ряд) StyleFeatureEditor аккуратно воспроизвел шляпку, в то время как большинство других методов ее практически потеряло. Лучшее качество разработанный метод показал в случае добавления аксессуаров (третий ряд): большинство методов справились с добавлением очков, но только StyleFeatureEditor сохранил исходный цвет глаз.
Айбек Аланов
«Благодаря технике обучения на сгенерированных данных, мы получили модель с хорошим качеством редактирования, а также быструю скорость работы за счет использования подхода с достаточно легковесными нейросетями. Фреймворку StyleFeatureEditor требуется всего 0,07 секунды на редактирование одного изображения», — говорит Айбек Аланов, заведующий Центром глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН, руководитель научной группы «Контролируемый генеративный ИИ» лаборатории Fusion Brain AIRI.
Исследование поддержано грантом для исследовательских центров в области искусственного интеллекта, предоставленным Аналитическим центром при Правительстве РФ.
Результаты исследования будут представлены в докладе на ежегодной конференция по искусственному интеллекту и машинному обучению Fall into ML 2024, которая пройдет в НИУ ВШЭ 25-26 октября. На площадке Высшей школы экономики ведущие ученые в области искусственного интеллекта обсудят лучшие работы, опубликованные на конференциях А* в 2024 году — флагманских событиях этой области. Демо разработанного метода можно опробовать на HuggingFace, код — в Github репозитории.
Вам также может быть интересно:
Научная экспедиция на Хайнань: ученые ВШЭ организовали конференцию по статистическому ИИ в Китае
С 24 по 28 августа 2026 года в городе Санья на острове Хайнань (Китай) прошла международная конференция Statistical AI («Статистический искусственный интеллект»). Мероприятие собрало ведущих специалистов в области статистики, машинного обучения и прикладного ИИ. Среди организаторов конференции — Алексей Наумов, директор Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ, и Сергей Самсонов, заведующий Международной лабораторией стохастических алгоритмов и анализа многомерных данных.
В НИУ ВШЭ пройдет международная конференция об обучении служением и искусственном интеллекте
21–23 октября 2026 года в НИУ ВШЭ пройдет Международная научно-практическая конференция «Обучение служением и искусственный интеллект: человекоцентричная социальная миссия университета». Конференция объединит представителей российских и зарубежных университетов, органов власти, некоммерческих организаций и бизнеса. Регистрация уже открыта.
Исследователи НИУ ВШЭ оценили вклад стран БРИКС в ведущие конференции по машинному обучению
Наукометрический центр НИУ ВШЭ проанализировал более 104 тысяч работ за 2020–2025 годы, которые были представлены на десяти конференциях высшего уровня A* по рейтингу ICORE 2026. Исследователи изучили вклад Бразилии, России, Индии, Китая и ЮАР: на эти страны пришлось около 40,8 тысячи публикаций — 39,2% от всего массива. Однако распределение крайне неравномерно, и единого исследовательского пространства БРИКС пока нет.
Лаборатория будущих сетей: в НИИТ ВШЭ создали стенд для исследований 5G/6G
Стенд 5G/6G в НИИТ ВШЭ становится исследовательской площадкой, образовательной лабораторией и основой для разработки новых программных компонентов сетей будущего. Он позволяет не просто наблюдать за работой мобильной сети, а менять условия ее работы и измерять результат: скорость передачи данных, задержки, ошибки, использование радиоресурсов и другие параметры. На его основе исследователи планируют развивать технологии MIMO, O-RAN, xApp и IAB, а также экспериментировать с искусственным интеллектом.
Ученые НИУ ВШЭ научили нейросеть превращать 3D-модели в готовые технологические карты
Исследователи Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ разработали систему CAD2TechSpec, которая автоматически превращает 3D-модели деталей в готовые технологические карты — пошаговые инструкции для станков. Разработка направлена на сокращение времени подготовки технической документации в машиностроении, авиастроении и других высокотехнологичных отраслях. Результаты исследованияо публикованы в журнале PeerJ Computer Science.
В НИУ ВШЭ запущен реестр ИИ-сервисов и моделей
Институт искусственного интеллекта и цифровых наук ФКН разработал сервис для регистрации и учета достижений в области искусственного интеллекта (ИИ). Платформа уже доступна для сотрудников и студентов университета.
Исследователи НИУ ВШЭ и Сбера научили нейросети лучше угадывать предпочтения пользователей
Институт искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ и Сбер представили новую архитектуру для рекомендательных систем: благодаря объединению двух классов моделей алгоритмы лучше угадывают интересы и потребности пользователей. Препринт работы опубликован на сайте arxiv.org и представлен на летнем фестивале «Урбан ML».
Исследователи ВШЭ показали, как создавать регуляторную ДНК напрямую
Исследователи НИУ ВШЭ разработали модель для генерации промоторов и энхансеров — участков ДНК, регулирующих работу генов. Модель работает с нуклеотидами ДНК напрямую, без промежуточного преобразования в непрерывное числовое пространство. Разработка может быть полезна в синтетической биологии и генной терапии. Результаты исследования представлены на воркшопе конференции ICLR 2026.
ФКН ВШЭ и ЧГУ реализовали три отраслевых образовательных модуля по искусственному интеллекту
В 2025/26 учебном году факультет компьютерных наук (ФКН) ВШЭ совместно с Череповецким государственным университетом реализовал три отраслевых образовательных модуля по искусственному интеллекту. Инициатива была представлена в рамках проекта «Топ-ИИ» Минцифры России при участии АНО «Аналитический центр при Правительстве Российской Федерации». Эксперты НИУ ВШЭ совместно с индустриальными партнерами разработали линейку отраслевых образовательных модулей в области искусственного интеллекта.
ИИ для врачей: ФКН ВШЭ провел курс для студентов Российского университета медицины
В июне завершился курс, посвященный использованию искусственного интеллекта в медицине, который факультет компьютерных наук НИУ ВШЭ провел для студентов первого курса направления «Педиатрия» Российского университета медицины. Курс реализован при поддержке гранта, полученного НИУ ВШЭ в соответствии с мероприятиями федерального проекта «Искусственный интеллект» национального проекта «Экономика данных и цифровая трансформация государства».