Высшая школа экономики открывает совместную с Samsung Research лабораторию

© Signature/ iStock

Samsung-HSE Laboratory будет разрабатывать механизмы байесовского вывода в современных нейронных сетях, что позволит решить ряд проблем в глубинном обучении. Команду лаборатории составят сотрудники исследовательской группы байесовских методов факультета компьютерных наук НИУ ВШЭ — одной из сильнейших научных групп России в области машинного обучения и байесовского вывода. Возглавит ее профессор ВШЭ Дмитрий Ветров.

Сотрудничество Центра глубинного обучения и байесовских методов (ранее — Международная лаборатория глубинного обучения и байесовских методов) с компанией Samsung началось год назад с проекта по разработке специального метода обучения глубинных нейронных сетей, основанного на байесовском подходе. Открывающаяся совместная лаборатория НИУ ВШЭ и Samsung станет частью этого центра.

Нейронные сети и байесовские модели — две популярные парадигмы в области машинного обучения. Первые совершили настоящую революцию в области обработки больших объемов данных, дав начало новому направлению, получившему название глубинное обучение. Вторые традиционно применялись для обработки малых данных. Новый математический аппарат, разработанный в 2010 годы, позволяет конструировать масштабируемые байесовские модели. Это дает возможность применить механизмы байесовского вывода в современных нейронных сетях.

Даже первые попытки построения гибридных нейробайесовских моделей приводят к неожиданным и интересным результатам. Например, благодаря использованию байесовского вывода в нейронных сетях удается сжать сеть приблизительно в 100 раз без потери точности ее работы. С другой стороны, в самой процедуре приближенного байесовского вывода можно также использовать нейронную сеть, чтобы приблизиться к точному апостериорному распределению. Таким образом получается взаимное проникновение двух технологий.

Нейробайесовский подход потенциально может решить ряд открытых проблем в глубинном обучении: возможность катастрофического переобучения на шумы в данных, самоуверенность нейронной сети даже в ошибочных предсказаниях, неинтерпретируемость процесса принятия решения, уязвимость к враждебным атакам (adversarial attacks). Все эти проблемы осознаются научным сообществом, над их решением работают многие коллективы по всей планете, но готовых ответов пока нет.

«Samsung Electronics — один из мировых технологических лидеров. В своих разработках мы используем много моделей глубинного обучения. Но для того чтобы не отставать от конкурентов, недостаточно просто использовать готовые модели. Нужно создавать и новые технологии машинного обучения. Это тем более важно, что область глубинного обучения еще не «устоялась» и каждый год появляются все новые модели, а уже существующие быстро устаревают, — поясняет доктор Гынбэ Ли, руководитель AI Center, недавно созданного подразделения Samsung Research. — Все это означает, что человечество пока не нащупало оптимального решения для обработки больших объемов данных. Поэтому сотрудничество с ведущими научными группами в области машинного обучения и искусственного интеллекта в университетах по всему миру позволяет «держать руку на пульсе» и отслеживать самые последние достижения в области, а также получать эксклюзивный доступ к технологиям, созданным в лабораториях-партнерах».

«Решение корпорации Samsung выбрать нашу группу в качестве ключевого партнера в России, дав нам возможности сосредоточиться исключительно на фундаментальных исследованиях, — это знак признания наших научных достижений и одновременно кредит доверия, который мы постараемся полностью оправдать, — говорит руководитель совместной лаборатории и глава исследовательской группы байесовских методов ВШЭ Дмитрий Ветров. — Обычно крупные компании стараются использовать ученых для решения прикладных задач. Я рад, что наши корейские коллеги понимают всю важность исследований по разработке новых технологий, а не решения конкретных задач. Наша лаборатория будет заниматься именно созданием новых технологий, то есть самым интересным с точки зрения ученого. Наши цели полностью совпадают с пожеланиями наших партнеров, что служит залогом успешного и длительного сотрудничества».

В прошлом году Samsung создал в Корее новое подразделение — AI Center, специализирущееся на разработках в области искусственного интеллекта. В дополнение к созданию совместной лаборатории с ВШЭ в планах AI Center в этом году — открытие глобальной сети филиалов на базе исследовательских лабораторий в России, Канаде и Великобритании, что позволит усилить компетенции компании в искусственном интеллекте.

Помимо научных проектов, совместная лаборатория НИУ ВШЭ — Samsung будет активно участвовать в образовательном процессе. К работе в ней будут привлекаться и студенты, и аспиранты факультета компьютерных наук. В августе 2018 года при поддержке компании Samsung пройдет вторая летняя школа по нейробайесовским методам. На этот раз она будет проводиться на английском языке и в ней примут участие несколько ведущих ученых. Набор на летнюю школу еще открыт.