«Каждая статья на NeurIPS — значительный результат»

© iStock

Сотрудники факультета компьютерных наук НИУ ВШЭ представят 12 своих работ на 37-й конференции NeurIPS. Conference and Workshop on Neural Information Processing Systems — одно из самых значительных событий в сфере искусственного интеллекта и машинного обучения. В этом году она пройдет с 10 по 16 декабря в Новом Орлеане (США).

В 2023 году рецензенты NeurIPS получили на рассмотрение свыше 13 тысяч статей, из которых менее 4 тысяч были отобраны для представления на конференции. Среди них оказались 12 работ исследователей ФКН, в том числе от Центра искусственного интеллекта НИУ ВШЭ.

Полный список статей ФКН на NeurIPS

Читать далее 

• Evaluating Robustness and Uncertainty of Graph Models Under Structural Distributional Shifts (Г. Баженов, Д. Кузнеделев, А. Малинин, А. Бабенко, Л. Прохоренкова)

• Characterizing Graph Datasets for Node Classification: Homophily-Heterophily Dichotomy and Beyond (О. Платонов, Д. Кузнеделев, А. Бабенко, Л. Прохоренкова)

• Is This Loss Informative? Faster Text-to-Image Customization by Tracking Objective Dynamics (А. Воронов, М. Хороших, А. Бабенко, М. Рябинин)

• Distributed Inference and Fine-tuning of Large Language Models Over The Internet (А. Борзунов, М. Рябинин, А. Чумаченко, Д. Баранчук, T. Dettmers, Y. Belkada, П. Самыгин, C. Raffel)

• Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities (А. Безносиков, M. Takac, А. Гасников)

• Accelerated Zeroth-order Method for Non-Smooth Stochastic Convex Optimization Problem with Infinite Variance (Н. Корнилов, O. Shamir, А. Лобанов, Д. Двинских, А. Гасников, И. Шибаев, Э. Горбунов, S. Horváth)

• Model-free Posterior Sampling via Learning Rate Randomization (Д. Тяпк ин, Д. Беломестный, D. Calandriello, Э. Мулин, R. Munos, А. Наумов, P. Perrault, M. Valko, P. Ménard)

• First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities (А. Безносиков, С. Самсонов, М. Шешукова, А. Гасников, А. Наумов, Э. Мулин)

• Star-Shaped Denoising Diffusion Probabilistic Models (А. Охотин, Д. Молчанов, В. Архипкин, Г. Бартош, V. Ohanesian, А. Аланов, Д. Ветров)

• To Stay or Not to Stay in the Pre-train Basin: Insights on Ensembling in Transfer Learning (И. Садртдинов, Д. Поздеев, Д. Ветров, Е. Лобачева)

• Large Learning Rates Improve Generalization: But How Large Are We Talking About? (в рамках семинара Mathematics of Modern Machine Learning) (Е. Лобачева, Э. Поконечный, М. Кодрян, Д. Ветров)

• Entropic Neural Optimal Transport via Diffusion Processes (Н. Гущин, А. Колесов, А. Коротин, Д. Ветров, Е. Бурнаев)

Статья “Entropic Neural Optimal Transport via Diffusion Processes”, подготовленная при участии профессора-исследователя Дмитрия Ветрова, станет одним из 77 избранных докладов, которые будут представлены в рамках конференции.

Алексей Наумов

«Каждая статья на NeurIPS считается значительным результатом, к которому стремятся научные коллективы по всему миру. Итогом работы нашего факультета стали 12 статей — это повод для вполне уместной гордости. Такая высокая оценка нашей работы — это подтверждение высочайшего уровня исследований, проводимых сотрудниками ФКН. Среди тем статей в этом году — большие языковые модели, обучение с подкреплением, оптимизация и многие другие актуальные научные вопросы», — отметил заведующий Международной лабораторией стохастических алгоритмов и анализа многомерных данных Алексей Наумов.

Дарина Двинских, доцент департамента больших данных и информационного поиска ФКН, и Ильдус Садртдинов, стажер-исследователь Центра глубинного обучения и байесовских методов ФКН, рассказали о своих научных работах.

Дарина Двинских

— Мы рассматривали задачу минимизации негладкой стохастической функции при предположении, что вместо градиентной информации доступ имеется только к реализациям значений целевой функции, возможно зашумленным. Основной мотивацией для рассмотрения такого безградиентного оракула служат различные приложения в медицине, биологии и физике, где целевая функция может быть вычислена лишь посредством численного моделирования или в результате реального эксперимента, что делает невозможным использование автоматического дифференцирования. 

В статье мы предложили алгоритм, оптимальный по оракульной сложности, итерационной сложности и максимальному уровню допустимого шума (возможно, состязательного). Новый алгоритм сходится при менее ограничительных предположениях, чем существующий оптимальный алгоритм. Поэтому предложенный алгоритм может быть применим к более широкому классу задач, в которых шум может иметь тяжелые хвосты.

Ильдус Садртдинов

— В нашей статье мы исследуем, как наиболее эффективно ансамблировать нейронные сети в постановке обучения с переносом знаний (transfer learning). Сложность задачи состоит в том, что обычно доступна только одна предобученная модель, и нейронные сети, которые мы дообучаем из нее, выдают похожие предсказания. Как следствие, их ансамбль имеет не очень высокое качество. 

В работе мы показываем, что существующие методы ансамблирования не очень подходят к постановке обучения с переносом знаний. Мы предлагаем нашу модификацию одного из методов, которая лучше соответствует специфике постановки. Попутно мы разрабатываем дополнительную интуицию, как устроен ландшафт функции потерь, когда мы дообучаем предобученную модель на новые данные.