Российские ученые научили искусственный интеллект анализировать эмоции участников онлайн-мероприятий
Исследователи НИУ ВШЭ предложили новый нейросетевой метод распознавания эмоций и вовлеченности людей. Алгоритмы строятся на основе анализа видеоизображений лиц и превосходят по точности известные аналоги. Разработанные модели подходят для малопроизводительного оборудования, в том числе для мобильных устройств. Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Итоги исследования опубликованы в IEEE Transactions on Affective Computing.
Пандемия COVID-19 привела к активному развитию инструментов онлайн-видео-конференц-связи и систем электронного обучения (e-learning). Технологии искусственного интеллекта могут помочь преподавателям дистанционно контролировать вовлеченность участников мероприятия. Сейчас алгоритмы анализа поведения студентов и выявления вовлеченности в онлайн-среде изучают специалисты в области интеллектуального анализа данных для образования. Среди инструментов анализа наибольшей популярностью пользуются автоматические методы, основанные на технологиях компьютерного зрения. В частности, считается, что на качество многих e-learning-систем большое влияние может оказать распознавание эмоций и вовлеченности участников на основе видеоаналитики.
В рамках проекта Центра искусственного интеллекта НИУ ВШЭ «Нейросетевые алгоритмы анализа динамики эмоционального состояния и вовлеченности учеников на основе данных видеонаблюдения» ученые разработали новый нейросетевой алгоритм распознавания эмоций и вовлеченности по видеоизображениям лиц.
Ученые научили нейронную сеть извлекать характерные признаки эмоций, основываясь на специальном «устойчивом» способе обучения нейронной сети и обработке только наиболее важных областей лица. Суть метода в том, что сначала осуществляется детектирование лиц и извлечение их характерных признаков с последующей группировкой лиц каждого участника. Далее с помощью специально обученных эффективных нейросетевых моделей извлекаются эмоциональные признаки каждого выделенного лица, они агрегируются с помощью статистических функций и классифицируются. На заключительном этапе идет визуализация фрагментов видеоурока с наиболее ярко выраженными эмоциями и различными степенями вовлеченности каждого слушателя. В результате исследователям удалось создать новую модель, которая сразу для нескольких лиц на видео определяет эмоции каждого человека и степень его увлеченности.
Андрей Савченко
«Для нескольких наборов данных мы показали, что предложенные алгоритмы превосходят по точности известные аналоги. При этом, в отличие от большинства известных технологий, разработанные модели могут участвовать в обработке видео в режиме реального времени даже на малопроизводительном оборудовании, в том числе на мобильных устройствах каждого участника онлайн-мероприятия», — комментирует руководитель проекта, профессор кафедры информационных систем и технологий НИУ ВШЭ в Нижнем Новгороде Андрей Савченко. — Совместно с Ильей Макаровым из Научно-исследовательского института искусственного интеллекта (AIRI) мы создали достаточно простую в использовании компьютерную программу, позволяющую обработать видеозапись вебинара или онлайн-занятия и получить набор видеоклипов с наиболее характерными эмоциями каждого участника».
Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Так, в ходе предварительного тестирования онлайн-курса по реакции слушателей можно понять, какие части лекции были наиболее интересны, а что оказалось трудным для понимания и нуждается в корректировке. В настоящий момент проводятся исследования по возможностям интеграции разработанных моделей в сервис видеоконференций Jazz by Sber. Видеозаписи, собранные в рамках этого проекта из открытых источников, позволят исследователям сделать шаг к созданию сервиса определения эмоций и вовлеченности слушателей онлайн-мероприятий.
Вам также может быть интересно:
Исследователи ВШЭ показали, как создавать регуляторную ДНК напрямую
Исследователи НИУ ВШЭ разработали модель для генерации промоторов и энхансеров — участков ДНК, регулирующих работу генов. Модель работает с нуклеотидами ДНК напрямую, без промежуточного преобразования в непрерывное числовое пространство. Разработка может быть полезна в синтетической биологии и генной терапии. Результаты исследования представлены на воркшопе конференции ICLR 2026.
ФКН ВШЭ и ЧГУ реализовали три отраслевых образовательных модуля по искусственному интеллекту
В 2025/26 учебном году факультет компьютерных наук (ФКН) ВШЭ совместно с Череповецким государственным университетом реализовал три отраслевых образовательных модуля по искусственному интеллекту. Инициатива была представлена в рамках проекта «Топ-ИИ» Минцифры России при участии АНО «Аналитический центр при Правительстве Российской Федерации». Эксперты НИУ ВШЭ совместно с индустриальными партнерами разработали линейку отраслевых образовательных модулей в области искусственного интеллекта.
Новый метод НИУ ВШЭ и Т-Технологий повышает качество работы ИИ
Ученые из лаборатории научных исследований «Т-Технологий» и Института искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ разработали новый метод семплирования для моделей маскированной диффузии — G-Star+. Он помогает быстрее и качественнее исправлять ошибки во время генерации текста и кода за небольшое число шагов. Метод показал эффективность в задачах генерации текста и кода и может применяться там, где генеративным моделям нужно быстро и качественно создавать текст или код при ограниченных вычислительных ресурсах.
В Вышке открыли проектно-учебную лабораторию совместно с Группой «Т-Технологии»
Группа «Т-Технологии» (головная структура Т-Банка) открыла проектно-учебную лабораторию на базе факультета компьютерных наук НИУ ВШЭ (ФКН НИУ ВШЭ). Проектно-учебная лаборатория Группы «Т-Технологии» в НИУ ВШЭ сосредоточится на проектах и задачах в области искусственного интеллекта, распределенных вычислений, анализа больших данных и информационной безопасности в финансовом секторе. Лабораторию возглавит Алексей Теплов, кандидат физико-математических наук.
«Защищать конкуренцию от ИИ нам придется с помощью самого искусственного интеллекта»
В НИУ ВШЭ прошел двухдневный семинар «Искусственный интеллект и конкурентная политика в странах БРИКС». Его участники обсудили две ключевые для конкурентной политики темы: трансформация конкуренции и рынков под влиянием технологий ИИ и усилени е регуляторного потенциала антимонопольных органов за счет технологий искусственного интеллекта.
В НИУ ВШЭ разработали сервис обезличивания табличных данных для безопасного использования в ИИ-системах
Институт искусственного интеллекта и цифровых наук ФКН ВШЭ разработал сервис обезличивания табличных данных, предназначенный для подготовки корпоративных данных к использованию в аналитических и ИИ-сервисах. Решение позволяет выявлять персональные данные в структурированных наборах, применять к ним воспроизводимые правила обезличивания и формировать артефакты, необходимые для контроля качества, аудита и последующего использования данных в защищенных контурах.
Высшая школа экономики и «Ростелеком» поддержат ИИ-стартапы для госсектора
НИУ ВШЭ и «Ростелеком» подписали на ПМЭФ-2026 соглашение о сотрудничестве в рамках реализации акселератора ИИ-решений для государственного сектора. Совместная работа позволит объединить технологическую экспертизу крупнейшего цифрового партнера государства и академический потенциал ведущего исследовательского университета страны.
Проблемы этики: как и где использовать ИИ
За последние годы этика в сфере искусственного интеллекта превратилась из философско-теоретической в прикладную дисциплину. Эксперты в НИУ ВШЭ обсудили, какие этические проблемы возникают в связи со стремительным развитием цифровизации и какие их инженерные решения могут быть предложены.
НИУ ВШЭ и МТС договорились об обмене ИИ-компетенциями при подготовке инженерных кадров для телекома
НИУ ВШЭ и ПАО «МТС» заключили соглашение о стратегическом партнерстве, которое предполагает подготовку кадров с ИИ-компетенциями для телекоммуникационной отрасли по программам высшего и дополнительного профессионального образования. Соглашение направлено на повышение качества образования, обмен экспертизой и компетенциями при подготовке инженеров, владеющих технологиями ИИ и машинного обучения.
Точка входа в ИИ: на ЦИПР обсудили влияние технологий на будущее
Участники ЦИПР-2026 обсудили, как офисные приложения могут стать точкой массового доступа к ИИ и снизить барьеры использования. Эксперты сошлись во мнении, что будущее — за адаптивными моделями и экосистемным подходом к корпоративным данным. В экспертных дискуссиях приняли участие представители НИУ ВШЭ.