Российские ученые научили искусственный интеллект анализировать эмоции участников онлайн-мероприятий
Исследователи НИУ ВШЭ предложили новый нейросетевой метод распознавания эмоций и вовлеченности людей. Алгоритмы строятся на основе анализа видеоизображений лиц и превосходят по точности известные аналоги. Разработанные модели подходят для малопроизводительного оборудования, в том числе для мобильных устройств. Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Итоги исследования опубликованы в IEEE Transactions on Affective Computing.
Пандемия COVID-19 привела к активному развитию инструментов онлайн-видео-конференц-связи и систем электронного обучения (e-learning). Технологии искусственного интеллекта могут помочь преподавателям дистанционно контролировать вовлеченность участников мероприятия. Сейчас алгоритмы анализа поведения студентов и выявления вовлеченности в онлайн-среде изучают специалисты в области интеллектуального анализа данных для образования. Среди инструментов анализа наибольшей популярностью пользуются автоматические методы, основанные на технологиях компьютерного зрения. В частности, считается, что на качество многих e-learning-систем большое влияние может оказать распознавание эмоций и вовлеченности участников на основе видеоаналитики.
В рамках проекта Центра искусственного интеллекта НИУ ВШЭ «Нейросетевые алгоритмы анализа динамики эмоционального состояния и вовлеченности учеников на основе данных видеонаблюдения» ученые разработали новый нейросетевой алгоритм распознавания эмоций и вовлеченности по видеоизображениям лиц.
Ученые научили нейронную сеть извлекать характерные признаки эмоций, основываясь на специальном «устойчивом» способе обучения нейронной сети и обработке только наиболее важных областей лица. Суть метода в том, что сначала осуществляется детектирование лиц и извлечение их характерных признаков с последующей группировкой лиц каждого участника. Далее с помощью специально обученных эффективных нейросетевых моделей извлекаются эмоциональные признаки каждого выделенного лица, они агрегируются с помощью статистических функций и классифицируются. На заключительном этапе идет визуализация фрагментов видеоурока с наиболее ярко выраженными эмоциями и различными степенями вовлеченности каждого слушателя. В результате исследователям удалось создать новую модель, которая сразу для нескольких лиц на видео определяет эмоции каждого человека и степень его увлеченности.
Андрей Савченко
«Для нескольких наборов данных мы показали, что предложенные алгоритмы превосходят по точности известные аналоги. При этом, в отличие от большинства известных технологий, разработанные модели могут участвовать в обработке видео в режиме реального времени даже на малопроизводительном оборудовании, в том числе на мобильных устройствах каждого участника онлайн-мероприятия», — комментирует руководитель проекта, профессор кафедры информационных систем и технологий НИУ ВШЭ в Нижнем Новгороде Андрей Савченко. — Совместно с Ильей Макаровым из Научно-исследовательского института искусственного интеллекта (AIRI) мы создали достаточно простую в использовании компьютерную программу, позволяющую обработать видеозапись вебинара или онлайн-занятия и получить набор видеоклипов с наиболее характерными эмоциями каждого участника».
Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Так, в ходе предварительного тестирования онлайн-курса по реакции слушателей можно понять, какие части лекции были наиболее интересны, а что оказалось трудным для понимания и нуждается в корректировке. В настоящий момент проводятся исследования по возможностям интеграции разработанных моделей в сервис видеоконференций Jazz by Sber. Видеозаписи, собранные в рамках этого проекта из открытых источников, позволят исследователям сделать шаг к созданию сервиса определения эмоций и вовлеченности слушателей онлайн-мероприятий.
Вам также может быть интересно:
Обуздать стихию: как ИИ интегрируется в учебный процесс в странах мира
Искусственный интеллект постепенно становится незаменимой частью высшего образования. Его используют и студенты, и преподаватели для снижения объема рутинных задач и расширения своих возможностей. Ограничения и перспективы ИИ рассматриваются в докладе «Начало конца или новой эпохи? Эффекты генеративного искусственного интеллекта (ГИИ) в высшем образовании», который вышел в журнале «Современная аналитика образования» под научной редакцией научного руководителя НИУ ВШЭ Ярослава Кузьминова.
Виртуальный Моцарт, бот «Венчурный капитал» и генерация учебных видео: как в Вышке применяют ИИ
В середине ноября в Вышке состоялся митап, на котором преподаватели, исследователи и административные работники университета представили собственные проекты и поделились опытом использования ИИ-технологий в образовательной и научной деятельности. Встреча прошла в рамках программы повышения квалификации «Искусственный интеллект в образовании и исследованиях».
Названы ключевые тренды в образовании — 2025
Искусственный интеллект и виртуальная реальность все чаще становятся частью образования. Больше половины преподавателей-новаторов готовы поддерживать мультимодальные подходы с использованием ИИ, а каждый третий студент считает, что технологии способны сделать учебу интереснее и удобнее. Такие данные представили Лаборатория инноваций в образовании ВШЭ и холдинг Ultimate Education.
Студенты Вышки выиграли международный этап «Цифрового прорыва»
В начале ноября в Калининграде прошел международный этап хакатона «Цифровой прорыв. Сезон: Искусственный интеллект». В нем приняли участие 203 команды в составе 1569 человек, и среди них — студенты факультета компьютерных наук ВШЭ, призеры всероссийского этапа. Они соревновались в решении задач от партнеров хакатона — РЖД, Media Wise, «Атома», «Росатома», «Силы» и других организаций.
«Можно что-то сделать? Или меня отчислят?»: ИИ-помощники в образовании
Искусственный интеллект может значительно облегчить жизнь студентов и преподавателей университетов. Например, он способен автоматизировать некоторые учебные процессы, а также составить прогноз возможностей трудоустройства выпускников.
В НИУ ВШЭ разработан инструмент для контроля ИИ-технологий в медицине
Группа исследователей из Центра искусственного интеллекта НИУ ВШЭ разработала индекс для определения уровня этичности систем искусственного интеллекта (ИИ) в медицине. Инструмент предназначен для минимизации потенциальных рисков, обеспечения безопасной разработки и внедрения ИИ-технологий в медицинскую практику.
Драйвер прогресса и статья доходов: роль университетов в трансфере технологий
В современном мире необходим эффективный трансфер социально-экономических и гуманитарных знаний в реальный сектор экономики и госуправление. Решающую роль в этом играют университеты. У них есть возможность объединять различные коллективы и в партнерстве с государством и бизнесом разрабатывать и совершенствовать передовые технологии.
ИНФОТЕХ-2024: «понять перспективы и ограничения использования ИИ в образовании»
В конце октября в рамках XVII Тюменского цифрового форума информационных технологий «ИНФОТЕХ-2024» прошел круглый стол «Эксперименты с ИИ в образовании». Эксперты Высшей школы экономики, Московского городского педагогического университета, Уральского федерального университета и Тюменского государственного университета обсудили практический опыт разработки и внедрения технологий ИИ в образовательный процесс, обозначили основные вызовы, связанные с быстрым развитием образовательных решений на базе ИИ.
Fall into ML 2024: взгляд в будущее машинного обучения
25–26 октября в Москве состоялась конференция Fall into ML, организованная Институтом искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ совместно с Центром ИИ при поддержке титульного партнера — Сбера. На протяжении двух дней ведущие специалисты в области искусственного интеллекта обсуждали перспективы развития фундаментальных технологий ИИ.
ВШЭ и «Яндекс» представили доклад об интеграции искусственного интеллекта в высшее образование
Высшая школа экономики и «Яндекс Образование» подготовили совместный доклад «Искусственный интеллект в образовании». В нем проанализированы ведущие мировые практики, раскрывающие потенциал технологий искусственного интеллекта (ИИ) в образовательной сфере. Доклад представляет собой карту с кейсами университетов разных стран, уже сегодня применяющих ИИ. Цель проекта — помочь российским вузам внедрять ИИ, опираясь на опыт других университетов.