В НИУ ВШЭ создали инструмент для оценки сложности текстов на малоресурсных языках
,_interior_77.jpg "Инсталляция в Национальной библиотеке Республики Татарстан, использующая символы исторических письменностей татарского языка")
Исследователи Центра языка и мозга НИУ ВШЭ разработали инструмент, позволяющий определить сложность текстов на малоресурсных языках. В первой версии поддерживаются несколько малых языков России: адыгейский, башкирский, бурятский, татарский, осетинский и удмуртский. Это первая подобная разработка, адаптированная специально для этих языков и учитывающая их морфологические и лексические особенности.
По данным Института языкознания РАН, в России насчитывается 155 языков. Среди них есть малочисленные: например, на адыгейском говорят около 80 тысяч человек, на бурятском, осетинском и удмуртском — от 250 до 350 тысяч человек. Есть и языки с более чем миллионом носителей, например башкирский и татарский. Все эти языки имеют статус государственных в республиках России, поэтому важно не только сохранить их, но и создавать условия для их развития, а также возможности для обучения и реального использования, в том числе в образовании и науке.
В 2025 году был принят Указ Президента РФ «Об утверждении Основ государственной языковой политики Российской Федерации». Он поддерживает языковое многообразие и задает курс на развитие и практическое использование языков народов России. Один из способов достичь этих целей — создать цифровые инструменты, которые сделают работу с малоресурсными языками проще и доступнее.
Команда ученых из Центра языка и мозга НИУ ВШЭ разработала онлайн-инструмент — калькулятор сложности текстов, который помогает быстро и легко оценить сложность текста на нескольких малых языках с учетом их лингвистических особенностей. Калькулятор создавался с опорой на опыт Антонины Лапошиной и Марии Лебедевой, разработавших инструмент для оценки сложности русскоязычных текстов («Текстометр»).
Калькулятор, созданный психолингвистами НИУ ВШЭ, оценивает тексты по нескольким параметрам: во-первых, длина и частотность слов — они анализируются на основе данных из больших языковых корпусов, во-вторых, процент лексики из частотного списка, то есть учитывается доля слов, входящих в список 5000 наиболее употребляемых слов каждого языка, и, в-третьих, соотношение частей речи — анализируется распределение различных частей речи в тексте. Кроме того, калькулятор учитывает такие характеристики, как лексическая плотность, лексическое разнообразие, динамичность и описательность текста.
Ключевая инновация — использование формулы удобочитаемости Флеша, адаптированной для каждого языка отдельно. Это позволяет точнее оценивать сложность и удобство восприятия текста.
Индекс Флеша основан на количестве слов, предложений и слогов, но исходные коэффициенты были подобраны для английского языка и плохо работают для языков с иной структурой — например, для полисинтетического адыгейского, где средняя длина слова значительно больше. В исследовании 2025 года Ульяны Петруниной и Нины Здоровой коэффициенты в формуле были пересчитаны для адыгейского языка отдельно, что значительно повысило точность оценки.
Ульяна Петрунина
«Параметры нашего калькулятора адаптированы под структурные особенности каждого из шести малоресурсных языков России — на основе корпусов текстов, частотного и морфологического анализа. Аналогичным образом мы скорректировали и классический индекс удобочитаемости Флеша. Благодаря этому алгоритм можно легко перенастраивать на другие малоресурсные языки, независимо от их типологических характеристик», — поясняет один из разработчиков инструмента, научный сотрудник Центра языка и мозга НИУ ВШЭ Ульяна Петрунина.
Инструмент поможет создавать сопоставимые стимульные материалы в научных экспериментах и обеспечит преподавателей ресурсом для подбора качественного учебного материала по уровням сложности. Такая разработка — важный вклад в сохранение и развитие малых языков России, поддержку языкового многообразия страны.
Нина Здорова
«Наш инструмент позволяет исследователям и педагогам подбирать материалы с учетом их лингвистической сложности, что особенно важно для исследований и преподавания с ограниченным количеством ресурсов на данных языках», — отмечает Нина Здорова, один из авторов инструмента.
В следующих версиях планируется добавление других малоресурсных и мало представленных в лингвистике языков — не только на территории России.
Здорова Нина Станиславовна
Вам также может быть интересно:
ВШБ ВШЭ и Альфа-Банк провели летнюю школу для студентов из Китая
27 студентов из университетов Китая стали участниками международной летней школы «Управление цифровым продуктом» Высшей школы бизнеса ВШЭ и Альфа-Банка. В течение недели участники знакомились с российской экономикой и бизнес-средой, изучали актуальные технологические тренды и шаг за шагом проходили основные этапы создания цифрового продукта — от исследования потребностей пользователей и формулирования проблемы до разработки прототипа и итоговой презентации проекта.
ФКН ВШЭ поделился экспертизой в сфере ИИ с участниками «Больших вызовов» в «Сириусе»
В образовательном центре «Сириус» масштабным фестивалем научных проектов завершилась 11-я всероссийская научно-технологическая проектная образовательная программа «Большие вызовы». Представители факультета компьютерных наук НИУ ВШЭ поделились экспертизой с ее участниками и выступили в роли наставников и членов жюри.
В НИУ ВШЭ представлены новые ИИ-продукты iFORA для аналитики и исследований
Эксперты Центра стратегической аналитики и больших данных ИСИЭЗ НИУ ВШЭ представили новые продукты и разработки, созданные на базе ИИ-платформы iFORA. Они продемонстрировали, как возможности iFORA применяются в исследовательской и аналитической работе, а также рассказали о стратегии развития пользовательских сервисов.
Социальная интеграция: на перекрестках знаний и ценностей
Международная лаборатория исследований социальной интеграции (МЛИСИ) НИУ ВШЭ занимается изучением проблем уязвимых слоев населения и поиском методов их вовлечения в полноценную повседневную жизнь. Для поиска решений ученые лаборатории сочетают разработку передовых методов с практической работой «в поле». О деятельности лаборатории новостной службе «Вышка.Главное» рассказала ее заведующая Елена Ярская-Смирнова.
«Я бы назвал атмосферу в лаборатории и в университете творческой и стимулирующей»
Научный сотрудник Международной лаборатории стохастического анализа и его приложений НИУ ВШЭ французский ученый Жан-Франсуа Жабир работает в НИУ ВШЭ с 2017 года. Его привлекла возможность вести исследования совместно с ведущими зарубежными и российскими учеными, свобода академических дискуссий и открытость университета. Своими впечатлениями о Вышке и Москве Жан-Франсуа Жабир поделился с новостной службой «Вышка.Главное».
Исследователи ФКН ВШЭ завоевали золотую медаль на международном соревновании по машинному обучению
Команда, в состав которой вошли сотрудники Международной лаборатории статистической и вычислительной геномики Алексей Шмелев и Никита Червов, выпускник 2025 года магистратуры «Анализ данных в биологии и медицине» ФКН НИУ ВШЭ Иван Геворков, а также двое студентов из США, показала высокий результат на международном соревновании по машинному обучению The 2026 NeuroGolf Championship. Команда получила золотую медаль и заняла 7-е место в итоговом рейтинге.
Ученые НИУ ВШЭ выяснили, почему любители сладкого чаще делают импульсивный выбор
Любовь к сладкому может быть связана не только с пищевыми привычками, но и с тем, как человек принимает решения. Исследователи НИУ ВШЭ объяснили, почему любители сладкого ведут себя импульсивно: дело не в стремлении получить все немедленно, а в нежелании мириться с неопределенностью. Результаты могут помочь улучшить терапию зависимостей. Результаты исследования опубликованы в журнале Frontiers in Psychology.
Исследователи ВШЭ показали, как создавать регуляторную ДНК напрямую
Исследователи НИУ ВШЭ разработали модель для генерации промоторов и энхансеров — участков ДНК, регулирующих работу генов. Модель работает с нуклеотидами ДНК напрямую, без промежуточного преобразования в непрерывное числовое пространство. Разработка может быть полезна в синтетической биологии и генной терапии. Результаты исследования представлены на воркшопе конференции ICLR 2026.
«Самый результативный метод не теряться — делать хорошие исследования»
Эксперты Международной лаборатории проектирования и исследований в онлайн-обучении ВШЭ изучают и разрабатывают методы образования, предполагающие большую вовлеченность студентов и школьников в процесс обучения. Лаборатория активно исследует поведение учащихся через их цифровые следы в онлайн-системах, отношение педагогов к применению современных технологий и коммуникаций в обучении и разрабатывает принципы продуктивного применения ИИ в образовании. О деятельности лаборатории «Вышка.Главное» побеседовала с ее заведующей Анастасией Капузой.
Развивая сотрудничество: совместный семинар ФКН ВШЭ и Харбинского технологического университета
13–16 июля на факультете компьютерных наук прошел Российско-китайский научно-исследовательский семинар по приложениям машинного обучения, организованный Научно-учебной лабораторией облачных и мобильных технологий совместно с Харбинским политехническим университетом (Китай). Делегация из семи студентов и трех представителей университета прибыла в Москву, чтобы принять участие в интенсивной четырехдневной программе.