Краткий пересказ от РИА ИИ
- Сотрудники лаборатории естественного языка НИУ ВШЭ совместно с экспертами из Санкт-Петербургского Федерального исследовательского центра РАН и Центра практического ИИ Сбербанка разработали нейросеть, способную одновременно распознавать эмоции, оценивать воспринимаемые черты личности и выявлять неуверенность или противоречивость поведения.
- ИИ анализирует видео, голос и содержание речи, а также сгенерированное описание мимики, взгляда, позы и жестов.
С.-ПЕТЕРБУРГ, 4 сен. Сотрудники лаборатории естественного языка НИУ ВШЭ совместно с экспертами из Санкт-Петербургского Федерального исследовательского центра РАН и Центра практического ИИ Сбербанка разработали нейросеть, способную одновременно распознавать эмоции, оценивать воспринимаемые черты личности и выявлять неуверенность или противоречивость поведения, сообщили в пресс-службе НИУ ВШЭ в Петербурге.
«Разработанная модель искусственного интеллекта получает информацию о поведении человека сразу по нескольким каналам. Она анализирует видео, голос и содержание речи, а также сгенерированное описание мимики, взгляда, позы и жестов. Таким образом нейросеть одновременно распознает эмоции, оценивает воспринимаемые черты личности и выявляет амбивалентность», — рассказали в пресс-службе НИУ ВШЭ.
Доцент школы информатики, физики и технологий НИУ ВШЭ — Санкт-Петербург Дмитрий Рюмин отметил, что нейросеть обучали на суперкомпьютере вуза «Харизма». Для трех задач использовали разные корпуса данных — каждый со своей разметкой.
«Основная сложность разработки ИИ-инструмента заключалась не только в разной разметке корпусов, но и в том, что информативность модальностей зависела от задачи. Например, для оценки воспринимаемых черт личности особенно важно видео, а для выявления амбивалентности — содержание речи. Поэтому мы объединили в модели общие компоненты. Это позволило совместно использовать знания из разных корпусов и улучшить распознавание эмоций на незнакомых данных», — пояснила руководитель проекта отдела прикладных технических решений НИУ ВШЭ Елена Рюмина.
Разработчики отмечают, что результаты исследования показывают потенциал разработки для цифровых образовательных систем, интеллектуальных интерфейсов и технологий поддержки пользователя, где важно учитывать эмоциональные и поведенческие особенности человека.
В пресс-службе НИУ ВШЭ в Петербурге добавили, что следующим шагом станет внедрение нейросетевых экспертов, которые будут по-разному учитывать голос, содержание речи, мимику, жесты и другие особенности поведения в зависимости от поставленной задачи. Параллельно ученые работают над персонализированными цифровыми аватарами, способными адаптировать мимику, речь и поведение к эмоциональному состоянию пользователя.