Авторы тестирования моделей обработки естественного языка (Natural Language Processing, NLP) SuperGLUE из с Facebook, DeepMind и Нью-Йоркского и Вашингтонского университетов опубликовали результаты своих последних испытаний: модели Microsoft DeBERTa и Google T5 + Meena впервые обошли человека в понимании контекста, структуры текста и содержащихся в нем причинно-следственных связей и альтернативных вариантов.

Тест SuperGLUE не измеряет степень «интеллектуальности» системы, но ее способность логически мыслить — мыслить «здраво». До недавнего времени задачи на понимание прочитанного, обнаружение и проверку гипотез, установление причинно-следственных связей или связей между различными формулировками одного и того же понятия — достаточно тяжело давались машинам. Именно эти задачи и требовалось решать моделям машинного обучения при прохождении SuperGLUE.

Теперь системы NLP от Microsoft и Google справляются с этими тестами лучше, чем люди. Такой результат означает огромный прорыв для ИИ, но ни в коем случае не означает, что он приблизился к человеческому уровню понимания естественного языка — так считают и разработчики из Microsoft.

Одна из проблем обработки естественного языка — игнорирование изменения смысла высказываний при перестановке слов в предложении. Большинство ИИ-систем и тестов для них не способны видеть смысловых различий в предложениях «Вызывает ли марихуана рак?» и «Вызывает ли рак марихуану?» — но тесты SuperGLUE и такие языковые модели, как DeBERTa, возможно, справятся и с этой задачей.

Источник (VentureBeat)
Таблица лидеров ИИ (SuperGLUE)
Проблема NLP (статья)

    Полезные материалы в одной еженедельной рассылке
    Подписывайтесь, не пожалеете.