007. Малый ШАД — Нейронные языковые модели в дистрибутивной семантике — Андрей Кутузов

Андрей Кутузов, кандидат филологических наук, преподаватель школы лингвистики НИУ ВШЭ, специалист группы прикладной лингвистики поиска Mail.ru, расскажет про нейронные языковые модели в дистрибутивной семантике.

Дистрибутивная семантика — это наука о том, как понять значение слова только на основании контекста. Существует гипотеза, что если у двух слов одни и те же соседи — значит, эти слова означают одно и то же. Поэтому в традиционной дистрибутивной семантике слова описываются векторами, где в качестве измерений или компонентов выступают соседи этих слов в огромном текстовом корпусе.

Андрей расскажет о ставших популярными в последние годы нейронных или предсказательных моделях, которые переворачивают этот подход с ног на голову. Эти модели позволяют быстро получать вектора, во много тысяч раз компактнее, чем при традиционном подходе. Качество же при этом только повышается.

Такие векторные представления хорошо описывают семантические свойства лексики. Их применяют в любых практических задачах, где нужно автоматически сравнивать слова или их последовательности: для расширения поисковых запросов, машинного перевода, вычисления семантической близости, классификации и кластеризации текстов, определения тональности высказывания и многого другого.