EGround
Редактор
- Сообщения
- 24.318
- Реакции
- 127
Складчина: Классификация, кластеризация и оценка сходства текстов (Курс "Компьютерная лингвистика") [Архэ] [Александр Пиперски]
Компьютерная лингвистика — одна из наиболее динамично развивающихся областей на стыке теории и практики. С достижениями компьютерной лингвистики мы сталкиваемся каждый день: это и машинный перевод, и поиск в Интернете, и голосовые помощники, и многое другое. За каждым таким продуктом стоит серьёзная работа лингвистов и программистов. В ходе курса мы поговорим об истории компьютерной лингвистики и о наиболее популярных её методах, а также посмотрим, как они позволяют решать важные практические задачи: например, проверять орфографию или классифицировать по темам новости.
7. Классификация, кластеризация и оценка сходства текстов
Одна из важных задач компьютерной лингвистики — объединение похожих текстов в группы. Это может быть как деление на заранее заданные классы («Спорт», «Политика» и т. п.), так и деление на основе сходства самих текстов. К примеру, новостные агрегаторы сперва объединяют похожие тексты в один сюжет, а затем относят его к определенному классу. На занятии мы поговорим о том, как можно оценивать расстояние между текстами, чем отличается задача классификации от задачи кластеризации и как такие задачи решаются.
Лектор: Пиперски Александр Чедович, кандидат филологических наук, доцент Института лингвистики РГГУ, научный сотрудник Школы филологии НИУ ВШЭ.
