РОМИП

 Новости 
 Регистрация 2012! 
 О проекте 
 Манифест 
 Общие принципы 
 Заявка на участие 
 Материалы РОМИП 
 Тестовые коллекции 
 Таблицы релевантности 
 Участники 2012 
 Дорожки 2012 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Дорожка по классификации отзывов пользователей на 3 класса

Задача

Дорожка посвящена анализу и классификации отзывов пользователей о различных сущностях (фильмы, книги, гаджеты) на 3 класса: "положительный", "средний", "отрицательный".

Общая процедура проведения дорожки стандартна.

Тестовые коллекции

Исходный набор данных:

Формулировка задания для участвующей системы

Система участник получает два набора данных с Имхонета (книги и фильмы) и один набор данных с Яндекс.Маркета (цифровые фотокамеры). Каждый отзыв, собранный с Имхонета, имеет пользовательскую оценку от 1 до 10 баллов. Отзывы, собранные с Яндекс.Маркета, имеет оценку от 1 до 5. Эти оценки участники могут использовать для обучения своих алгоритмов. Никаких дополнительных данных для обучения предоставляться не будет.

Для тестирования качества классификации систем участников, сформированы дополнительно 3 коллекции (фильмы, книги, фотокамеры).

  • Объем каждой коллекции от 10 до 30 тысяч текстов.
  • Эти данные собраны по блогам с использованием Поиска по Блогам Яндекса. Поиск релевантных отзывов выполнялся по названиям объектов. В случае неоднозначности в запрос включались уточняющие слова.
  • Например, при поиске по фильму могут использоваться запросы вида: название фильма или фильм|кино|сценарий|режиссер название фильма.

Ответом системы на каждый текст является:

  • число 1, если отзыв в целом отрицательный,
  • число 2, если в отзыве указываются достаточно значимые положительные и отрицательные стороны оцениваемой сущности,
  • число 3, если отзыв в целом положительный.

Методология оценки

  • Постановка задания асессору:
    При трехбалльной шкале асессор должен ответить на вопрос, является ли отзыв в целом положительным (оценка 3), отрицательным (оценка 1) или указывает на достаточно значимые положительные, и отрицательные стороны оцениваемой сущности (оценка 2).
  • Для оценки качества систем, из коллекций, выданных участникам для тестирования, будут отобраны 300-500 отзывов по заданной сущности и оценены не менее, чем двумя асессорами.
  • Официальные метрики:
    • Аккуратность (Accuracy)
    • Точность, Полнота, F-мера (Precision, Recall, F-measure)

Форматы данных