РОМИП

 Новости 
 Регистрация 2012! 
 О проекте 
 Манифест 
 Общие принципы 
 Заявка на участие 
 Материалы РОМИП 
 Тестовые коллекции 
 Таблицы релевантности 
 Участники 2012 
 Дорожки 2012 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Дорожка по классификации отзывов пользователей на 5 классов

Задача

Дорожка посвящена анализу и классификации отзывов пользователей о различных сущностях (фильмы, книги, гаджеты) на 5 классов, аналогично шкале от 1 до 5 звезд.

Общая процедура проведения дорожки стандартна.

Тестовые коллекции

Исходный набор данных:

Формулировка задания для участвующей системы

Система участник получает два набора данных с Имхонета (книги и фильмы) и один набор данных с Яндекс.Маркета (цифровые фотокамеры). Каждый отзыв, собранный с Имхонета, имеет пользовательскую оценку от 1 до 10 баллов. Отзывы, собранные с Яндекс.Маркета, имеет оценку от 1 до 5. Эти оценки участники могут использовать для обучения своих алгоритмов. Никаких дополнительных данных для обучения предоставляться не будет.

Для тестирования качества классификации систем участников, сформированы дополнительно 3 коллекции (фильмы, книги, фотокамеры).

  • Объем каждой коллекции от 10 до 30 тысяч текстов.
  • Эти данные собраны по блогам с использованием Поиска по Блогам Яндекса. Поиск релевантных отзывов выполнялся по названиям объектов. В случае неоднозначности в запрос включались уточняющие слова.
  • Например, при поиске по фильму могут использоваться запросы вида: название фильма или фильм|кино|сценарий|режиссер название фильма.

Ответом системы на каждый текст является:

  • число 1, если отзыв о сущности отрицательный, достоинств практически не отмечено,
  • число 2, если отзыв о сущности в целом отрицательный, но указывает на отдельные положительные стороны сущности,
  • число 3, если отзыв о сущности указывает на значимые положительные и отрицательные стороны сущности,
  • число 4, если отзыв о сущности в целом положительный, но отмечены отдельные недостатки,
  • число 5, если отзыв о сущности положительный, недостатков практически нет .

Методология оценки

  • Постановка задания асессору:
    При пятибалльной шкале асессор должен ответить на вопрос, к какому из вышеперечисленных классов нужно отнести отзыв, в зависимости от достоинств и недостатков объекта описанных в отзыве.
  • Для оценки качества систем, из коллекций, выданных участникам для тестирования, будут отобраны 300-500 отзывов по заданной сущности и оценены не менее, чем двумя асессорами.
  • Официальные метрики:
    • Аккуратность (Accuracy)
    • Среднеквадратичное отклонение от оценки асессора (The Standard Deviation)

Форматы данных