| |
Дорожка по классификации отзывов пользователей на 5 классов
Задача
Дорожка посвящена анализу и классификации отзывов пользователей о различных
сущностях (фильмы, книги, гаджеты) на 5 классов, аналогично шкале от 1 до 5 звезд.
Общая процедура проведения дорожки стандартна.
Тестовые коллекции
Исходный набор данных:
-
Фильмы, 15718 отзывов с рекомендательного сервиса Имхонет (www.imhonet.ru),
-
Книги, 24159 отзывов с Имхонета,
-
Цифровые фотокамеры, 10370 отзывов с Яндекс.Маркета.
Формулировка задания для участвующей системы
Система участник получает два набора данных с Имхонета (книги и фильмы) и один набор
данных с Яндекс.Маркета (цифровые фотокамеры).
Каждый отзыв, собранный с Имхонета, имеет пользовательскую оценку от 1 до 10
баллов. Отзывы, собранные с Яндекс.Маркета, имеет оценку от 1 до 5. Эти оценки
участники могут использовать для обучения своих алгоритмов. Никаких дополнительных
данных для обучения предоставляться не будет.
Для тестирования качества классификации систем участников, сформированы
дополнительно 3 коллекции (фильмы, книги, фотокамеры).
- Объем каждой коллекции от 10 до 30 тысяч текстов.
- Эти данные собраны по блогам с использованием Поиска по Блогам
Яндекса. Поиск релевантных отзывов выполнялся по названиям объектов. В
случае неоднозначности в запрос включались уточняющие слова.
- Например, при поиске по фильму могут использоваться запросы вида:
название фильма или фильм|кино|сценарий|режиссер название фильма.
Ответом системы на каждый текст является:
- число 1, если отзыв о сущности отрицательный, достоинств практически не отмечено,
- число 2, если отзыв о сущности в целом отрицательный, но указывает на отдельные положительные стороны сущности,
- число 3, если отзыв о сущности указывает на значимые положительные и отрицательные стороны сущности,
- число 4, если отзыв о сущности в целом положительный, но отмечены отдельные недостатки,
- число 5, если отзыв о сущности положительный, недостатков практически нет .
Методология оценки
- Постановка задания асессору:
При пятибалльной шкале асессор должен ответить на вопрос, к какому из вышеперечисленных классов нужно отнести отзыв, в зависимости от достоинств и недостатков объекта описанных в отзыве.
- Для оценки качества систем, из коллекций, выданных участникам для
тестирования, будут отобраны 300-500 отзывов по заданной сущности и оценены
не менее, чем двумя асессорами.
- Официальные метрики:
- Аккуратность (Accuracy)
- Среднеквадратичное отклонение от оценки асессора (The Standard Deviation)
Форматы данных
|