Целью работы является выявление множества Веб страниц, которые содержат информацию на заданную тему.

Каждое задание состоит из:

• Названия темы
• Поясняющего комментария
• Списка документов

Технически задание распространяется в виде двух частей:

• Файла описания задания (с расширением .rtsk)
• Архива с набором документов для оценки (с расширением .bz2)

Общие правила

Пожалуйста, придерживайтесь следующих правил при проведении оценки:

• Для работы с системой оценки асессор должен зарегистрироваться и всегда использовать одно и то же имя пользователя. Не допускается использование одного и того же имени разными людьми.
• Задания следует выполнять последовательно. Параллельная работа над несколькими заданиями не желательна.
• Рекомендуется выполнять задания в том порядке, в каком система вам их показывает при выборе нового задания.
• Решение о степени соответствия страницы теме принимается Вами самостоятельно в соответствии с Вашим мнением. Однако, Вас могут попросить мотивировать ваш выбор.
• Пожалуйста, оценивайте сайты внимательно. Если в результате проверки будет выявлено низкое качество ваших оценок, то ваш труд может быть не зачтен.

Шкала оценки

Представьте, что вам необходимо составить подборку Веб страниц по заданной теме, выбирая их из некоторого множества кандидатов. Обратите внимание, что для ряда других тем есть отдельные разделы.

Для оценки сайтов используется следующая шкала:

• Соответствующий (релевантный/витальный)
  На странице, безусловно, содержит много разносторонней информации по этой теме и она в основном посвящена этой теме. Витальной может быть и страница с подборкой ссылок на ресурсы по данной теме, если набор ссылок подготовлен (структурирован, снабжен комментариями, а не выглядит как набор случайных закладок) широко и подробно охватывает тему.
• Скорее соответствующий (релевантный +)
  Документ содержит много полезной информации по заданной теме, но это не является главной темой или в значительной степени смешано с другой информацией. Например, документ затрагивает только специфическое подмножество вопросов.
• Возможно соответствующий (релевантный -)
  Полезная информация по теме в тексте документа есть, но она явно частичная и не является основной темой страницы.
• Не соответствующий (нерелевантный)
  Ничего полезного в тексте документа нет или полезной информации крайне мало (например, заданная тема лишь косвенно упоминается)
• Документ не может быть оценен
  Тексты невозможно прочитать (представлен в некорректной кодировке или написан на непонятном языке), вызывает технические проблемы в браузере или не может быть оценен по каким-либо другим объективным причинам.

ВАЖНО: Обратите внимание, что Веб cтраница не обязательно должна относится только к одной категории. Ситуация, когда представленная информация находится на стыке нескольких тем, вполне реальна, и в этом случае страница может быть отнесена к нескольким категориям.