Добрый день,
на сегодняшний день все участники по идее должны
были уже получить все необходимые коллекции.
(если у вас еще чего-то нет, то самое время озаботится получением
График сдачи результатов опубликован
http://romip.narod.ru/ru/2006/schedule.html
Участникам были разосланы задания для следующих дорожек:
# классическая задача поиска по запросу
* по коллекции нормативно-правовых документов
* по Веб-коллекции
* по смешанной коллекции
# тематическая классификация
* нормативно-правовых документов
* Веб-сайтов
* Веб-страниц
Дорожки
# фактографический поиск по новостной коллекции
# кластеризация новостного потока
не требуют дополнительных входных метериалов кроме коллекции.
Задания для
# контекстно-зависимое аннотирование текстовых документов
# поиск похожих документов по документу образцу или фрагменту текста
пока задерживаются в силу разных организационно-технических причин,
но скоро будут разосланы.
Для дорожки "вопросно-ответный поиск" мы ждем вариантов вопросов от
участников дорожки чтобы сформировать набор заданий для выполнения.
Форматы ответов и правила дорожек во многом похожи на прошлогодние.
К сожалению на данный момент на сайте форматы выложены не для всех дорожек,
но я надеюсь это будет исправлено в ближайшее время.
Хотя задания вообщем-то четко определены уже для всех дорожек,
необходимо согласовать методику оценки для следующих дорожек:
# фактографический поиск по новостной коллекции
- оцениваем ли мы в два этапа как пытались в прошлом году?
- полноту выделения из документов или полноту досье?
- если досье, то как мы согласовываем разные варианты названий сущности?
# кластеризация новостного потока
- полное или почти полное структурирование вручную или
один из других вариантов обсуждавшихся в прошлом году?
# контекстно-зависимое аннотирование текстовых документов
- как повысить качество оценки (чтобы результаты систем
различались в итоговых оценках)
# вопросно-ответный поиск
- пытаться оценивать автоматически по шаблонам ответов или
все-таки проверять каждый ответ руками?
Прошу участников дорожек инициировать обсуждение, чтобы мы могли подготовить
инструменты для оценки в срок.
-igor