Всем добрый день!
Мы предполагаем включить в программу РОМИП'2004 дорожку
"фактографического поиска" (название довольно условно).
Вкратце, идея такова:
Участникам раздают коллекцию и набор "фактографических" запросов
(грамматически корректных вопросов на русском языке).
Системы-участницы должны предоставить список из не более пяти
возможных ответов на каждый из вопросов набора.
При этом предполагаются три допустимых уровня гранулярности ответа:
1. Ответ не длиннее 50 символов
2. Ответ не длиннее 250 символов
3. Ответ - ссылка на документ
Критерий корректности - наличие четкого ответа на вопрос (факта) в
тексте.
Не все имеют готовое решение для задачи фактографического поиска в
жесткой постановке (с выделением короткого ответа) и в такой
"ослабленной" постановке стартовать будет легче, что по идее
расширяет круг потенциальных участников.
Так, например, возвращая только документы можно попробовать понять
насколько ваша система готова к обработке длинных запросов на естественном
языке. А ответами в 250 символов могут быть контекстно зависимые аннотации
(конечно эта оценка, как оценка качества аннотации, будет жестковата,
но зато переиспользуема и довольно объетивна)
Нам бы хотелось знать насколько такая дорожка интересна участникам и
какие изменения в правилах могут сделать ее более привлекательной.
Более формально:
1. Коллекция документов:
narod.ru (РОМИП'03)
2. Набор вопросов:
200-500, с ограничениями:
- нет нечеткостей, неоднозначностей
- ответ короткий: в 2-3 слова максимум
- ответ есть в коллекции (возможное усложнение задания: взять и некоторое
количество вопросов без ответа в коллекции, и предлагать системам
выдавать как вариант ответа НЕТ ОТВЕТА).
- ответ целиком содержится в каком-то одном документе
(т.е. не требуется анализировать и объединять данные из нескольких
документов)
Источники вопросов: лог поисковой системы,
а также самостоятельно подобранные организаторами и каждым из
участников (по 20 запросов на команду)
Запросы из лога можно использовать как идеи, даже если они и не являются
вопросами русского языка, а просто списком слов.
3. Ответ системы
От каждой системы принимается список из не более чем 5 ответов (упорядоченный по
убыванию убежденности системы в правильности ответа) на каждый из вопросов.
Три уровня гранулярности ответа:
- 50 символов
- 250 символов
- весь текст документа
Каждая система может вернуть ответ на всех трех уровнях гранулярности
(если слишком точный ответ недостижим, то тогда на больших).
Фрагменты в 50/250 символов НЕ обязательно являются фрагментами документа,
а, например, могут быть синтезированы.
4. Оценка
Критерий корректности - наличие точного ответа в тексте.
(например, для вопроса "Когда состоялся первый семинар РОМИП?" - ответ
должен содержать год и/или месяц. Что считать корректным фактом ответа
решает сам ассессор, но он будет должен выделить правильный ответ в
тексте документа)
-igor