 |  |
 |
|
Приглашение к Участию
Пятый российский семинар по Оценке Методов Информационного Поиска
Март 2007 - Октябрь 2007
http://romip.ru
Для сближения позиций различных исследователей и проведения независи- мой оценки в мире сложилось несколько форумов - американский TREC европейский CLEF, японский NTCIR и российский РОМИП.
Отличительной чертой РОМИП является использование русскоязычных коллекций и активное участие исследователей из России. Материалы семинаров РОМИП 2003, 2004, 2005, 2006 годов свободно доступны на сайте семинара.
Цели и аудитория
Основными целями Российского семинара по Оценке Методов Информационного Поиска являются:- создание и развитие информационных ресурсов, обеспечивающих исследования в области информационного поиска;
- проведение независимой оценки методов информационного поиска, ориентированных на работу с русскоязычной информацией;
- формирование среды для исследования проблем информационного поиска на актуальных для российского пользователя задачах;
- формирование требований к оформлению текстовых коллекций для тестирования;
- формирование "правил игры" - этических норм представления и использования результатов.
К участию приглашаются все заинтересованные лица - как создатели поисковых систем, так и исследователи, занимающиеся проблемами информационного поиска.
Важные даты (приблизительный график)
Приём заявок на участие: до 1 маяПредоставление результатов выполнения заданий: с 15 по 15 июля (в зависимости от дорожки)
Результаты оценки: после 20 августа (в зависимости от дорожки)
Тексты докладов: 20 сентября
Очная встреча: 15 - 18 октября
Рассматриваемые задачи
Предварительно, программа семинара в 2007 году будет состоять из следующих секций (дорожек), каждая из которых посвящена оценке методов решения одной из задач информационного поиска:- классическая задача поиска по запросу
- по коллекции нормативно-правовых документов
- по Веб-коллекции
- по смешанной коллекции
-
тематическая классификация
- нормативно-правовых документов
- Веб-сайтов
- Веб-страниц
- фактографический поиск по новостной коллекции
- структуризация новостного потока
- контекстно-зависимое аннотирование текстовых документов
- поиск похожих документов по документу образцу или фрагменту текста
- вопросно-ответный поиск
Окончательный список будет сформирован по результатам обсуждения в форуме и поступивших заявок на участие. Подробные описания дорожек и правила проведения обсуждаются в списке рассылки РОМИП и будут опубликованы на сайте семинара.
Наборы данных
При проведении оценки используются следующие коллекции (список может быть расширен):- Веб коллекция Narod.Ru
(700.000 документов) - Веб коллекция DMOZ
(300.000 документов) -
Коллекция нормативных документов 2007
(300.000 документов) -
Новостная коллекция
(31.500 сообщений, 25 источников)
Обсуждается возможность создания новой Веб-коллекции большего размера и более разумным графом ссылок.
Процедура и условия участия
Все участники подписывают лицензионные соглашения об использовании коллекций РОМИП исключительно для исследовательских (некоммерческих) целей в рамках проекта РОМИП.Участник, получив набор данных и заданий, в оговоренные сроки предоставляет результат(ы) выполнения заданий своей системы для их независимой оценки, которая проводится с соблюдением анонимности источника результата. Поощряется также и решение модифицированных задач на основе используемых наборов данных.
Участник обязуется предоставить статью с описанием общих принципов использованного подхода и полученных результатов для публикации в трудах семинара и сделать доклад на очной части семинара.
Предполагается также, что участники компенсируют часть затрат на распространение тестовых корпусов и оценку результатов, пропорционально степени их участия. Компенсировать затраты можно с помощью оплаты организационного взноса или путем выделения ресурсов для проведения оценки.
Результаты тестирования предназначены для использования исключительно в исследовательских целях и не могут быть использованы в маркетинговых или коммерческих целях.
Очный семинар
В 2007 году предполагается совмещение очной части РОМИП с российской конференцией по электронным библиотекам (RCDL'2007), которая пройдет в Переславле-Залеcском с 15 по 18 октября 2007 года.
Правила подачи заявки
Заявка на участие в семинаре РОМИП должна содержать следующую информацию:- краткая (в 1-2 абзаца) презентация системы (название, Веб-сайт, краткое описание принципов используемого подхода)
- контактная информация (организация, email контактного лица)
- список дорожек, в которых Вы заинтересованы принять участие
Заявки принимаются по адресу:
romip[AT]romip.ru
Оргкомитет
- Михаил Агеев (МГУ, Москва)
- Александр Антонов (Галактика, Москва)
- Павел Браславский (ИМаш УрО РАН, Екатеринбург)
- Максим Губин (IAC Search & Media, USA)
- Борис Добров (УИС РОССИЯ, Москва)
- Игорь Кураленок (СПбГУ, Санкт-Петербург)
- Игорь Некрестьянов (СПбГУ, Санкт-Петербург)
- Владимир Плешко (Гарант-Парк Интернет, Москва)
- Илья Сегалович (Яндекс, Москва)
- Влад Шабанов (Рамблер, Москва)
Дополнительная информация
Веб сайт семинара - http://romip.ru.
Основным средством общения и координации в РОМИП является электронная почта.
Для получения оперативной информации и обсуждения вопросов, связанных с проведением семинара, приглашаем подписаться на рассылку РОМИП: http://www.yahoogroups.com/group/romip.
Контактный адрес оргкомитета - romip[AT]romip.ru.