тематическая классификация - сравнение эффективности

[soloduhin_andrey]

Здравствуйте,


У меня не получилось участвовать в РОМИП-2008.
Но хотелось бы получить независимую оценку разработанного метода по
дорожке тематической классификации.
Можно ли это организовать без привязки к семинару?
Ведь для оценки метода на данной дорожке участие человека не обязательно.
Т.е. на сайте всегда есть обучающее множество и множество документов
например из коллекции нормативных документов 2007 и есть возможность
отправить результаты классификации через сайт и получить оценку
эффективности метода.

Если нет то можно хотябы разово получить данный набор РОМИП-2008 - мне
интересно сравнить результаты?

[neigor]

Добрый день,

Мы пока не планируем делать Веб сервис и точно не можем выложить
коллекцию документов в общий доступ.

Но Вы можете рассчитать оценки самостоятельно.

Для оценки результата достаточно таблиц релевантности,
а они открыты:
http://romip.ru/relevance-tables/ru/index.html
(таблицы 2008 года еще выкладываются)

Для проведения эксперимента вам понадобится
a) коллекция
(процедура получения: http://romip.ru/ru/data.html)
b) обучающее множество
(доступно на странице соответствующей дорожки)

Для нормативной коллекции оценка будет довольно честной, так как
матрица релеватности действительно содержит ВСЕ релевантные документы.
Для Веб коллекций, в таблице представленно только их подмножество,
поэтому ваша система может быть недооцененной.
Для более честных условиях условий оценки необходимо участвовать
в РОМИП, чтобы ваши результаты были адекватно представлены в
множестве оцениваемых документов.

При сравнении с результатами других участников вам придется
описаться на опубликованные ими результаты.

-igor

On Thu, 16 Oct 2008, Andrey Soloduhin wrote:

> Здравствуйте,


У меня не получилось участвовать в РОМИП-2008.
Но хотелось бы получить независимую оценку разработанного метода по
дорожке тематической классификации.
Можно ли это организовать без привязки к семинару?
Ведь для оценки метода на данной дорожке участие человека не обязательно.
Т.е. на сайте всегда есть обучающее множество и множество документов
например из коллекции нормативных документов 2007 и есть возможность
отправить результаты классификации через сайт и получить оценку
эффективности метода.

Если нет то можно хотябы разово получить данный набор РОМИП-2008 - мне
интересно сравнить результаты?

[soloduhin_andrey]

> Для оценки результата достаточно таблиц релевантности,
> а они открыты:
> http://romip.ru/relevance-tables/ru/index.html
> (таблицы 2008 года еще выкладываются)

У меня есть "Коллекция нормативных документов 2007".
А таблиц релевантности для 2007 на странице
http://romip.ru/relevance-tables/ru/index.html нету.


> Для проведения эксперимента вам понадобится
> b) обучающее множество
> (доступно на странице соответствующей дорожки)

http://romip.ru/tasks/2008/legal2008_training.xml.bz2
Not Found

[neigor]

Добрый день,

>>> Для оценки результата достаточно таблиц релевантности,
>> а они открыты:
>> http://romip.ru/relevance-tables/ru/index.html
>> (таблицы 2008 года еще выкладываются)
>
>У меня есть "Коллекция нормативных документов 2007".
>А таблиц релевантности для 2007 на странице
>http://romip.ru/relevance-tables/ru/index.html нету.

Их вообще нет, в прошлом году в дорожке был единственный участник и оценка
не производилась.

Специально для вас, мы пораньше выложили таблицу релевантности 2008 года
по этой дорожке.

>
>> Для проведения эксперимента вам понадобится
>> b) обучающее множество
>> (доступно на странице соответствующей дорожки)
>
>http://romip.ru/tasks/2008/legal2008_training.xml.bz2
>Not Found

Спасибо.
Забыли поправить ссылку на обновленную версию обучающего множества.
Сейчас ссылка на странице исправленна.

-igor