расширенные результаты

(read only)

Postby neigor » Fri Oct 10, 2003 2:40 pm

Обращаем ваше внимание, что
в разосланных вчера расширенных результатах есть
анонимные таблица общих результатов

Они находятся в файлах *-results-table

содержимое имеет следующую структуру:

Recall
rbc192 0.500 0.250 0.250 0.000 0.000
...
это означает, что по оценке recall (полнота) на задание rbc192
лидер показал результат 0.500, еще в 2х прогонах - 0.250, и в 2-х - 0.0.

Посмотрев свой результат можно понять где вы находитесь в этом списке.
Например, если ваш результат по recall на этом задании
и при использовании той же таблицы релевантности (weak/strong)
- 0.250, то вы поделили 2-3 место по этому запросу.

Для соблюдения анонимности каждый список отсортирован независимо,
так что лучшая система в одном случае вполне может быть худшей в другом.


Это не позволяет сравивать системы попарно, но мы сделали это специально.
иначе, по приводимым в текстах цифрам примеров
(например, кто-то скажет - в этом задании мы были лучшими),
довольно просто вычислить кто есть кто, а согласно общим принципам
мы должны страться не разглашать анонимность результатов.

На очной встрече это можно будет обсудить и если все будут не против,
то мы это сделаем.

Положение своей системы в среднем можно понять из общих результатов,
а эти более подробные данные в первую очередь предназначены для анализа
*своей* системы, а не систем других участников.

Мы надеемся, что эти данные позволят выделить несколько примеров где все
сработало хорошо или плохо, которые можно включить в текст статьи
с пояснением почему на ваш взгляд это так.

-igor

p.s.
Срок подачи текстов - вечер понедельника. пожалуйста, не опаздывайте.
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Postby dobroff2003 » Fri Oct 10, 2003 4:27 pm

Добрый день!

Igor Nekrestyanov wrote:
>
> Срок подачи текстов - вечер понедельника. пожалуйста, не опаздывайте.
>

Мы тут нарисовали кучку графиков по представленным данным.
В связи с этим - есть ли ограничение СВЕРХУ для объема статьи?

Борис
dobroff2003
Оргкомитет
 
Posts: 83
Joined: Fri May 23, 2003 9:52 am

RE: [romip] расширенные результаты

Postby maxgubin » Fri Oct 10, 2003 4:35 pm

Всем добрый день!
А что это за две матрицы одна RIRES, другая TREC?
Та, которая RIRES немного странна для типичной точности/полноты - там не
монотонно убывающая, как вроде ожидается, функция.
Или я что-то пропустил и есть расшифровка методов обсчетов (кроме
известной статьи на apmath.spbu.ru)?



Максим Губин
ИК "Кодекс"
max@...
maxgubin
Оргкомитет
 
Posts: 86
Joined: Fri Jul 04, 2003 3:54 am

Re: [romip] расширенные результаты

Postby dobroff2003 » Fri Oct 10, 2003 4:54 pm

Добрый вечер!

max@... wrote:
>
> Всем добрый день!
> А что это за две матрицы одна RIRES, другая TREC?
> Та, которая RIRES немного странна для типичной точности/полноты - там не
> монотонно убывающая, как вроде ожидается, функция.
> Или я что-то пропустил и есть расшифровка методов обсчетов (кроме
> известной статьи на apmath.spbu.ru)?
>
> Максим Губин
> ИК "Кодекс"
> max@...
>

1) Матрица TREC - матрица 11-точечного графика полноты/точности,
выполненная по методике TREC.

В результате интенсивных консультаций за последние несколько дней
между Игорем Некрестьяновым, Игорем Кураленком и Михаилом Агеевым
есть ощущение, что "Матрица TREC" сделана в полном соответствии с
http://trec.nist.gov/pubs/trec11/appendices/MEASURES.ps.gz

Если не вкрались какие-нибудь ошибки - эти результаты можно сопоставлять
с публикуемыми в TREC и т.п.


2) Метрика RIRES несколько отличается от метрики TREC:
2а) если система X не достигает заданного уровня полноты a, то точность
системы X на уровне полноты a считается равной точности системы на
множестве результатов (в TREC считается 0.0 ).
2б) не производится процедура интерполяции результатов, применяемая в
TREC.

С наилучшими пожеланиями,
Борис
dobroff2003
Оргкомитет
 
Posts: 83
Joined: Fri May 23, 2003 9:52 am

RE: [romip] расширенные результаты

Postby maxgubin » Fri Oct 10, 2003 5:51 pm

Так, становится немного понятнее, хотя все равно не понял, как можно
построить 11-точечный график без интерполяции? И чего можно сказать по
этим данным, когда не очень понятно, как они вычислены? Последний вопрос
риторический :). Я уже развел теорию сравнивая свои графики с типичными
TRECовскими, а оказывается все не так :). Кому-нибудь понятно, почему
они такие получились? Почему Trecовская получилась настолько больше?

И почему, все-таки у меня, да как я посмотрю у многих других, RIRES
вначале немного растет?

Максим Губин
maxgubin
Оргкомитет
 
Posts: 86
Joined: Fri Jul 04, 2003 3:54 am

Re: [romip] расширенные результаты

Postby neigor » Fri Oct 10, 2003 6:47 pm

особых наверное нет пока сборник в сумме разумный,
а разумный это скажем - 500 страниц A5.

наверное за 50-60 страниц не стоит вылазить.
а если очень хочется больше, то можно часть текста сделать
дополнительной и в понедельник мы сможем сказать
влезет или нет. Скорее всего все влезет без проблем,
так как далеко не все исчерпают квоту.

А вот время докладов будет ограниченным, наверное минут по 20,
для тех кто в двух дорожках участвовал может быть 30.
Я это еще уточню попозже.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm


Return to Объявления Оргкомитета

Who is online

Users browsing this forum: No registered users and 11 guests

cron