Обращаем ваше внимание, что
в разосланных вчера расширенных результатах есть
анонимные таблица общих результатов
Они находятся в файлах *-results-table
содержимое имеет следующую структуру:
Recall
rbc192 0.500 0.250 0.250 0.000 0.000
...
это означает, что по оценке recall (полнота) на задание rbc192
лидер показал результат 0.500, еще в 2х прогонах - 0.250, и в 2-х - 0.0.
Посмотрев свой результат можно понять где вы находитесь в этом списке.
Например, если ваш результат по recall на этом задании
и при использовании той же таблицы релевантности (weak/strong)
- 0.250, то вы поделили 2-3 место по этому запросу.
Для соблюдения анонимности каждый список отсортирован независимо,
так что лучшая система в одном случае вполне может быть худшей в другом.
Это не позволяет сравивать системы попарно, но мы сделали это специально.
иначе, по приводимым в текстах цифрам примеров
(например, кто-то скажет - в этом задании мы были лучшими),
довольно просто вычислить кто есть кто, а согласно общим принципам
мы должны страться не разглашать анонимность результатов.
На очной встрече это можно будет обсудить и если все будут не против,
то мы это сделаем.
Положение своей системы в среднем можно понять из общих результатов,
а эти более подробные данные в первую очередь предназначены для анализа
*своей* системы, а не систем других участников.
Мы надеемся, что эти данные позволят выделить несколько примеров где все
сработало хорошо или плохо, которые можно включить в текст статьи
с пояснением почему на ваш взгляд это так.
-igor
p.s.
Срок подачи текстов - вечер понедельника. пожалуйста, не опаздывайте.