Re: classification - предложение по централизации

Классификация нормативно-правовых документов, веб-сайтов и веб-страниц

Re: classification - предложение по централизации

Postby neigor » Tue Aug 24, 2004 9:18 am

Я думаю что мы это конечно можем посчитать эти метрики
(и вообще планировали выложить тул в исходниках - туда можно добавлять новые
метрики)

Еще одно поступившее предложение - расширить набор категорий оценивавшихся
по идеальной таблице. Если Максим не против, то мы могли бы посчитать
результаты для ~70-80 случайных категорий.

> Извиняюсь за запоздалое предложение.
>
> В литературе по классификации текстов при сравнении различных методов
испольуется метрика Accuracy (или дополняющая ее Error) (macro average):
>
> вычисляется для каждого класса (в терминах romip_metrics.pdf)
>
> Accuracy(class) = (a+d) / (a+b+c+d); // Точность - слово уже занято
> или
> Error(class) = (b+c) / (a+b+c+d); // Ошибка
>
> затем вычисляется среднее по классам.
>
> Почти все алгоритмы классификации пытаются минимизировать ошибку, и при
> сравнении алгоритмов в литературе чаще всего сравниваются Accuracy.
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Postby vladimir_pleshko » Tue Aug 24, 2004 9:38 am

Было бы еще интересно посчитать результаты оценщиков or и and против "идеальной"
системы. Т.е. насколько хорошо неспециалисты в предметной области
аппроксимировали "идеальную" систему по описаниям заданий.

>
> Я думаю что мы это конечно можем посчитать эти метрики
> (и вообще планировали выложить тул в исходниках - туда можно
> добавлять новые
> метрики)
>
> Еще одно поступившее предложение - расширить набор категорий
> оценивавшихся
> по идеальной таблице. Если Максим не против, то мы могли бы посчитать
> результаты для ~70-80 случайных категорий.
>
> > Извиняюсь за запоздалое предложение.
> >
> > В литературе по классификации текстов при сравнении
> различных методов испольуется метрика Accuracy (или
> дополняющая ее Error) (macro average):
> >
> > вычисляется для каждого класса (в терминах romip_metrics.pdf)
> >
> > Accuracy(class) = (a+d) / (a+b+c+d); // Точность - слово уже занято
> > или
> > Error(class) = (b+c) / (a+b+c+d); // Ошибка
> >
> > затем вычисляется среднее по классам.
> >
> > Почти все алгоритмы классификации пытаются минимизировать
> ошибку, и при
> > сравнении алгоритмов в литературе чаще всего сравниваются Accuracy.
>
>
vladimir_pleshko
Оргкомитет
 
Posts: 71
Joined: Fri May 23, 2003 8:26 am

Postby mkozachuk » Tue Aug 24, 2004 10:20 am

Здравствуйте

> Еще одно поступившее предложение - расширить набор категорий оценивавшихся
> по идеальной таблице. Если Максим не против, то мы могли бы посчитать
> результаты для ~70-80 случайных категорий.

Нельзя ли заодно изменить формат представления результатов (файлы
summary.txt и details.txt), если это не слишком сложно. Например, выводить
их тоже в XML. В нынешнем формате найти результаты определенной системы в
общем файле details.txt, не самая простая задача. И еще не очень понятно,
зачем было забивать цвета систем, которые вроде бы сами по себе анонимны,
иксами.
Впрочем, в любом случае результаты очень интересные.

С уважением, Максим Козачук (kozachuk@...)
mkozachuk
 
Posts: 9
Joined: Sat May 22, 2004 9:45 am

RE: [romip] Re: classification - предложение по централизованным оценкам

Postby maxgubin » Tue Aug 24, 2004 11:12 am

Всем добрый день!
Неожиданная активность меня несколько настораживает. Может я пропустил
что-то? Результаты еще не рассылали?

>Еще одно поступившее предложение - расширить набор категорий оценивавшихся
>по идеальной таблице. Если Максим не против, то мы могли бы посчитать
>результаты для ~70-80 случайных категорий.

А почему я могу быть против? Я же вроде отправил таблицу для всех категорий.
Максим
maxgubin
Оргкомитет
 
Posts: 86
Joined: Fri Jul 04, 2003 3:54 am

RE: [romip] Re: classification - предложение по централизованным оценкам

Postby neigor » Tue Aug 24, 2004 12:56 pm

разосланы результаты по дорожкам классификации.
По дорожкам adhoc рассылка будет сегодня,
как только будут согласованы детали про то,
что же такое averagePrecision :)

> >Еще одно поступившее предложение - расширить набор категорий оценивавшихся
> >по идеальной таблице. Если Максим не против, то мы могли бы посчитать
> >результаты для ~70-80 случайных категорий.
>
> А почему я могу быть против? Я же вроде отправил таблицу для всех категорий.

ну ты же не знал, какие мы будем оценивать вручную.

ok - чуть позже на этой неделе будет расширенная версия результатов.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: [romip] Re: classification - предложение по централизованным оценкам

Postby neigor » Tue Aug 24, 2004 1:05 pm

> Нельзя ли заодно изменить формат представления результатов (файлы
> summary.txt и details.txt), если это не слишком сложно. Например, выводить
> их тоже в XML. В нынешнем формате найти результаты определенной системы в
> общем файле details.txt, не самая простая задача. И еще не очень понятно,
> зачем было забивать цвета систем, которые вроде бы сами по себе анонимны,
> иксами.

иксы - для того, чтобы нельзя было вычислить кому какие цвета принадлежат.
Зная число прогонов от участника это вообщем-то вполне решаемо :)

Мы предполагали, что общая сводная информация предназначена
не для сравнения 2-х конкретных прогонов по _всем_ заданиям,
а для понимания насколько удачно/неудачно выполнено конкретное задание
(смотрим где в упорядоченном списке находится наш результат)

Но вообщем-то мы наверное можем переименовать и в XX1, XX2 если
нет возражений.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: [romip] RE: classification - предложение по централизованным оценкам

Postby neigor » Tue Aug 24, 2004 1:08 pm

хорошо,
хотя это вроде бы должно вычисляться по
Precision/Recall/Accuracy/Error для оценки идеального прогона по or/and.
Ведь таблица с a/b/c/d будет похожая, только местами клетки они поменяются.

-igor

On Tue, 24 Aug 2004, Плешко Владимир wrote:

>
> Было бы еще интересно посчитать результаты оценщиков or и and против
> "идеальной" системы. Т.е. насколько хорошо неспециалисты в предметной
> области аппроксимировали "идеальную" систему по описаниям заданий.
>
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: [romip] Re: classification - предложение по централизованным оценкам

Postby mkozachuk » Tue Aug 24, 2004 1:39 pm

> иксы - для того, чтобы нельзя было вычислить кому какие цвета принадлежат.
> Зная число прогонов от участника это вообщем-то вполне решаемо :)

Извините, таких подробностей я просто не знал.

> Мы предполагали, что общая сводная информация предназначена
> не для сравнения 2-х конкретных прогонов по _всем_ заданиям,
> а для понимания насколько удачно/неудачно выполнено конкретное задание
> (смотрим где в упорядоченном списке находится наш результат)

Имеется в виду summary.txt или details.txt? В details.txt искать свои
результаты в общем списке неудобно, так как никакого идентификатора системы
в нем нет. У всех стоят три иска. Нужно выбирать какое-нибудь значение
параметра, и надеяться что оно ни у кого не повторится. Или считать
повторения рубрик. В случае 70-80 рубрик это будет не слишком удобно. Что
касается summary.txt, то он вроде бы не отсортирован. По крайней мере
никакого четкого порядка я не заметил.

> Но вообщем-то мы наверное можем переименовать и в XX1, XX2 если
> нет возражений.

Было бы замечательно.

С уважением, Максим Козачук (kozachuk@...)
mkozachuk
 
Posts: 9
Joined: Sat May 22, 2004 9:45 am

Re[2]: [romip] Re: classification - предложение по централизованным оценкам

Postby ageev2003 » Tue Aug 24, 2004 1:58 pm

Могу предложить пару скриптов на perl, которые приводят файлы
details.txt и summary.txt к более "реляционному" виду. Полученные
файлы легко обрабатывать в excel.

Для файла summary.txt скрипт cvt_summary.pl
Вызов: perl cvt_summary.pl summary_o.txt
========================================================
print "SYS_NUM\tSYSTEM\tMETRIC\tVALUE\n";
$sys_num = 0;
while (<>) {
if (/^Tool.*System: (.*?) Run: (.*?) Results/) {
$sys = $1."_".$2;
$sys_num++;
}
if (/^\t(.*?): (.*?)\s*$/) {
$metric = $1;
$val = $2;
$metric =~ s/\s/"_"/egs;
$val =~ s/\./","/egs;
print "$sys_num\t$sys\t$metric\t$val\n";
}
}
========================================================

Для файла details.txt скрипт cvt_details.pl
Вызов: perl cvt_details.pl details_o.txt
========================================================
print "SYS_NUM\tCATEGORY\tMETRIC\tVALUE\n";
$sys_num = 0;
while(<>) {
if (/xxxx rblc3800301 F1/) {
$sys_num++;
}
/^xxxx rblc(\d+) (\S+) (\S+)/ or next;
$cat = $1;
$metric = $2;
$val = $3;
$val =~ s/\./","/egs;
print "$sys_num\t$cat\t$metric\t$val\n";
}
========================================================


>> иксы - для того, чтобы нельзя было вычислить кому какие цвета принадлежат.
>> Зная число прогонов от участника это вообщем-то вполне решаемо :)

МК> Извините, таких подробностей я просто не знал.

>> Мы предполагали, что общая сводная информация предназначена
>> не для сравнения 2-х конкретных прогонов по _всем_ заданиям,
>> а для понимания насколько удачно/неудачно выполнено конкретное задание
>> (смотрим где в упорядоченном списке находится наш результат)

МК> Имеется в виду summary.txt или details.txt? В details.txt искать свои
МК> результаты в общем списке неудобно, так как никакого идентификатора системы
МК> в нем нет. У всех стоят три иска. Нужно выбирать какое-нибудь значение
МК> параметра, и надеяться что оно ни у кого не повторится. Или считать
МК> повторения рубрик. В случае 70-80 рубрик это будет не слишком удобно. Что
МК> касается summary.txt, то он вроде бы не отсортирован. По крайней мере
МК> никакого четкого порядка я не заметил.

>> Но вообщем-то мы наверное можем переименовать и в XX1, XX2 если
>> нет возражений.

МК> Было бы замечательно.

МК> С уважением, Максим Козачук (kozachuk@...)





МК> Yahoo! Groups Links
ageev2003
Оргкомитет
 
Posts: 28
Joined: Wed Apr 07, 2004 6:58 am


Return to Тематическая классификация

Who is online

Users browsing this forum: No registered users and 8 guests

cron