Re: по поводу оценки выдачи экспертами

Общие обсуждения - потенциальные будущие дорожки, использование материалов РОМИП вне семинара, очные встречи и прочие вопросы для которых нет отдельной подтемы

Re: по поводу оценки выдачи экспертами

Postby neigor » Fri Jul 18, 2008 9:56 am

Добрый день,

отвечаю в список рассылки, поскольку затронута важная для многих тема
(лучше сразу такие обсуждения выносить в общий список рассылки).

спасибо за замечания.

Мы безусловно заинтересованы в улучшении качества оценки.

Из-за субъективности какой-то процент разногласий ожидаем,
но есть и поверхностная оценка и погрешности из за того что
асессор!=пользователь.

На данный момент мы:
1) предоставляем асессорам инструкции c примерами
2) используем дополнительные описания для того,
чтобы понимание было одинаковым
3) множественные оценки, что позволяет несколько сгладить
погрешность из-за одного отдельно асессора

Сейчас описания составляются асессорами же (до проведения оценки),
но они конечно руководствуются примерами описаний из прошлых лет.
Поэтому "академичность" перекочевывает из года в год.

Я согласен, что надо попробовать использовать другие типы описаний.
Было бы здорово, если бы вы, например, могли предложить свои варианты
описания для (некоторых) запросов прошлого года.
Мы возможно могли бы их использовать как дополнительные образцы для
асессоров.

-igor

> Хотелось бы еще затронуть тему оценки выдачи и работы экспертов. К
> сожалению, проводя анализ выдачи, мы периодически встречаемся с не очень
> адекватными оценками документов.
>
>
>
> К примеру, для запроса в описании есть такая фраза:
> "Подробное описание книги, фильма или спектакля - частично релеватно".
> Однако документ
>
> http://mega.km.ru/cinema_2001/Encyclop.asp?Topic=topic_segida_f4715 всеми
> экспертами определен как нерелеватный. Действительно, там нет подробного
> описания фильма, однако же документ содержит не просто упоминание о картине,
> а все-таки более полную информацию, так что, полагаем, ему вполне можно
> поставить хотя бы оценку "relevant-minus".
>
>
>
> Также по запросу документ
>
> http://www.km.ru/publicist/index.asp?data=14.03.2007+15:00:00&aaccive=on
> оценен как нерелевантный. Возможно, эксперты в данном случае слишком
> дословно поняли описание запроса: развития и текущем состоянии русской православной церкви. Документы,
> освещающие только один из аспектов (например, взаимоотношения с католической
> церковью), являются частично релевантными> - и поэтому решили, что в
> указанном документе текущее состояние РПЦ не обсуждается, однако,
> согласитесь, что такой документ в выдаче по запросу церковь> выглядит намного более адекватно, чем документ вообще не по теме
> (например, какая-нибудь статья про рецепт яблочного пирога).
>
>
>
> Примеры подобных не очень корректных, с нашей точки зрения, оценок, не
> единичны, и это затрудняет настройку системы по оценкам экспертов, поскольку
> нерелевантными признаются документы, которые, по сути, все же относятся к
> нужной теме. Возможно, следует призвать экспертов стараться больше
> имитировать поведение пользователя системы информационного поиска, нежели
> так дословно воспринимать описание запросов, поскольку в описании не всегда
> можно указать все типы документов, которые гипотетически окажутся
> в ответ на запрос? Или же можно подумать о создании более полных и лояльных
> описаний для запросов, а не всегда таких академичных, поскольку, судя по
> описаниям, для многих запросов идеальными являются только документы из
> энциклопедий или подобных источников, а новостные статьи про всегда
> будут скорее не релевантными или вообще нерелевантными.
>
>
>
>
>
> С уважением,
>
> Брызгалова Наталья
>
> КМ онлайн
>
>
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: [romip] Re: по поводу оценки выдачи экспертами

Postby igor_kuralenok » Tue Jul 22, 2008 7:28 am

Привет всем!

Как это не странно, но асессоры - люди :). Они еще и ошибаются.
Ожидаемая _точность_ оценок не выше 90% (не считая различий во
мнении), так что не удивляйтесь если каждая 10-я оценка (одна оценка
на запрос) будет _ошибочна_. Это нормально. Никакие изменения этого не
улучшат (кроме интерфейса оценки, но и он не слишком поможет).

IK

18.07.2008, в 13:56, Igor Nekrestyanov написал(а):

> Добрый день,
>
> отвечаю в список рассылки, поскольку затронута важная для многих тема
> (лучше сразу такие обсуждения выносить в общий список рассылки).
>
> спасибо за замечания.
>
> Мы безусловно заинтересованы в улучшении качества оценки.
>
> Из-за субъективности какой-то процент разногласий ожидаем,
> но есть и поверхностная оценка и погрешности из за того что
> асессор!=пользователь.
>
> На данный момент мы:
> 1) предоставляем асессорам инструкции c примерами
> 2) используем дополнительные описания для того,
> чтобы понимание было одинаковым
> 3) множественные оценки, что позволяет несколько сгладить
> погрешность из-за одного отдельно асессора
>
> Сейчас описания составляются асессорами же (до проведения оценки),
> но они конечно руководствуются примерами описаний из прошлых лет.
> Поэтому "академичность" перекочевывает из года в год.
>
> Я согласен, что надо попробовать использовать другие типы описаний.
> Было бы здорово, если бы вы, например, могли предложить свои варианты
> описания для (некоторых) запросов прошлого года.
> Мы возможно могли бы их использовать как дополнительные образцы для
> асессоров.
>
> -igor
>
>> Хотелось бы еще затронуть тему оценки выдачи и работы экспертов. К
>> сожалению, проводя анализ выдачи, мы периодически встречаемся с не
>> очень
>> адекватными оценками документов.
>>
>>
>>
>> К примеру, для запроса в описании есть такая фраза:
>> "Подробное описание книги, фильма или спектакля - частично
>> релеватно".
>> Однако документ
>>
>> http://mega.km.ru/cinema_2001/Encyclop.asp?Topic=topic_segida_f4715
>> всеми
>> экспертами определен как нерелеватный. Действительно, там нет
>> подробного
>> описания фильма, однако же документ содержит не просто упоминание о
>> картине,
>> а все-таки более полную информацию, так что, полагаем, ему вполне
>> можно
>> поставить хотя бы оценку "relevant-minus".
>>
>>
>>
>> Также по запросу документ
>> > >
>> http://www.km.ru/publicist/index.asp?data=14.03.2007+15:00:00&aaccive=on
>> оценен как нерелевантный. Возможно, эксперты в данном случае слишком
>> дословно поняли описание запроса: > истории
>> развития и текущем состоянии русской православной церкви. Документы,
>> освещающие только один из аспектов (например, взаимоотношения с
>> католической
>> церковью), являются частично релевантными> - и поэтому решили, что в
>> указанном документе текущее состояние РПЦ не обсуждается, однако,
>> согласитесь, что такой документ в выдаче по запросу > православная
>> церковь> выглядит намного более адекватно, чем документ вообще не
>> по теме
>> (например, какая-нибудь статья про рецепт яблочного пирога).
>>
>>
>>
>> Примеры подобных не очень корректных, с нашей точки зрения, оценок,
>> не
>> единичны, и это затрудняет настройку системы по оценкам экспертов,
>> поскольку
>> нерелевантными признаются документы, которые, по сути, все же
>> относятся к
>> нужной теме. Возможно, следует призвать экспертов стараться больше
>> имитировать поведение пользователя системы информационного поиска,
>> нежели
>> так дословно воспринимать описание запросов, поскольку в описании
>> не всегда
>> можно указать все типы документов, которые гипотетически окажутся
>>
>> в ответ на запрос? Или же можно подумать о создании более полных и
>> лояльных
>> описаний для запросов, а не всегда таких академичных, поскольку,
>> судя по
>> описаниям, для многих запросов идеальными являются только документы
>> из
>> энциклопедий или подобных источников, а новостные статьи про
>> всегда
>> будут скорее не релевантными или вообще нерелевантными.
>>
>>
>>
>>
>>
>> С уважением,
>>
>> Брызгалова Наталья
>>
>> КМ онлайн
>>
>>
> ------------------------------------
>
> Yahoo! Groups Links
>
>
>
igor_kuralenok
Оргкомитет
 
Posts: 21
Joined: Fri Oct 03, 2003 7:24 am


Return to Общие вопросы

Who is online

Users browsing this forum: No registered users and 18 guests

cron