About legal ad-hoc

Классическая задача поиска по запросу (ad-hoc track), поиск по образцу

Postby dobroff2003 » Thu May 05, 2005 12:18 pm

Добрый день,

у меня вопрос к Игорю Некрестьянову.

В 2004 году запросы по legal ad-hoc были разбиты на две группы: поиск по
теме и поиск документов.

Отличалась ли оценка запросов по группам?

Борис
dobroff2003
Оргкомитет
 
Posts: 83
Joined: Fri May 23, 2003 9:52 am

Re: [romip] About legal ad-hoc

Postby dobroff2003 » Thu May 05, 2005 12:32 pm

А наблюдалось ли согласие/несогласие между асессорами при оценке поиска
"на документ"?

Борис

Igor Nekrestyanov wrote:
>
> В смысле заданий асессорам?
> Да, постановки заданий (aka расширенные описания) отличались.
>
> Точные формулировки есть в
http://romip.narod.ru/romip2004/01_romip_overview.pdf
> раздел 6.1.2
>
> -igor
dobroff2003
Оргкомитет
 
Posts: 83
Joined: Fri May 23, 2003 9:52 am

Re: [romip] About legal ad-hoc

Postby neigor » Thu May 05, 2005 12:33 pm

В смысле заданий асессорам?
Да, постановки заданий (aka расширенные описания) отличались.

Точные формулировки есть в http://romip.narod.ru/romip2004/01_romip_overview.pdf
раздел 6.1.2

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: [romip] About legal ad-hoc

Postby neigor » Fri May 06, 2005 8:03 am

конечно несогласие было всегда и довольно значительным.
Отдельно это забыли посчитать

Вот что у меня получилось

documents 713 1958 4198
notions 1247 3629 6415
all 1960 5587 10613

расшифровка:
число реоевантных в AND таблице/число релевантных в OR/общее число оценок

Если считать степень согласия как я это делал для слайдов доклада на РОМИП,
то есть
релевантных_AND/релевантных_OR
соответствующие коэффициенты будут

documents 0.364
notions 0.343
all 0.350

Если же посчитать насколько изменяется доля релевантных среди всех
оценивавшнихся при переходе от AND к OR, то получается:

documents 713/4198=0.170 => 1958/4198=0.466 => +0.296
notions 0.194 => 0.566 => +0.372
all 0.185 => 0.526 => +0.341

разница более заметна, но все равно непонятно почему при поиске
документов мнения так сильно расходятся.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: [romip] About legal ad-hoc

Postby dobroff2003 » Fri May 06, 2005 9:35 am

Igor Nekrestyanov wrote:
>
>
> documents 713/4198=0.170 => 1958/4198=0.466 => +0.296
> notions 0.194 => 0.566 => +0.372
> all 0.185 => 0.526 => +0.341
>
> разница более заметна, но все равно непонятно почему при поиске
> документов мнения так сильно расходятся.
>

вот именно!
Что-то странное.
Вроде бы должны относиться - сам документ, его дополнения и изменения,
м.б. ограничивающие ссылки (типа "в части не противоречащей нормам п.А
документа Б" - но такого в последнее время мало - если есть вообще), то
есть мало почвы для несогласия.

Вопрос возник из-за того, что захотели посмотреть фильтры на "поиск
документа" - ручной просмотр согласия экспертов по паре запросов по
книжке выявил расхожление мнений экспертов.

Похоже придется разбираться.
Или я чего-то не понимаю?

Борис
dobroff2003
Оргкомитет
 
Posts: 83
Joined: Fri May 23, 2003 9:52 am

RE: [romip] About legal ad-hoc

Postby maxgubin » Mon May 09, 2005 7:10 pm

Добрый день!
Я в прошлом году делал анализ нескольких запросов. Запросы взяты с сайтов,
т.е. скорее всего их вводили не только профессионалы и запросы относились не
только к нормативным документам России. Рассмотрим один из них "лишение
премии". Не юрист, открыв любой документ, с этим словосочетанием в
зависимости от того, что он в нем прочитал, может случайно отнести его к
релевантному или нет. В базе было несколько организационно-распорядительных
документов, где эти слова были рядом. НО, если вчитываться, то если не
знать, что никаких "лишений премии" в законодательстве нет, единственный
релевантный документ - трудовой кодекс, где описаны взыскания, то становится
понятно, что с такой-же вероятностью можно было просто случайно расставить
релевантный/нерелевантный документам, которые содержат эти слова. И так по
всем запросам. То есть т.к. асессоры, скорее всего, не очень понимали
документы, которые читают, то они не смогли их оценить. У них не было ни
"мировоззрения" ни "кругозора" по этой теме. По-моему причина в этом.

Максим
maxgubin
Оргкомитет
 
Posts: 86
Joined: Fri Jul 04, 2003 3:54 am


Return to Поисковые дорожки

Who is online

Users browsing this forum: No registered users and 2 guests

cron