legal2007 classification: порог 5 категорий на документ

Классификация нормативно-правовых документов, веб-сайтов и веб-страниц

legal2007 classification: порог 5 категорий на документ

Postby ageev2003 » Fri Jul 11, 2008 1:21 pm

Добрый день!

Вопрос в оргкомитету: в описании дорожки тематической классификации
нормативно-правовых документов указано:
"Один и тот же документ может относиться сразу к нескольким
категориям (до 5 категорий)."

Как поступит инструмент оценки, если к документу приписано более 5
категорий?

(Казалось бы, долны отсекаться наименее релевантные категории 6 и
далее, но формат ответов систем не предусматривает информации, которая
для этого нужна...)

С уважением,
Михаил Агеев.
ageev2003
Оргкомитет
 
Posts: 28
Joined: Wed Apr 07, 2004 6:58 am

Re: [romip] legal2007 classification: порог 5 категорий на документ

Postby marina » Sun Jul 13, 2008 11:56 am

Михаил, добрый день,

Позвольте уточнить, в описании дорожки тематической классификации
нормативно-правовых документов указано:
"Один и тот же документ может относиться сразу к нескольким категориям (до 5
категорий).
Ответом системы для категории является упорядоченный по степени близости
документа к категории список документов."

Оценка производится для пар категория/документ (относится ли документ к данной
категории). Соответственно, ассессор видит для фиксированной категории список
документов, которые попали в ее пул. И в момент выставления оценки для пары
категория/документ он ничего не знает и не должен знать о том, в какую из
категорий этот документ был еще отнесен кем-либо из участников.

Лимит в 5 документов необходим, в случае, если система-участник может возвращать
более одного ответа. При этом у участника есть возможность повлиять на то, какие
из документов должны попасть в пул для данной категории, отранжировав документы
из ответа для категории по степени близости к ней.

С уважением,
Марина.

[romip] legal2007 classification: порог 5 категорий на документ

>
> Добрый день!
>
> Вопрос в оргкомитету: в описании дорожки тематической классификации
> нормативно-правовых документов указано:
> "Один и тот же документ может относиться сразу к нескольким
> категориям (до 5 категорий)."
>
> Как поступит инструмент оценки, если к документу приписано более 5
> категорий?
>
> (Казалось бы, долны отсекаться наименее релевантные категории 6 и
> далее, но формат ответов систем не предусматривает информации, которая
> для этого нужна...)
>
> С уважением,
> Михаил Агеев.
>
>
> ------------------------------------
>
> Yahoo! Groups Links
>
>
>
marina
Оргкомитет
 
Posts: 5
Joined: Sun Jul 13, 2008 8:30 am

Re[2]: [romip] legal2007 classification: порог 5 категорий на документ

Postby ageev2003 » Mon Jul 14, 2008 10:11 am

Добрый день, Марина!

Спасибо за ответ.

Уточню свой вопрос: есть ли проверка ограничения на 5 документов в
ответе в инструменте оценки?
Пусть ответ системы не соответствует условию на пять документов, например:
d1
d1
d1
d1
d1
d1

То такой ответ будет признан некорректным или будет каким-то образом
оценен?

---
На мой взгляд, ограничение на 5 документов довольно странное.
В частности, ему не удовлетворяет "идеальная" классификация,
предоставленная компанией Кодекс!
Может быть, убрать это ограничение?

С уважением,
Михаил Агеев.

MN> Позвольте уточнить, в описании дорожки тематической классификации
MN> нормативно-правовых документов указано: "Один и тот же документ
MN> может относиться сразу к нескольким категориям (до 5 категорий).
MN> Ответом системы для категории является упорядоченный по степени
MN> близости документа к категории список документов."

MN> Оценка производится для пар категория/документ (относится ли
MN> документ к данной категории). Соответственно, ассессор видит для
MN> фиксированной категории список документов, которые попали в ее
MN> пул. И в момент выставления оценки для пары категория/документ он
MN> ничего не знает и не должен знать о том, в какую из категорий этот
MN> документ был еще отнесен кем-либо из участников.

MN> Лимит в 5 документов необходим, в случае, если система-участник
MN> может возвращать более одного ответа. При этом у участника есть
MN> возможность повлиять на то, какие из документов должны попасть в
MN> пул для данной категории, отранжировав документы из ответа для
MN> категории по степени близости к ней.

MN> [romip] legal2007 classification: порог 5 категорий на документ

>>
>> Добрый день!
>>
>> Вопрос в оргкомитету: в описании дорожки тематической классификации
>> нормативно-правовых документов указано:
>> "Один и тот же документ может относиться сразу к нескольким
>> категориям (до 5 категорий)."
>>
>> Как поступит инструмент оценки, если к документу приписано более 5
>> категорий?
>>
>> (Казалось бы, долны отсекаться наименее релевантные категории 6 и
>> далее, но формат ответов систем не предусматривает информации, которая
>> для этого нужна...)
>>
>> С уважением,
>> Михаил Агеев.
>>
ageev2003
Оргкомитет
 
Posts: 28
Joined: Wed Apr 07, 2004 6:58 am

Re[3]: [romip] legal2007 classification: порог 5 категорий на документ

Postby marina » Mon Jul 14, 2008 11:39 am

Михаил,

Проверка на ограничение в 5 документов проводится на этапе получение результатов
от участника
и формирования пулов.

При желании это ограничение для данной дорожки можно убрать. Поскольку это было
наше техническое решение от неконтролируемого разбухания пулов (для всех дорожек
классификации). А для данной дорожки это не так важно, поскольку оценка
автоматизирована.

С уважением,
Марина.

Re[2]: [romip] legal2007 classification: порог 5 категорий на документ

>
> Добрый день, Марина!
>
> Спасибо за ответ.
>
> Уточню свой вопрос: есть ли проверка ограничения на 5 документов в
> ответе в инструменте оценки?
> Пусть ответ системы не соответствует условию на пять документов, например:
> d1
> d1
> d1
> d1
> d1
> d1
>
> То такой ответ будет признан некорректным или будет каким-то образом
> оценен?
>
> ---
> На мой взгляд, ограничение на 5 документов довольно странное.
> В частности, ему не удовлетворяет "идеальная" классификация,
> предоставленная компанией Кодекс!
> Может быть, убрать это ограничение?
>
> С уважением,
> Михаил Агеев.
>
> MN> Позвольте уточнить, в описании дорожки тематической классификации
> MN> нормативно-правовых документов указано: "Один и тот же документ
> MN> может относиться сразу к нескольким категориям (до 5 категорий).
> MN> Ответом системы для категории является упорядоченный по степени
> MN> близости документа к категории список документов."
>
> MN> Оценка производится для пар категория/документ (относится ли
> MN> документ к данной категории). Соответственно, ассессор видит для
> MN> фиксированной категории список документов, которые попали в ее
> MN> пул. И в момент выставления оценки для пары категория/документ он
> MN> ничего не знает и не должен знать о том, в какую из категорий этот
> MN> документ был еще отнесен кем-либо из участников.
>
> MN> Лимит в 5 документов необходим, в случае, если система-участник
> MN> может возвращать более одного ответа. При этом у участника есть
> MN> возможность повлиять на то, какие из документов должны попасть в
> MN> пул для данной категории, отранжировав документы из ответа для
> MN> категории по степени близости к ней.
>
> MN> [romip] legal2007 classification: порог 5 категорий на документ
>
> >>
> >> Добрый день!
> >>
> >> Вопрос в оргкомитету: в описании дорожки тематической классификации
> >> нормативно-правовых документов указано:
> >> "Один и тот же документ может относиться сразу к нескольким
> >> категориям (до 5 категорий)."
> >>
> >> Как поступит инструмент оценки, если к документу приписано более 5
> >> категорий?
> >>
> >> (Казалось бы, долны отсекаться наименее релевантные категории 6 и
> >> далее, но формат ответов систем не предусматривает информации, которая
> >> для этого нужна...)
> >>
> >> С уважением,
> >> Михаил Агеев.
> >>
>
marina
Оргкомитет
 
Posts: 5
Joined: Sun Jul 13, 2008 8:30 am

Re[4]: [romip] legal2007 classification: порог 5 категорий на документ

Postby ageev2003 » Mon Jul 14, 2008 12:20 pm

MN> При желании это ограничение для данной дорожки можно убрать.
MN> Поскольку это было наше техническое решение от неконтролируемого
MN> разбухания пулов (для всех дорожек классификации). А для данной
MN> дорожки это не так важно, поскольку оценка автоматизирована.

Спасибо за объяснение. Ограничение от разбухания пулов действительно
нужно, согласен.

А для дорожки классификации нормативных документов предлагаю это
ограничение убрать.

С уважением,
Михаил Агеев.

MN> Re[2]: [romip] legal2007 classification: порог 5 категорий на
документ

>>
>> Добрый день, Марина!
>>
>> Спасибо за ответ.
>>
>> Уточню свой вопрос: есть ли проверка ограничения на 5 документов в
>> ответе в инструменте оценки?
>> Пусть ответ системы не соответствует условию на пять документов, например:
>> d1
>> d1
>> d1
>> d1
>> d1
>> d1
>>
>> То такой ответ будет признан некорректным или будет каким-то образом
>> оценен?
>>
>> ---
>> На мой взгляд, ограничение на 5 документов довольно странное.
>> В частности, ему не удовлетворяет "идеальная" классификация,
>> предоставленная компанией Кодекс!
>> Может быть, убрать это ограничение?
>>
>> С уважением,
>> Михаил Агеев.
>>
>> MN> Позвольте уточнить, в описании дорожки тематической классификации
>> MN> нормативно-правовых документов указано: "Один и тот же документ
>> MN> может относиться сразу к нескольким категориям (до 5 категорий).
>> MN> Ответом системы для категории является упорядоченный по степени
>> MN> близости документа к категории список документов."
>>
>> MN> Оценка производится для пар категория/документ (относится ли
>> MN> документ к данной категории). Соответственно, ассессор видит для
>> MN> фиксированной категории список документов, которые попали в ее
>> MN> пул. И в момент выставления оценки для пары категория/документ он
>> MN> ничего не знает и не должен знать о том, в какую из категорий этот
>> MN> документ был еще отнесен кем-либо из участников.
>>
>> MN> Лимит в 5 документов необходим, в случае, если система-участник
>> MN> может возвращать более одного ответа. При этом у участника есть
>> MN> возможность повлиять на то, какие из документов должны попасть в
>> MN> пул для данной категории, отранжировав документы из ответа для
>> MN> категории по степени близости к ней.
>>
>> MN> [romip] legal2007 classification: порог 5 категорий на документ
>>
>> >>
>> >> Добрый день!
>> >>
>> >> Вопрос в оргкомитету: в описании дорожки тематической классификации
>> >> нормативно-правовых документов указано:
>> >> "Один и тот же документ может относиться сразу к нескольким
>> >> категориям (до 5 категорий)."
>> >>
>> >> Как поступит инструмент оценки, если к документу приписано более 5
>> >> категорий?
>> >>
>> >> (Казалось бы, долны отсекаться наименее релевантные категории 6 и
>> >> далее, но формат ответов систем не предусматривает информации, которая
>> >> для этого нужна...)
>> >>
>> >> С уважением,
>> >> Михаил Агеев.
>> >>
>>

MN> ------------------------------------

MN> Yahoo! Groups Links
ageev2003
Оргкомитет
 
Posts: 28
Joined: Wed Apr 07, 2004 6:58 am

Re[5]: [romip] legal2007 classification: порог 5 категорий на документ

Postby marina » Mon Jul 14, 2008 12:26 pm

Хорошо, давайте уберем.
Тогда мы в ближайшее время разошлем участникам данной дорожки информацию о том,
что мы убираем это ограничение, и обновим информацию на сайте.

С уважением,
Марина.

Re[4]: [romip] legal2007 classification: порог 5 категорий на документ

>
> MN> При желании это ограничение для данной дорожки можно убрать.
> MN> Поскольку это было наше техническое решение от неконтролируемого
> MN> разбухания пулов (для всех дорожек классификации). А для данной
> MN> дорожки это не так важно, поскольку оценка автоматизирована.
>
> Спасибо за объяснение. Ограничение от разбухания пулов действительно
> нужно, согласен.
>
> А для дорожки классификации нормативных документов предлагаю это
> ограничение убрать.
>
> С уважением,
> Михаил Агеев.
>
> MN> Re[2]: [romip] legal2007 classification: порог 5 категорий на
документ
>
> >>
> >> Добрый день, Марина!
> >>
> >> Спасибо за ответ.
> >>
> >> Уточню свой вопрос: есть ли проверка ограничения на 5 документов в
> >> ответе в инструменте оценки?
> >> Пусть ответ системы не соответствует условию на пять документов, например:
> >> d1
> >> d1
> >> d1
> >> d1
> >> d1
> >> d1
> >>
> >> То такой ответ будет признан некорректным или будет каким-то образом
> >> оценен?
> >>
> >> ---
> >> На мой взгляд, ограничение на 5 документов довольно странное.
> >> В частности, ему не удовлетворяет "идеальная" классификация,
> >> предоставленная компанией Кодекс!
> >> Может быть, убрать это ограничение?
> >>
> >> С уважением,
> >> Михаил Агеев.
> >>
> >> MN> Позвольте уточнить, в описании дорожки тематической классификации
> >> MN> нормативно-правовых документов указано: "Один и тот же документ
> >> MN> может относиться сразу к нескольким категориям (до 5 категорий).
> >> MN> Ответом системы для категории является упорядоченный по степени
> >> MN> близости документа к категории список документов."
> >>
> >> MN> Оценка производится для пар категория/документ (относится ли
> >> MN> документ к данной категории). Соответственно, ассессор видит для
> >> MN> фиксированной категории список документов, которые попали в ее
> >> MN> пул. И в момент выставления оценки для пары категория/документ он
> >> MN> ничего не знает и не должен знать о том, в какую из категорий этот
> >> MN> документ был еще отнесен кем-либо из участников.
> >>
> >> MN> Лимит в 5 документов необходим, в случае, если система-участник
> >> MN> может возвращать более одного ответа. При этом у участника есть
> >> MN> возможность повлиять на то, какие из документов должны попасть в
> >> MN> пул для данной категории, отранжировав документы из ответа для
> >> MN> категории по степени близости к ней.
> >>
> >> MN> [romip] legal2007 classification: порог 5 категорий на
документ
> >>
> >> >>
> >> >> Добрый день!
> >> >>
> >> >> Вопрос в оргкомитету: в описании дорожки тематической классификации
> >> >> нормативно-правовых документов указано:
> >> >> "Один и тот же документ может относиться сразу к нескольким
> >> >> категориям (до 5 категорий)."
> >> >>
> >> >> Как поступит инструмент оценки, если к документу приписано более 5
> >> >> категорий?
> >> >>
> >> >> (Казалось бы, долны отсекаться наименее релевантные категории 6 и
> >> >> далее, но формат ответов систем не предусматривает информации, которая
> >> >> для этого нужна...)
> >> >>
> >> >> С уважением,
> >> >> Михаил Агеев.
> >> >>
> >>
>
> MN> ------------------------------------
>
> MN> Yahoo! Groups Links
>
>
>
marina
Оргкомитет
 
Posts: 5
Joined: Sun Jul 13, 2008 8:30 am


Return to Тематическая классификация

Who is online

Users browsing this forum: No registered users and 2 guests

cron