заметки с круглого стола в Петрозаводске

Общие обсуждения - потенциальные будущие дорожки, использование материалов РОМИП вне семинара, очные встречи и прочие вопросы для которых нет отдельной подтемы

Re: заметки с круглого стола в Петрозаводске

Postby salexunder » Thu Oct 01, 2009 12:24 pm

--- In romip@yahoogroups.com, "Tatevosyan Sergey"

> > для оценки формальной релевантности по коллекции Legal (интересные
> > документы) можно ее включить в web-коллекцию - обернуть только для
> > приличия, например, в домен типа kodex.by :) - там же никто не
> > оценивает правда на странице или нет
>
> >Я бы, пожалуй, не стал в такой дорожке участвовать. Но если кто-то захочет
> - почему бы и нет.
> А вот мы как раз рассматриваем legal именно как еще одну дорожку веб :))

Допустим, мы действительно сделаем 2 дорожки.
Мне тут пришло в голову, что создание двух дорожек из одной коллекции содержит в
себе некую гипотетическую уязвимость.

Допустим, мы добавим в правовую дорожку информацию о версиях документа, как
предлагал Максим Губин. Теоретически, в эту коллекцию можно добавить и другие
поля, которые характерны для реальных правовых коллекций (например, поле для
хранения рубрики документа). Будем называть дорожку поиска по этой коллекции
дорожкой "legal".

Дорожку, в которой поиск будет производиться, исходя из принципов веб-поиска,
назовем "kodex.ru". В коллекции для этой дорожки информации об версионности и
т.п. не будет, поскольку все документы в ней считаются обычными веб-страницами.

За исключением дополнительных полей, коллекции для дорожек legal и kodex.ru
будут совпадают.

Можно предположить, что поисковая система, учитывающая дополнительные данные
правовой коллекции, в дорожке "legal" получит некоторое преимущество перед
системой, не принимающей это во внимание.

В этом случае появляется гипотетическая угроза, что участник дорожки "kodex.ru"
схитрит. Выполняя задания этой дорожки, он будет использовать вместо коллекции
kodex.ru коллекцию legal с дополнительными полями. Таким образом, его система
получит фору перед другими участниками дорожки.

Разумеется, я не верю, что кто-то из участников воспользуется этой уязвимостью.
Но все же лучше изначально спроектировать условия дорожек так, чтобы не
существовало даже теоретической возможности схитрить.


Сафронов.
salexunder
 
Posts: 16
Joined: Tue Mar 17, 2009 8:21 am

RE: [romip] Re: заметки с круглого стола в Петрозаводске

Postby maxgubin » Fri Oct 02, 2009 6:20 am

Все привет!

Я тут вот о чем подумал. В этом году я впервые "поиграл" с инструментом
оценки и как раз смотрел как оценивается правовая коллекция. Возможно
редакции только вершина айсберга, потому что ошибки их оценок оказались
наиболее очевидны. На самом деле инструмент ужастно "тормозит" с обработкой
больших документов, которых в коллекции полно. То есть если выбрать большой
документ, или другой документ после большого документа даже на быстром
компьютере проходит до минуты, когда во фрейме с текстом ничего не
происходит. Ассессор теряет нить того, что происходит, забывает что было до
этого, или, что еще хуже, кликает на оценить еще раз и оценивает совсем
другой документ, потому что думает что система не обработала предыдущую
оценку.

Однозначно это вводит большой уровень шума "вокруг" всех больших документов.
Нужно инвестировать в совершенствование инструмента, иначе невозможно
добиться качественной оценки.


>мне кажется, что стоит использовать более широкую шкалу - "витальный"
>и т.д. - Максим Губин как-то говорил об использовании такой шкалы в
>Кодексе - наверное, там были соответствующие инструкции

Да, было несколько вариантов, но это было более пяти лет назад. Последнии
внутренние оценки мы проводили когда юрист оценивал список а не отдельные
документы, двигая документы вверх/вниз и добавляя/убирая, потому что
пытались получить больше информации для взвешивания.

Максим
maxgubin
Оргкомитет
 
Posts: 86
Joined: Fri Jul 04, 2003 3:54 am

Re: заметки с круглого стола в Петрозаводске

Postby salexunder » Fri Oct 02, 2009 2:57 pm

--- In romip@yahoogroups.com, "Max Gubin" wrote:

> Нужно инвестировать в совершенствование инструмента, иначе невозможно
> добиться качественной оценки.

Может быть, кто-то из участников дорожки согласится выполнить доработку
инструмента асессора? (если это, конечно, не противоречит правилам РОМИП).

Если добровольцев не будет, придется искать фрилансеров.
salexunder
 
Posts: 16
Joined: Tue Mar 17, 2009 8:21 am

Re: заметки с круглого стола в Петрозаводске

Postby salexunder » Fri Oct 02, 2009 3:49 pm

--- In romip@yahoogroups.com, "Boris V. Dobrov" wrote:

> "оценивайте КАЖДЫЙ документ [пусть с любых юридичексих позиций], как
> будто Вы находитесь ровно в той дате, когда документ начал
> действовать"


В этой схеме меня немного смущают следующие моменты:
1. Достаточно ли асессор владеет собой, чтобы всегда следовать такой инструкции?
Мне кажется, что юристам будет сложно постоянно держать в голове этот принцип. В
определенном смысле это очень неестественное условие для живого пользователя, и
рано или поздно он может сбиться и начать оценивать документы обычным способом.
2. Если я ничего не путаю, в тексте некоторых документов коллекции legal явно
указывается, что документ уже устарел или отменен. Таким образом, наша
инструкция по оценке документа явным образом вступает в конфликт со здравым
смыслом, что обязательно должно сказаться на стабильности оценок асессоров.
3. Оценка по такой схеме не совсем соответствует реальным потребностям живых
пользователей (хоть юристов, хоть обычных непрофессиональных пользователей).
Думаю, что поисковая выдача, в которой никак не учитывается степень юридической
актуальности документа, оправдана только для очень узкого класса
"исследовательских" задач.

Сафронов.
salexunder
 
Posts: 16
Joined: Tue Mar 17, 2009 8:21 am

Previous

Return to Общие вопросы

Who is online

Users browsing this forum: No registered users and 2 guests

cron