QA дорожка

RE: Re[6]: [romip] QA дорожка

Postby neigor » Tue Apr 19, 2005 2:10 pm

> Перечень объектов:
> Согласуется после выполнения задания по извлечению упоминаний. Выбираются
> несколько наиболее частотных персон и организаций, с названиями/ФИО,
> которые не вызывают разночтений у участников. Цель - проверять именно
> точность и полноту выделения фактов, исключив шум, связанный с неверными
> отождествлениями и пропусками упоминаний об объектах.

после - это когда?
после "после проверки" ответов асессорами или
после "сдачи результатов" задания?

в любом случае может быть правильнее будет автоматически взять
сколько-то частотных (>> того что будет оцениваться).
А после выявления фактов для каждого из них и сбора ответов обсудить,
то подмножество, что реально будем оценивать.

Кроме уменьшения вероятности подгонки под определенные задания,
у нас будет больше гибкости при оценке - заранее ведь непонятно сколько
фактов будет находится. может быть мало и тогда можно оценить больше
объектов.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Postby vladimir_pleshko » Tue Apr 19, 2005 2:59 pm

Привожу сухой остаток закулисного обсуждения Александра Ермакова и Дмитрия
Панкратова.

Перечень типов фактов:
1. Кто работал\работает в данной организации?
2. Где работал\работает данный человек?
Пояснение к 1,2: очевидно.

3. Кто владеет или владел данной организацией?
4. Какими предприятиями владеет или владела данная организация/персона?
Пояснение к 3,4: К числу владельцев также относятся все покупатели и продавцы
компании, а также все ее акционеры (держатели акций, продавцы и покупатели).

Для каждого типа фактов - две _обязательные_ роли, явно следующие из названия.

Перечень объектов:
Согласуется после выполнения задания по извлечению упоминаний. Выбираются
несколько наиболее частотных персон и организаций, с названиями/ФИО, которые не
вызывают разночтений у участников. Цель - проверять именно точность и полноту
выделения фактов, исключив шум, связанный с неверными отождествлениями и
пропусками упоминаний об объектах.

Оценки:
1. Полнота/точность - традиционные
2. Полнота досье - число уникальных фактов, найденных для объекта

С уважением,
Владимир Плешко
vladimir_pleshko
Оргкомитет
 
Posts: 71
Joined: Fri May 23, 2003 8:26 am

RE: Re[6]: [romip] QA дорожка

Postby vladimir_pleshko » Tue Apr 19, 2005 3:35 pm

> > Перечень объектов:
> > Согласуется после выполнения задания по извлечению упоминаний.
> > Выбираются несколько наиболее частотных персон и организаций, с
> > названиями/ФИО, которые не вызывают разночтений у
> участников. Цель -
> > проверять именно точность и полноту выделения фактов, исключив шум,
> > связанный с неверными отождествлениями и пропусками
> упоминаний об объектах.
>
> после - это когда?
> после "после проверки" ответов асессорами или
> после "сдачи результатов" задания?

Логичным выглядит - после "сдачи результатов".
Результаты сливаются, и участникам выдаются списки из, скажем, 20 объектов
каждого типа.
Участник может отбросить не более 5 объектов из каждого списка. Т.к. участников
пока всего два, пересечения списков будут содержать не менее 5 объектов.
Пересечение списков и будет являться заданием для участников. Оцениваться будут
только 5 объектов каждого типа.

Масштабы чисел и их отношение можно адаптировать к реальным результатам.

>
> в любом случае может быть правильнее будет автоматически
> взять сколько-то частотных (>> того что будет оцениваться).
> А после выявления фактов для каждого из них и сбора ответов
> обсудить, то подмножество, что реально будем оценивать.

Хочется, чтобы участники могли настроиться на целевые объекты. Ведь цель -
проверить выделение фактов, а не упоминаний об объектах (для этого будет первая
часть задания).

>
> Кроме уменьшения вероятности подгонки под определенные
> задания, у нас будет больше гибкости при оценке - заранее
> ведь непонятно сколько фактов будет находится. может быть
> мало и тогда можно оценить больше объектов.

Допускаю, что список из нескольких десятков наиболее популярных объектов будет
приемлем (достаточно, чтобы обезопасить себя от отсутствия найденных фактов).
При выборе объектов для оценки можно будет опираться на число реально найденных
фактов.


С уважением,
Владимир Плешко
vladimir_pleshko
Оргкомитет
 
Posts: 71
Joined: Fri May 23, 2003 8:26 am

Re[8]: [romip] QA дорожка

Postby d_pankrat » Tue Apr 19, 2005 4:05 pm

>> после - это когда?
>> после "после проверки" ответов асессорами или
>> после "сдачи результатов" задания?

ПВ> Логичным выглядит - после "сдачи результатов".
ПВ> Результаты сливаются, и участникам выдаются списки из, скажем, 20 объектов
каждого типа.
ПВ> Участник может отбросить не более 5 объектов из каждого списка. Т.к.
участников пока всего два, пересечения списков будут содержать не менее 5
объектов. Пересечение списков и будет являться
ПВ> заданием для участников. Оцениваться будут только 5 объектов каждого типа.

Я предполагал, что выделить надо заранее и автоматически, как только будет
доступна коллекция. И выделить сразу побольше, как предложил Игорь.


ПВ> Хочется, чтобы участники могли настроиться на целевые объекты. Ведь цель -
проверить выделение
ПВ> фактов, а не упоминаний об объектах (для этого будет первая часть задания).

Так для этого мы и обсудим список ФИО\компаний, чтобы все участники
были уверены в том, что у них не возникнет принципиальных трудностей
при их выделении. Настраиваться скорее надо на тип факта, а не на
участников?


ПВ> Допускаю, что список из нескольких десятков наиболее популярных объектов
будет приемлем (достаточно, чтобы обезопасить себя от
ПВ> отсутствия найденных фактов). При выборе объектов для оценки можно
ПВ> будет опираться на число реально найденных фактов.
Очень хорошо, согласен.

ПВ> Оценки:
ПВ> 1. Полнота/точность - традиционные

ПВ> 2. Полнота досье - число уникальных фактов, найденных для объекта
Число уникальных и правильных фактов, так?

С уважением,
Дмитрий Панкратов
d_pankrat
 
Posts: 9
Joined: Wed Apr 13, 2005 3:03 pm

RE: Re[10]: [romip] QA дорожка

Postby neigor » Tue Apr 19, 2005 4:19 pm

> > Если коллекция уже доступна, то можно было бы попробовать уже
> > сейчас получить интересующие нас списки.
>
> Пока я коллекцию не видел.

Мы еще над ней работаем.
Как только решим технические проблемы - будем раздавать,
надеюсь еще на этой неделе.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Postby vladimir_pleshko » Tue Apr 19, 2005 4:27 pm

Хорошо. Давайте не будем усложнять. Выделяем _все_ факты из списка для _всех_
объектов.
Потом, перед оценкой - участники вправе удалить сколько-то неудачных с их точки
зрения объектов из предложенного списка. Можно и этого не делать. Но все-таки
хочется оценить качество поиска фактов, а не объектов.

В такой постановке дверь поискоориентированным системам на эту дорожку закрыта,
насколько я понимаю.
Тогда и на фрагмент текста не нужно накладывать ограничение - ведь он нужен
только для облегчения проверки.

> ПВ> 2. Полнота досье - число уникальных фактов, найденных для объекта
> Число уникальных и правильных фактов, так?

Конечно, считать нужно только правильные. Да и собирать уникальное более
эффективно после проведения оценки - отсева некорректных фактов.

Если не настраиваться на объекты - отождествлять факт с заданным ИД - оценка
полноты досье у меня тоже вызывает сомнения - с технической точки зрения
(справятся ли ассессоры - одновременно отождествлять и следить за
уникальностью).

С уважением,
Владимир Плешко
vladimir_pleshko
Оргкомитет
 
Posts: 71
Joined: Fri May 23, 2003 8:26 am

Re[10]: [romip] QA дорожка

Postby d_pankrat » Tue Apr 19, 2005 4:41 pm

ПВ> Хорошо. Давайте не будем усложнять. Выделяем _все_ факты из списка для
_всех_ объектов.
ПВ> Потом, перед оценкой - участники вправе удалить сколько-то неудачных с их
точки зрения объектов из предложенного списка.
ПВ> Можно и этого не делать. Но все-таки хочется оценить качество поиска
ПВ> фактов, а не объектов.
Конечно, ради этого все и затевается. Я, наверное, не так понял
"настройку на целевые объекты". Конечно, сам участник должен
группировать ответы по целевым ФИО\компаниям. Просто мне казалось, что
когда таких объектов не 10, а 100, то задача выглядит более
приближенной к реальности и не оставляет соблазнительной возможности
для написания хитрых эвристик при ответе на вопросы про конкретных
людей и компании.

ПВ> В такой постановке дверь поискоориентированным системам на эту дорожку
закрыта, насколько я понимаю.
ПВ> Тогда и на фрагмент текста не нужно накладывать ограничение - ведь он нужен
только для облегчения проверки.
Да, только как иллюстрация.

Если коллекция уже доступна, то можно было бы попробовать уже сейчас
получить интересующие нас списки.

ПВ> Если не настраиваться на объекты - отождествлять факт с заданным ИД - оценка
полноты досье у меня тоже вызывает сомнения - с технической
ПВ> точки зрения (справятся ли ассессоры - одновременно
ПВ> отождествлять и следить за уникальностью).

ПВ> С уважением,
ПВ> Владимир Плешко
d_pankrat
 
Posts: 9
Joined: Wed Apr 13, 2005 3:03 pm

Postby vladimir_pleshko » Tue Apr 19, 2005 4:54 pm

> ПВ> Хорошо. Давайте не будем усложнять. Выделяем _все_ факты
> из списка для _всех_ объектов.
> ПВ> Потом, перед оценкой - участники вправе удалить
> сколько-то неудачных с их точки зрения объектов из
> предложенного списка.
> ПВ> Можно и этого не делать. Но все-таки хочется оценить
> качество поиска
> ПВ> фактов, а не объектов.
> Конечно, ради этого все и затевается. Я, наверное, не так
> понял "настройку на целевые объекты". Конечно, сам участник
> должен группировать ответы по целевым ФИО\компаниям. Просто
> мне казалось, что когда таких объектов не 10, а 100, то
> задача выглядит более приближенной к реальности и не
> оставляет соблазнительной возможности для написания хитрых
> эвристик при ответе на вопросы про конкретных людей и компании.

Так на каком варианте остановимся?

Еще вариант придумал (в два шага):
1. Ищем факты для _всех_ объектов.
Оцениваем традиционные полноту и точность.
2. Отбираем несколько десятков "хороших" объектов (сколько наберется) -
составляем по ним досье (система сама отбрасывает дубли фактов).
Оцениваем полноту досье. Можно штрафовать систему за дубли и некорректные факты.
В любом случае, досье будет обозримым.

> Если коллекция уже доступна, то можно было бы попробовать уже
> сейчас получить интересующие нас списки.

Пока я коллекцию не видел.

С уважением,
Владимир Плешко
vladimir_pleshko
Оргкомитет
 
Posts: 71
Joined: Fri May 23, 2003 8:26 am

Re[12]: [romip] QA дорожка

Postby d_pankrat » Wed Apr 20, 2005 7:42 am

ПВ> Так на каком варианте остановимся?


ПВ> Еще вариант придумал (в два шага):
ПВ> 1. Ищем факты для _всех_ объектов.
ПВ> Оцениваем традиционные полноту и точность.
ПВ> 2. Отбираем несколько десятков "хороших" объектов (сколько наберется) -
составляем по ним досье (система сама отбрасывает дубли фактов).
ПВ> Оцениваем полноту досье. Можно штрафовать систему за дубли и некорректные
факты. В любом случае, досье будет обозримым.
Здесь у меня сомнение только в том, что можно будет точно сформулировать, что
такое "дубли фактов". Мы это обсуждали с Александром Ермаковым. Мне
казалось, что группировку по искомым объектам должна делать система, а
отождествление одинаковых - все-таки асессоры.


У меня только два основных пожелания:
1. Целевых объектов должно быть много - существенно больше, чем будут
оценивать асессоры
2. Схлопывание одинаковых фактов (не просто полных дублей, а
поинтереснее ) в этом году не оцениваем

Когда именно выделять эти объекты: до выполнения первого задания или
после, действительно, не так принципиально.

Я бы дождался коллекции и поэкспериментировал бы с ней немного.
d_pankrat
 
Posts: 9
Joined: Wed Apr 13, 2005 3:03 pm

Postby vladimir_pleshko » Wed Apr 20, 2005 8:30 am

> У меня только два основных пожелания:
> 1. Целевых объектов должно быть много - существенно больше,
> чем будут оценивать асессоры

Так будем ли мы настраиваться на целевые объекты или нет?
По-моему, идея оценки числа разных фактов в досье была ваша, Дмитрий. Задачу мы
вроде понимаем одинаково. Прошу вас, предложите конкретный приемлемый для вас
вариант. Я уже иссяк...

Ведь все проблемы, оговорки и дополнительные условия появляются из-за попытки
оценить полноту досье.
Если рассматривать просто задачу поиска фактов заданного типа с выделением
фигурантов, но без их отождествления, то здесь очень много степеней свободы -
можно и имена синтезировать, и референтов выделять (а можно и не выделять и не
синтезировать) - ассессоры проверят.

> 2. Схлопывание одинаковых фактов
> (не просто полных дублей, а поинтереснее ) в этом году не оцениваем

Отсев полных дублей может автоматически сделать инструмент для оценки. Системе
это делать вовсе не обязательно.

Оценка полноты досье в такой постановке может быть сделана автоматически.
Задание может быть выполнено за один проход.

Насколько я помню, был еще разговор, чтобы не выделять факты, содержащие
фигурантов в виде референтов без явного наименования организации или части имени
персоны, и не синтезировать имя фигуранта, давать его в таком виде, как оно
встретилось в тексте. Дмитрий, поправьте, если я ошибаюсь.

В этом случае можно ввести некоторую избыточность:
1. Имя фигуранта
2. смещение и длина его в документе

Если не совпадает - факт автоматически отбраковывается инструментом оценки.
Надеюсь, в коллекции новости изложены в виде плоского текста или с минимальной
html-разметкой.

> Когда именно выделять эти объекты: до выполнения первого
> задания или после, действительно, не так принципиально.

В данном случае, этот вопрос теряет актуальность.

С уважением,
Владимир Плешко
vladimir_pleshko
Оргкомитет
 
Posts: 71
Joined: Fri May 23, 2003 8:26 am

PreviousNext

Return to Вопросно-ответный и фактографический поиск

Who is online

Users browsing this forum: No registered users and 15 guests

cron