QA дорожка

Re[14]: [romip] QA дорожка

Postby d_pankrat » Wed Apr 20, 2005 12:43 pm

Таким образом, после разговора с Владимиром, вырисовывается следующая
картина:

1. Из коллекции раздается некоторое количество персон и имен компаний.
Этот список утрясается с участниками. Для компаний самими участниками
руками определяются альтернативные названия. (Например, Тюменская
Нефтяная Компания - ТНК, Ковдорский
Горнообогатительный Комбинат - Ковдорский ГОК)

2.При ответе на утвержденные вопросы про компаниии результаты
собираются в кусты для одинаковых компаний с учетом альтернативных
названий, при ответе на вопросы про людей результаты также группируем
вокруг одинаковых ФИО. Референтные обозначения не используются.
(Остался только один вопрос: Сливаем ли мы в одну группу ответы про,
например, А.Петрова и Андрея Петрова и т.д.? )

Оценка:
1. Полнота/точность - традиционные
2. Полнота досье - число уникальных фактов, найденных для объекта.
Определение уникальности факта дается на откуп асессорам.

Так, Владимир?
d_pankrat
 
Posts: 9
Joined: Wed Apr 13, 2005 3:03 pm

Postby vladimir_pleshko » Thu Apr 21, 2005 9:10 am

Наконец-то появилось время...

Мне казалось, что мы пришли к следующему:

1. Задание по поиску фактов выполняется участниками за один шаг.
Осуществляется поиск фактов заданного типа для всех объектов без учета
референций.
В качестве ответа даются пятерки:
.
опора в тексте - служит для проверки, особых ограничений на нее вводить не
стоит.

Участникам рекомендуется приводить наименования найденных объектов в исходную
форму (морфологическую) - для облегчения оценки полноты досье. С учетом этого, я
должен признать, что вариант ответа с наименованием объекта, ссылкой (смещение,
длина) на текст с требованием их совпадения не проходит.

2. Оценка традиционных полноты и точности выполняется традиционным методом.

3. Затем автоматически создается словарь всех объектов из проверенных корректных
фактов, и наиболее частотные наименования объектов выбираются организаторами для
оценки полноты досье. Этот список раздается участникам. После чего участники и
организаторы совместно составляют списки синонимов для объектов.

После согласования списков синонимов оценка полноты досье осуществляется
автоматически инструментом оценки. Дубликатами фактов для заданного объекта
считаются факты одинакового типа, у которых второй фигурант совпадает дословно
(первый фигурант - сам объект, совпадает с точностью до синонима).



> 1. Из коллекции раздается некоторое количество персон и имен компаний.
> Этот список утрясается с участниками. Для компаний самими
> участниками руками определяются альтернативные названия.
> (Например, Тюменская Нефтяная Компания - ТНК, Ковдорский
> Горнообогатительный Комбинат - Ковдорский ГОК)
Можно и так. Это как раз я и предлагал сначала. Но вариант, описанный выше, к
которому, как мне показалось, мы пришли в ходе обсуждения по телефону, мне
кажется более простым.


> 2.При ответе на утвержденные вопросы про компаниии результаты
> собираются в кусты для одинаковых компаний с учетом
> альтернативных названий, при ответе на вопросы про людей
> результаты также группируем вокруг одинаковых ФИО.
> Референтные обозначения не используются.
Так. Но на этапе 3.

> (Остался только один вопрос: Сливаем ли мы в одну группу
> ответы про, например, А.Петрова и Андрея Петрова и т.д.? )
На этапе 3, после выполнения задания списки будут соглавовываться для каждого
объекта. Здесь налицо омонимия. Если исходить из требования лемматизации
(стандартизации) наименования, то омонимия должна быть снята системой на этапе
1. Думаю таких случаев будет мало. Если среди сотни фактов об Андрее_Петрове
будет несколько про А_Петрову, то ничего страшного - это сравнимо с погрешностью
самих ассессоров. Если частоты будут примерно равны, то объект не будет включен
в оценку.

> Оценка:
> 1. Полнота/точность - традиционные
> 2. Полнота досье - число уникальных фактов, найденных для объекта.
> Определение уникальности факта дается на откуп асессорам.
Последняя моя мысль была, чтобы сделать это автоматически.

С уважением,
Владимир Плешко
vladimir_pleshko
Оргкомитет
 
Posts: 71
Joined: Fri May 23, 2003 8:26 am

Re[16]: [romip] QA дорожка

Postby d_pankrat » Fri Apr 22, 2005 3:40 pm

Добрались, наконец-то:

>> Оценка:
>> 1. Полнота/точность - традиционные
>> 2. Полнота досье - число уникальных фактов, найденных для объекта.
>> Определение уникальности факта дается на откуп асессорам.
ПВ> Последняя моя мысль была, чтобы сделать это автоматически.

Согласны со всеми пунктами, кроме оценки досье асессорами. Так как
не учитывыается нормализация выделенных объектов ситуаций, а
следовательно, возможны информационные дубли, мы предлагаем сравнивать
полученные досье по полноте вручную, полагаясь на здравый смысл
асессора. То есть перед "общим котлом" дубли фактов удаляются вручную
асессорами.

С уважением, Дмитрий Панкратов.
d_pankrat
 
Posts: 9
Joined: Wed Apr 13, 2005 3:03 pm

Postby vladimir_pleshko » Fri Apr 22, 2005 3:48 pm

> >> Оценка:
> >> 1. Полнота/точность - традиционные
> >> 2. Полнота досье - число уникальных фактов, найденных для объекта.
> >> Определение уникальности факта дается на откуп асессорам.
> ПВ> Последняя моя мысль была, чтобы сделать это автоматически.
>
> Согласны со всеми пунктами, кроме оценки досье асессорами.
> Так как не учитывыается нормализация выделенных объектов
> ситуаций, а следовательно, возможны информационные дубли, мы
> предлагаем сравнивать полученные досье по полноте вручную,
> полагаясь на здравый смысл асессора. То есть перед "общим
> котлом" дубли фактов удаляются вручную асессорами.

Давайте попробуем оценивать вручную.
1. Способ оценки не влияет на выполнение заданий
2. Если не хватит ресурсов ассессоров - всегда есть возможность сделать ее
автоматически. А можно сделать и автоматически, и вручную.

Хочу заметить, что при ручной оценке уникальности фактов эта дорожка нам с вами
обойдется подороже :-)

С уважением,
Владимир Плешко
vladimir_pleshko
Оргкомитет
 
Posts: 71
Joined: Fri May 23, 2003 8:26 am

Previous

Return to Вопросно-ответный и фактографический поиск

Who is online

Users browsing this forum: No registered users and 1 guest

cron