QA testcase

QA testcase

Postby andrey_ogarok » Tue Jun 20, 2006 7:38 am

Здравствуйте!

В рамках проведения вопросно-ответной дорожки представляю
организаторам семинара РОМИП таблицу тестовых вопросов (200 шт.) с
ответами на них. С ней можно ознакомиться скачав архив по ссылке
http://www.stocona.ru/download/search/files/QAtestcase.zip

Данная таблица содержит предложения ответов, взятые из коллекции
текстов narod.ru.
Таблицу можно использовать для оценки качества работы вопросно-
ответных поисковых систем как вручную, так и автоматически.
Ответ поисковой системы должен содержать слово (слова)
семантического ответа в соответствующем контексте.

Для расчета обобщенного показателя качества функционирования
тестируемых поисковых систем предлагаю использовать следующую
методику:
Ответам поисковых систем присваиваются коэффициенты корректности
ранжирования, определяемые на основе показателей Mean Reprocal Rank
рассчитанные по testcase на основании первых 5 ответов.
Если правильный ответ находится в первом сниппете, то данному
тестовому случаю присваивается коэффициент 1.
Если правильный ответ находится во втором сниппете, то данному
тестовому случаю присваивается коэффициент 0.5.
Если правильный ответ находится в третьем сниппете, то данному
тестовому случаю присваивается коэффициент 0.33.
Если правильный ответ находится в четвертом сниппете, то данному
тестовому случаю присваивается коэффициент 0.25.
Если правильный ответ находится в пятом сниппете, то данному
тестовому случаю присваивается коэффициент 0.2.
Если правильного ответа нет в первых пяти сниппетах, то данному
тестовому случаю присваивается коэффициент 0.
Тестовые случаи рассчитаны на получение, как правило, одного
правильного ответа. Если корректных ответов несколько, то
учитывается только один максимальный коэффициент по данному
тестовому случаю. (Например, если корректные ответы имеются в 1 и 3
сниппете, то коэффициент присваивается равным 1).

Результирующее значение обобщенного показателя качества
функционирования тестируемых поисковых систем рассчитывается на
основе среднего арифметического по всем тестовым случаям.
Данная методика оценки наиболее приближена к формату TREC 2001,
являющемуся, на мой взгляд, наиболее удачным вариантом оценки QA
систем.

Жду от организаторов семинара РОМИП итогового списка вопросов (с
учетом тестовых случаев организаторов и оставшихся участников), а
также решения по методике оценки.

С уважением Огарок Андрей.
andrey_ogarok
 
Posts: 11
Joined: Mon Feb 13, 2006 11:20 am

Re: [romip] QA testcase

Postby neigor » Tue Jun 20, 2006 8:52 am

Добрый день Андрей,

мы ждем пока другой участник дорожки предоставит нам свой список.
(в этой связи зря вы отправили свой на общий список рассылки :)

Как только мы получим все материалы, будет построен результирующий список.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: QA testcase

Postby andrey_ogarok » Fri Jun 23, 2006 6:16 am

Здравствуйте!
Согласно предварительному графику проведения этапов семинара РОМИП
предоставление результатов прогона участниками по дорожке QA должно
было состояться 22 июня 2006 г. В связи с этим прошу разъяснить
следующие вопросы:
1. Когда все-таки можно ожидать предоставление участникам QA дорожки
тестовых заданий и к какому числу следует представлять участникам
результаты прогона?
2. Следует ли необходимость компании Стокона изменить свои предложения
по списку тестовых случаев? У нас имеется множество других списков
тестовых случаев по QA дорожке.
3. Принимаются ли наши предложения по методике оценки результатов
тестирования?

--- In romip@yahoogroups.com, Igor Nekrestyanov wrote:
>
> Добрый день Андрей,
>
> мы ждем пока другой участник дорожки предоставит нам свой список.
> (в этой связи зря вы отправили свой на общий список рассылки :)
>
> Как только мы получим все материалы, будет построен результирующий
список.
>
> -igor
>
andrey_ogarok
 
Posts: 11
Joined: Mon Feb 13, 2006 11:20 am

Re: [romip] Re: QA testcase

Postby neigor » Fri Jun 23, 2006 7:54 am

Андрей, добрый день,

ситуация с этой дорожкой запуталась.

Основная проблема заключается в том, что второй участник
дорожки сообщил, что он видимо не сможет принять участие в
работе этой дорожки (и возможно ряда других) в силу
возникших обстоятельств.

Срок мы можем сдвинуть (сдвинем) - здесь относительно большой объем работы и
проблем быть не должно. Но ключнвой вопрос - как теперь это
организовывать, если участник всего один?

Ваши тестовые случаи вполне годятся, но идеологически кажется неверно если
вы будете выполнять задания, которые вы же и придумали.

Можно конечно будет посчитать результирующую статистику отдельно по вашим
заданиям, отдельно по заданиям придуманным оргкомитетом.

В любом случае отсутствие конкурентов снижает ценность результатов,
но наверное все-таки лучше провести пилотный вариант дорожки с одним
участником, чем снимать ее совсем.

Можно попробовать сделать дополнительные задания для
для тех кто участвует в web_adhoc и дорожке по аннотированию
на основе заданий этой дорожки и частично ваших ответов
(для аннотирования задание состоит из пары - документ-запрос).
Их ответы можно также оценить и посмотреть хотя бы на
сравнительную эффективность непециализированных подходов.

Что касается сроков - давайте считать что для этой дорожки
они сдвинуты на две недели,

-igor



On Fri, 23 Jun 2006, Andrey Ogarok wrote:

> Здравствуйте!
> Согласно предварительному графику проведения этапов семинара РОМИП
> предоставление результатов прогона участниками по дорожке QA должно
> было состояться 22 июня 2006 г. В связи с этим прошу разъяснить
> следующие вопросы:
> 1. Когда все-таки можно ожидать предоставление участникам QA дорожки
> тестовых заданий и к какому числу следует представлять участникам
> результаты прогона?
> 2. Следует ли необходимость компании Стокона изменить свои предложения
> по списку тестовых случаев? У нас имеется множество других списков
> тестовых случаев по QA дорожке.
> 3. Принимаются ли наши предложения по методике оценки результатов
> тестирования?
>
> --- In romip@yahoogroups.com, Igor Nekrestyanov wrote:
> >
> > Добрый день Андрей,
> >
> > мы ждем пока другой участник дорожки предоставит нам свой список.
> > (в этой связи зря вы отправили свой на общий список рассылки :)
> >
> > Как только мы получим все материалы, будет построен результирующий
> список.
> >
> > -igor
> >
>
>
>
>
> Yahoo! Groups Links
>
>
>
>
>
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm


Return to Вопросно-ответный и фактографический поиск

Who is online

Users browsing this forum: No registered users and 7 guests

cron