Page 1 of 1

QA testcase

PostPosted: Tue Jun 20, 2006 7:38 am
by andrey_ogarok
Здравствуйте!

В рамках проведения вопросно-ответной дорожки представляю
организаторам семинара РОМИП таблицу тестовых вопросов (200 шт.) с
ответами на них. С ней можно ознакомиться скачав архив по ссылке
http://www.stocona.ru/download/search/files/QAtestcase.zip

Данная таблица содержит предложения ответов, взятые из коллекции
текстов narod.ru.
Таблицу можно использовать для оценки качества работы вопросно-
ответных поисковых систем как вручную, так и автоматически.
Ответ поисковой системы должен содержать слово (слова)
семантического ответа в соответствующем контексте.

Для расчета обобщенного показателя качества функционирования
тестируемых поисковых систем предлагаю использовать следующую
методику:
Ответам поисковых систем присваиваются коэффициенты корректности
ранжирования, определяемые на основе показателей Mean Reprocal Rank
рассчитанные по testcase на основании первых 5 ответов.
Если правильный ответ находится в первом сниппете, то данному
тестовому случаю присваивается коэффициент 1.
Если правильный ответ находится во втором сниппете, то данному
тестовому случаю присваивается коэффициент 0.5.
Если правильный ответ находится в третьем сниппете, то данному
тестовому случаю присваивается коэффициент 0.33.
Если правильный ответ находится в четвертом сниппете, то данному
тестовому случаю присваивается коэффициент 0.25.
Если правильный ответ находится в пятом сниппете, то данному
тестовому случаю присваивается коэффициент 0.2.
Если правильного ответа нет в первых пяти сниппетах, то данному
тестовому случаю присваивается коэффициент 0.
Тестовые случаи рассчитаны на получение, как правило, одного
правильного ответа. Если корректных ответов несколько, то
учитывается только один максимальный коэффициент по данному
тестовому случаю. (Например, если корректные ответы имеются в 1 и 3
сниппете, то коэффициент присваивается равным 1).

Результирующее значение обобщенного показателя качества
функционирования тестируемых поисковых систем рассчитывается на
основе среднего арифметического по всем тестовым случаям.
Данная методика оценки наиболее приближена к формату TREC 2001,
являющемуся, на мой взгляд, наиболее удачным вариантом оценки QA
систем.

Жду от организаторов семинара РОМИП итогового списка вопросов (с
учетом тестовых случаев организаторов и оставшихся участников), а
также решения по методике оценки.

С уважением Огарок Андрей.

Re: [romip] QA testcase

PostPosted: Tue Jun 20, 2006 8:52 am
by neigor
Добрый день Андрей,

мы ждем пока другой участник дорожки предоставит нам свой список.
(в этой связи зря вы отправили свой на общий список рассылки :)

Как только мы получим все материалы, будет построен результирующий список.

-igor

Re: QA testcase

PostPosted: Fri Jun 23, 2006 6:16 am
by andrey_ogarok
Здравствуйте!
Согласно предварительному графику проведения этапов семинара РОМИП
предоставление результатов прогона участниками по дорожке QA должно
было состояться 22 июня 2006 г. В связи с этим прошу разъяснить
следующие вопросы:
1. Когда все-таки можно ожидать предоставление участникам QA дорожки
тестовых заданий и к какому числу следует представлять участникам
результаты прогона?
2. Следует ли необходимость компании Стокона изменить свои предложения
по списку тестовых случаев? У нас имеется множество других списков
тестовых случаев по QA дорожке.
3. Принимаются ли наши предложения по методике оценки результатов
тестирования?

--- In romip@yahoogroups.com, Igor Nekrestyanov wrote:
>
> Добрый день Андрей,
>
> мы ждем пока другой участник дорожки предоставит нам свой список.
> (в этой связи зря вы отправили свой на общий список рассылки :)
>
> Как только мы получим все материалы, будет построен результирующий
список.
>
> -igor
>

Re: [romip] Re: QA testcase

PostPosted: Fri Jun 23, 2006 7:54 am
by neigor
Андрей, добрый день,

ситуация с этой дорожкой запуталась.

Основная проблема заключается в том, что второй участник
дорожки сообщил, что он видимо не сможет принять участие в
работе этой дорожки (и возможно ряда других) в силу
возникших обстоятельств.

Срок мы можем сдвинуть (сдвинем) - здесь относительно большой объем работы и
проблем быть не должно. Но ключнвой вопрос - как теперь это
организовывать, если участник всего один?

Ваши тестовые случаи вполне годятся, но идеологически кажется неверно если
вы будете выполнять задания, которые вы же и придумали.

Можно конечно будет посчитать результирующую статистику отдельно по вашим
заданиям, отдельно по заданиям придуманным оргкомитетом.

В любом случае отсутствие конкурентов снижает ценность результатов,
но наверное все-таки лучше провести пилотный вариант дорожки с одним
участником, чем снимать ее совсем.

Можно попробовать сделать дополнительные задания для
для тех кто участвует в web_adhoc и дорожке по аннотированию
на основе заданий этой дорожки и частично ваших ответов
(для аннотирования задание состоит из пары - документ-запрос).
Их ответы можно также оценить и посмотреть хотя бы на
сравнительную эффективность непециализированных подходов.

Что касается сроков - давайте считать что для этой дорожки
они сдвинуты на две недели,

-igor



On Fri, 23 Jun 2006, Andrey Ogarok wrote:

> Здравствуйте!
> Согласно предварительному графику проведения этапов семинара РОМИП
> предоставление результатов прогона участниками по дорожке QA должно
> было состояться 22 июня 2006 г. В связи с этим прошу разъяснить
> следующие вопросы:
> 1. Когда все-таки можно ожидать предоставление участникам QA дорожки
> тестовых заданий и к какому числу следует представлять участникам
> результаты прогона?
> 2. Следует ли необходимость компании Стокона изменить свои предложения
> по списку тестовых случаев? У нас имеется множество других списков
> тестовых случаев по QA дорожке.
> 3. Принимаются ли наши предложения по методике оценки результатов
> тестирования?
>
> --- In romip@yahoogroups.com, Igor Nekrestyanov wrote:
> >
> > Добрый день Андрей,
> >
> > мы ждем пока другой участник дорожки предоставит нам свой список.
> > (в этой связи зря вы отправили свой на общий список рассылки :)
> >
> > Как только мы получим все материалы, будет построен результирующий
> список.
> >
> > -igor
> >
>
>
>
>
> Yahoo! Groups Links
>
>
>
>
>