Re: QA
Здравствуйте!
В основном я согласен с вариантом, предложенным Игорем. Хотя,
вариант тестирования на основе метапоиска был бы проще реализуем и
нагляднее.
Далее некоторые предложения по предложенному Игорем варианту
тестирования.
1. Коллекция Narod.Ru . Индексируем и по ней проводим тесты. ОК.
2. Запросы.
2.1. Полагаю, что 100 вопросов будет недостаточно для объективной
оценки качества работы систем. Предлагаю Число вопросов установить
равным 500, как это сделано в конференции TREC.
2.2. Считаю, что следует определить ТИПЫ вопросов в коллекции.
Предлагаю организаторам утвердить следующий список ТИПОВ вопросов,
используемых для формирования тестовых случаев:
- Вопросы к определению, к подлежащему
Что такое? (Что такое анафора?)
Кто такой? (Кто такой Набоков?)
Кто сделал что-то? (Кто изобрел велосипед?)
Какая(ой)/какова? (Какая страна приняла участие в Олимпиаде?)
- Вопросы к прямому дополнению
Что сделал кто-то? (Что изобрел Томсон?)
- Вопросы к обстоятельству
Сколько? (Сколько человек живет в Москве?)
Какую длину/площадь/высоту…?
Какова длина/площадь/высота...? (Какова площадь помещений,
построенных в прошлом году?)
Когда? В какой день? В каком месяце? В каком году? Как долго?
(В каком году (месяце и т.д.) случился пожар?) (Как долго
проходили проверки?).
Куда? В какую страну/город? На какой континент? (Куда был
отправлен груз 18 мая?)
Откуда? Из какой страны/города? (Из какой страны прибыл груз 18
мая?)
Где? В какой стране/городе? На каком континенте? С какого
континента? (В каком городе находится Эйфелева башня?)
Почему? (Почему случился пожар?)
Как? (Как убрать пятно с ковра?)
- Вопросы к косвенному дополнению
Предлог + «что » (в чем, на чем, из чего) (Из чего состоит
вода?)
Какую (-ого) + слово с известной семантикой?
Какую (-ого)/какова + слово с неизвестной семантикой? *)
- Вопрос к прямому дополнению
Какую (-ие)? (Какую страну посетил Путин?)
Для анализа качества функционирования тестируемых систем предлагаю
вопросы разделить на две основные семантические категории:
- дефиниции (Что такое сонник?)
- фактоидные (Сколько весит взрослый слон?)
2.3. Коллекция Narod.Ru содержит тексты на английском языке.
Соответственно следует решить вопрос об использовании вопросов на
английском языке (What is the surface of America?) и вопросов,
содержащих слова на русском и английском языках (Когда была
образована корпорация Microsoft?).
3. Участники возвращают список из 5 ответов, упорядоченных по
убыванию релевантности.
Ответ должен содержать:
- имя файла, в котором найден данный ответ;
- текст ответа, содержащий не более 300 символов. Текст ответа
должен содержать полностью логически завершенную фразу, взятую
системой из текста, которая отвечает на тестовый вопрос. Текст
ответа не должен быть «рваным» (« … родился в Санкт-….»), а также не
должен содержать лишних слов соседних предложений («Иванов родился в
Санкт-Петербурге. Он занимался …»).
4. Оценка.
Асессоры оценивают полноту и точность поиска по согласованной
методике. Данная методика будет опубликована 5 июня.
5. План. Сроки проведения проверок желательно сдвинуть на 2 недели
позже ввиду нерешенности вопроса с формированием тестовой коллекции
вопросов.
Термины.
Вопрос пользователя – введенное пользователем вопросительное
предложение, по которому проводится поиск информации, содержащей
ответ. Для поиска смыслового ответа вопросительное предложение
должно иметь целостную синтактико-семантическую структуру, то есть
должно быть построено грамматически правильно.
Более детально остальные термины см. здесь:
http://www.stocona.ru/glossary/search/default.htmlС уважением Огарок Андрей