QA

[andrey_ogarok]

Здравстуйте всем! Предлагаю ввести новую дорожку- "Поиск ответа на
вопрос пользователя". Предполагается, что эта дорожка посвящена
задачам, связанным с поиском ответов в проиндексированных текстах на
вопросительные предложения пользователя, введенные на естественном
языке. Считаю целесообразным выделение в отдельные дорожки
фактографический поиск и поиск ответа на вопрос. Это обусловлено
большими различиями в прикладном назначении данных задач; в составе
вопросов пользователя; требуемом для реализации методическом аппарате
и т.д. Например, в вопросно-ответных системах тестовыми вопросами
являются вопросы, не относящиеся к фактам: что такое, кто такой, кто
сделал что-то, что сделал кто-то, какова длина/площадь/высота,
откуда, куда, где, как, какая, почему, зачем, сколько, и т.п. При
необходимости можно более подробно обосновать причины. Косвенно мои
предложения подтверждаются тем фактом, что во всех существующих
дорожках тестирования зарубежных конференций выделен в отдельную
дорожку вопросно-ответный (question answering) поиск. См. например,
http://trec.nist.gov/data/qa.html. Я согласен с мнением Доброва,
что надо "типизировать" дорожки, однако много не дорожек, а тестовых
коллекций. Иначе как объяснить тот факт, что в конференции ОТСУТСТВУЮТ
некоторые дорожки (например, вопросно-ответная), зато имеются
НЕСКОЛЬКО коллекций по классической задаче поиска (ad-hoc trac).
C уважением Огарок Андрей.

[maxgubin]

Всем привет!

Тема, конечно интересная, но как преодолеть
две проблемы:
1. нет коллекций как документов, содержащих
ответы, так и вопросы. Я посмотрел имеющиеся
коллекции - там таких запросов очень не
много. Можно ее, конечно, синтезировать из
существующей, но на том же TREC написано, как
это не просто. Где изыскать эти ресурсы?
2. Я знаю пользователей поиска, я знаю, где
можно применить автоматическую
классификацию, выделение фактов,
аннотирование. Я даже знаю, кто может
заплатить за такой модный изврат, как sentiment
analysis. Но я не могу предположить
практического применения технологии QA в
постановке задачи TREC, это очень узкая
область. Соответственно при всем
любознательном интересе к QA, я просто не
смогу разрабатывать такую систему. И, к
сожалению, не смогу участвовать в этой
дорожке.

Максим Губин

[andrey_ogarok]

Всем привет! Отдельно - здравствуйте Максим! Спасибо за ответ. Отвечая на ваше письмо в кодировке Уницоде пишу в кодировке КОИ8-У, как договаривались организаторы. Жаль что вы не сможете участвовать в QА дорожке. 1. Коллекция документов у нас имеется. Компания Стокона готова предоставить для организаторов РОМИП: ═тестовые задания для дорожки, методики оценки, в том числе программные средства, позволяющие автоматизировать процесс оценки. Мы будем участвовать в конференции ТРЕЦ 2006 с английской коллекцией документов. Для РОМИП мы предлагаем имеющуюся у нас русскую коллекцию. Кроме того, опыт использования нашей поисковой системы Стоцона Сеарч показывает, что в качестве QА коллекции может выступать коллекция скачанных сайтов (например, "вокруг света", "барракуда", "википедия" и др. Просто надо подобрать вопросы и можно тестировать. ═ 2. Область практического применения технологии QА
действительно более узкая, чем традиционной технологии поиска по ключевым словам. Это обусловлено тем, что системы QА должны автоматически отвечать на вопросы с использованием ДОСТОВЕРНОЙ информации, а не информационного мусора. Поэтому основными потребителями QА систем являются корпорации и пользователи, работающими═ с серьезными документами и доверяющими текстам, подлежащим индексации. Эти пользователи ценят время, затрачиваемое на поиск и им нужен не ресурс, содержащий слова поискового запроса (для того, чтобы далее в нем копаться самому), а ответ на поставленный вопрос. Именно поэтому многие поисковые системы пытаются в отдельные направления выделить поиск по академическим и школьным ресурсам, по словарям и т.п. направления, где нужны точные ответы, ценные ресурсы, а не информационный шум. ═ Огарок Андрей. Мах Губин wроте: Всем привет! Тема,
конечно интересная, но как преодолеть две проблемы: 1. нет коллекций как документов, содержащих ответы, так и вопросы. Я посмотрел имеющиеся коллекции - там таких запросов очень не много.═ Можно ее, конечно, синтезировать из существующей, но на том же ТРЕЦ написано, как это не просто. Где изыскать эти ресурсы? 2. Я знаю пользователей поиска, я знаю, где можно применить автоматическую классификацию, выделение фактов, аннотирование. Я даже знаю, кто может заплатить за такой модный изврат, как сентимент аналысис. Но я не могу предположить практического применения технологии QА в постановке задачи ТРЕЦ, это очень узкая область. Соответственно при всем любознательном интересе к QА, я просто не смогу разрабатывать такую систему. И, к сожалению, не смогу участвовать в этой дорожке.

[maxgubin]

Всем добрый день!

>1. Коллекция документов у нас имеется. Компания Стокона готова предоставить
для организаторов РОМИП: тестовые задания для дорожки, методики оценки, в
>том числе программные средства, позволяющие автоматизировать процесс
оценки. Мы будем участвовать в конференции TREC 2006 с английской коллекцией
>документов. Для РОМИП мы предлагаем имеющуюся у нас русскую коллекцию.

Вот это другой разговор! Несмотря на медленность процесса легализации
"РОМИП" он идет, так что коллекцию вполне можно принять и использовать.
Можно узнать какие-то ее параметры?


>Кроме того, опыт использования нашей поисковой системы Stocona Search
показывает, что в качестве QA коллекции может выступать коллекция скачанных
>сайтов (например, "вокруг света", "барракуда", "википедия" и др. Просто
надо подобрать вопросы и можно тестировать.

Этого нельзя сделать (скачать сайты) без согласования авторских прав, что
является достаточно сложной процедурой, которую просто так не пройти.
"Подобрать вопросы" тоже не просто, кто это будет делать? Какой объем
коллекции здесь сможет дать статистически достоверный результат
эксперимента?

>2. Область практического применения технологии QA действительно более
узкая, чем традиционной технологии поиска по ключевым словам.

Давайте немного определимся с терминологией. Под QA в рамках TREC понимается
эксперимент, когда на вход помещается сформулированный на человеческом языке
вопрос, а в результате выводится выдержка документа, содержащая ответ. А
какая обработка текста внутри для этого используется "поиск по ключевым
словам", "поиск по всем словам", "семантические сети", "синтаксический
анализ" и т.д. - это реализация, так что не понятно, что такое "технология
QA" в данном случае?
Проблема в том, что пользователи, по моему мнению, не формулируют так
вопросы для системы в реальной жизни, поэтому я говорил, что не знаю, где ее
применить. Мой практический опыт работы с такими системами, говорит, что
постановка дорожки HARD намного более жизненная и интересная.

>Это обусловлено тем, что системы QA должны автоматически отвечать на
вопросы с использованием ДОСТОВЕРНОЙ информации, а не информационного
мусора.
Мне кажется, что для текстовой коллекции "ДОСТОВЕРНОСТЬ информации" и
"информационный мусор" - это термины для маркетинга, а для научного
эксперимента (или полунаучного), которым является РОМИП, они не имеют
смысла.


Максим
P.S. Извиняюсь за Unicode - это почтовый клиент на автомате решил, что так
лучше, потому что yahoo не кладет в заголовок нормально данных о кодировке.

[andrey_ogarok]

Всем здравствуйте!

Русская коллекция QA компании Стокона представляет собой
совокупность: текстовых файлов, вопросов, методического аппарата
оценки, включая программные средства автоматизированной оценки.
Коллекция существует в нескольких вариантах: общий объем текстовых
баз от 500 Мб до 7 Гб. Число вопросов для баз соответственно от 100
до 2000.
Мы предлагает также в определенном нами xml формате сохранять
результаты тестирования. При этом у нас есть программа, позволяющая
автоматизировать процесс сравнения ответов от различных систем.

Под областью практического применения технологии QA мы понимаем
прикладные аспекты ее применения для получения ответа от
системы, «когда на вход помещается сформулированный на естественном
языке вопрос, а в результате выводится выдержка документа,
содержащая ответ».

> «Проблема в том, что пользователи, по моему мнению, не формулируют
так вопросы для системы в реальной жизни, поэтому я говорил, что не
знаю, где ее применить» (М.Г.).
Действительно, существующие поисковые системы возлагают на
пользователя формализацию поискового запроса (на основе выбора
ключевых слов для поиска). Однако существование множества языков
формализованных запросов поисковых систем лишний раз подтверждает,
что одних ключевых слов для поиска недостаточно. Проще не развивать
лингвистические возможности поисковой системы, а заставить
пользователя изучать формализованные языки запросов.

> «Мне кажется, что для текстовой коллекции "ДОСТОВЕРНОСТЬ
информации" и "информационный мусор" - это термины для маркетинга, а
для научного
эксперимента (или полунаучного), которым является РОМИП, они не
имеют
смысла» (М.Г.).
Термины «достоверность информации» и «информационный мусор»
(нерелевантные документы) имеют точное научное определение. Данные
показатели могут быть рассчитаны с использованием конкретного научно-
методического аппарата. Это не маркетинговые категории. Смысл данных
терминов определен во многих научных публикациях.

[maxgubin]

Всем добрый день!

> общий объем текстовых баз от 500 Мб до 7 Гб.

Имеет ли фирма Стокона права на все эти тексты? Дело в том, что передача
коллекций это распространение, если материалы просто "скачаны" с интернет
или из каких-то других коллекций, то могут возникнуть проблемы с нарушением
закона об авторском праве. Все текущие коллекции РОМИП заведомо юридически
чистые, с каждым участником заключается соответствующее соглашение.

>Число вопросов для баз соответственно от 100 до 2000.

По-моему это вполне достаточно, чтобы получать статистически достоверные
результаты.


Если будет такая дорожка с достаточным числом участников - то это будет,
конечно, здорово. Мое не участие в ней - просто отсутствие готовой системы,
решающей задачу в такой постановке, потому что есть сомнение в нужности
такой постановки для решаемых мною задач. Может у кого-то другие
пользователи :).

>Действительно, существующие поисковые системы возлагают на
>пользователя формализацию поискового запроса (на основе выбора
>ключевых слов для поиска). Однако существование множества языков
>формализованных запросов поисковых систем лишний раз подтверждает,
>что одних ключевых слов для поиска недостаточно. Проще не развивать
>лингвистические возможности поисковой системы, а заставить
>пользователя изучать формализованные языки запросов.

Наличие множества естественных языков (даже если они с точки зрения человека
один русский язык) говорит о том, что с ними тоже не все хорошо :). Люди
придумывают языки для общения с другими людьми устно - один, письменно -
другой, с поисковой машиной - третий.
Попробуйте в жизни все вопросы формировать как в QA и скоро в этом убедитесь
:). Я же не говорю, что никто не будет участвовать, я говорю, почему мне это
кажется узким и несколько оторванным от жизни. Конечно, нужно насколько
возможно подстраивать машину, но и пользователь тоже подстраивается, а
ограничение "формулируйте вопрос" мешает это делать.
Еще раз, пытаясь кратко высказать мою точку зрения - "в реальных системах
требования формировать вопросы к системе, а не вводить запросы в
"телеграфном стиле" ((С) И. Сегалович?) является с точки зрения пользователя
скорее недостатком, чем преимуществом".
Конечно, какой-то процент таких вопросов есть. И система, которая их лучше
обрабатывает, для пользователя при прочих равных покажется удобнее. Почему
бы тогда не сделать HARD дорожку, в том числе и с такими запросами. Это
несколько расширит задачу и сделает ее интереснее.

Максим

[andrey_ogarok]

Здравствуйте! Компания Стокона имеет права на свою тестовую коллекцию. Немного к вопросу о правах...═Все поисковики скачивают, индексируют (обрабатывают) и предоставляют пользователям результаты обработки сайтов не спрашивая на это согласие владельцев информации ═;) ═ Сделать HARD дорожку═с вопросами конечно можно. Однако еще раз обращаю ваше внимание, в состав перечня вопросов следует включить следующие типы: что такое, кто такой,═ кто сделал что-то,══ что сделал кто-то,══ какова длина/ площадь/ высота,═ откуда, куда, где, как, какая, почему, зачем, сколько, и т.п. Если вы считаете, что будет корректно тестировать традиционные поисковые системы на таких вопросах, то можно провести и такое тестирование. Однако наши проверки
показывают целесообразность сравнения результатов работы═систем сопоставимого назначения. Поиск ответа на вопрос все-таки отдельная задача. Наиболее близка к ней задача фактографического поиска. Считаю целесообразным выделение в отдельные дорожки фактографический поиск и поиск ответа на вопрос. Это обусловлено большими различиями в прикладном назначении данных задач; в составе вопросов пользователя; требуемом для реализации методическом аппарате и т.д.══ При необходимости можно более подробно обосновать причины. Косвенно мои предложения подтверждаются тем фактом, что во всех существующих дорожках тестирования зарубежных конференций выделен в отдельную дорожку вопросно-ответный (question answering) поиск. См. например,═ http://trec.nist.gov/data/qa.html .═══
Max Gubin wrote:

Всем добрый день!> общий объем текстовых баз от 500 Мб до 7 Гб. Имеет ли фирма Стокона права на все эти тексты? Дело в том, что передачаколлекций это распространение, если материалы просто "скачаны" с интернетили из каких-то других коллекций, то могут возникнуть проблемы с нарушениемзакона об авторском праве. Все текущие коллекции РОМИП заведомо юридическичистые, с каждым участником заключается соответствующее соглашение.>Число вопросов для баз соответственно от 100 до 2000.По-моему это вполне достаточно, чтобы получать статистически достоверныерезультаты.Если будет такая дорожка с достаточным числом участников - то это будет,конечно, здорово. Мое не участие в ней - просто отсутствие готовой системы,решающей
задачу в такой постановке, потому что есть сомнение в нужноститакой постановки для решаемых мною задач. Может у кого-то другиепользователи .>Действительно, существующие поисковые системы возлагают на >пользователя формализацию поискового запроса (на основе выбора >ключевых слов для поиска). Однако существование множества языков >формализованных запросов поисковых систем лишний раз подтверждает, >что одних ключевых слов для поиска недостаточно. Проще не развивать >лингвистические возможности поисковой системы, а заставить >пользователя изучать формализованные языки запросов. Наличие множества естественных языков (даже если они с точки зрения человекаодин русский язык) говорит о том, что с ними тоже не все хорошо . Людипридумывают языки для общения с другими людьми устно - один, письменно -другой, с поисковой машиной - третий.Попробуйте в жизни все вопросы формировать как в QA и скоро в этом
убедитесь:). Я же не говорю, что никто не будет участвовать, я говорю, почему мне этокажется узким и несколько оторванным от жизни. Конечно, нужно наскольковозможно подстраивать машину, но и пользователь тоже подстраивается, аограничение "формулируйте вопрос" мешает это делать.Еще раз, пытаясь кратко высказать мою точку зрения - "в реальных системахтребования формировать вопросы к системе, а не вводить запросы в"телеграфном стиле" ((С) И. Сегалович?) является с точки зрения пользователяскорее недостатком, чем преимуществом". Конечно, какой-то процент таких вопросов есть. И система, которая их лучшеобрабатывает, для пользователя при прочих равных покажется удобнее. Почемубы тогда не сделать HARD дорожку, в том числе и с такими запросами. Этонесколько расширит задачу и сделает ее интереснее.МаксимYahoo! Groups Links To visit your group on the web, go
to:http://groups.yahoo.com/group/romip/ To unsubscribe from this group, send an email to:romip-unsubscribe@yahoogroups.com Your use of Yahoo! Groups is subject to:http://docs.yahoo.com/info/terms/

[dobroff2003]

Добрый день,

Thursday, March 02, 2006, 2:23:49 PM, you wrote:

AO> Компания Стокона имеет права на свою тестовую коллекцию.
AO> Немного к вопросу о правах... Все поисковики скачивают,
AO> индексируют (обрабатывают) и предоставляют пользователям
AO> результаты обработки сайтов не спрашивая на это согласие
AO> владельцев информации
AO> ;)

1) про права на коллекцию Стоконы - хотелось бы поподробнее

2) про поисковики - действительно скачивают, действительно
индексируют, НО не предоставляют исходного контента (только как
исключение - для подсветки, например, чем пользуется минимальный
процент пользователей)

а если бы показывали (перераспространяли) сами - с ними бы боролись
владельцы сайтов

3) у большинства участников РОМИП есть доступ и даже права для
использования для собственных нужд достаточно больших коллекций (они с
ними работают) - это не проблема

однако с правами перераспространения все гораздо сложнее

а, скажите, какой смысл тратить свои силы для "тестирования" на
"нечистой" коллекции, если потом владельцы могут запретить
опубликование результатов

так что я полностью согласен здесь с Максимом

AO> Сделать HARD дорожку с вопросами конечно можно.
...
AO> Считаю целесообразным выделение в отдельные дорожки
AO> фактографический поиск и поиск ответа на вопрос.

да разве кто запрещает - можно открыть сколько угодно дорожек - но они
не открываются сами по себе - есть определенная процедура:

+ согласованная постановка задачи
+ коллекция
+ запросы/вопросы
+ процедура оценивания (включая ресурсы - люди и программы)
+ процедура интерпретации результатов

организаторы РОМИП говорят лишь, что ОНИ в существующих условиях НЕ
МОГУТ тянуть одновременно слишком много дорожек - нужны либо
доп.финансирование, либо доп.силы

в любом случае требуется предельно ясная картина

>>Число вопросов для баз соответственно от 100 до 2000.

не уверен, что лично мне будет интересна дорожка только с вопросами типа "кто
такой" - я бы препочел здесь более широкую постановку

в любом случае, считаю, что даже 2000 - очень мало, позволяет
организовать ручную подкрутку - не менее 10000-20000 вопросов!

вот вопросы, наверное, можно где-нибудь набрать (но можно и попросить
у какой-нибудь "100:1" - или попросить у Я. с Р. еще больший пул
запросов - и набрать из них с вопросительными словами нужное
количество)

----
Борис

[andrey_ogarok]

Здравствуйте! 1) Про права на коллекцию Стоконы. У нас имеются тестовые коллекции различных текстов: - набранные нашими сотрудниками вручную; - купленные в других организациях; - новостные коллекции и др. В случае предосталения их на тестирование мы обеспечим юридическую чистоту коллекций для вопросно-ответной дорожки. Кроме того, мы можем использовать любую текстовую базу═ из имеющихся в распоряжении организаторов РОМИП. 2) БД> про поисковики - действительно скачивают, действительноиндексируют, НО не предоставляют исходного контента (только какисключение - для подсветки, например, чем пользуется минимальныйпроцент пользователей) ═ В том то и дело, что предоставляют переформатированные фрагменты. Вот например выдача Яндекса по запросу "кто ест мыло". Лужок - Конференция - Кто ест мой амариллис, и как с ним бороться? (Данил) - Втр 08 Июн 2004 12:54:41Кто ест мой амариллис, и как с ним бороться? (Денис) - Втр 13 Май 2003 16:22:13 http://www.luzhok.ru/conference/message32020.html (35═КБ) Найденные слова ═·═ Еще с
сайта═(12) ·═ Рубрика: Цветы и растения в доме Как видим, есть и фрагмент оригинала и сохраненный переформатированный текст оригинала. Насчет "чем пользуется минимальныйпроцент пользователей" в законе об охране авторских прав ничего не говорится о статистике нарушений, необходимой для принятия решения. ═ Компания Стокона готова участвовать во всех перечисленных процедурах, необходимых для открытия QA дорожки. ═ Б.Д.> не уверен, что лично мне будет интересна дорожка только с вопросами типа "кто такой" - я бы препочел здесь более широкую постановку. ═ Компания Стокона предлагает включить следующие типы вопросов в список тестируемых: что такое, кто такой,═ кто сделал что-то,══ что сделал
кто-то,══ какова длина/площадь/высота, откуда, куда, где, как, какая, почему, зачем, сколько, вопросы логического сравнения и т.п. Б.Д.>═ считаю, что даже 2000 - очень мало, позволяеторганизовать ручную подкрутку - не менее 10000-20000 вопросов! Конференция TREC в QA дорожке используем 500 вопросов. Можно использовать и 20000 вопросов. Просто их надо будет заранее добавить в тестовую базу. ═ Б.Д.>═ вопросы, наверное, можно где-нибудь набрать (но можно и попроситьу какой-нибудь "100:1" - или попросить у Я. с Р. еще больший пулзапросов - и набрать из них с вопросительными словами нужноеколичество) Ну хорошо, вопросы попросить можно где угодно. Однако под эти вопросы должны быть еще и ответы. Тестовая коллекция - это связка вопросов и списка ответов на каждый из них."B.Dobrov" wrote:

Добрый день,Thursday, March 02, 2006, 2:23:49 PM, you wrote:AO> Компания Стокона имеет права на свою тестовую коллекцию.AO> Немного к вопросу о правах... Все поисковики скачивают,AO> индексируют (обрабатывают) и предоставляют пользователямAO> результаты обработки сайтов не спрашивая на это согласиеAO> владельцев информации AO> 1) про права на коллекцию Стоконы - хотелось бы поподробнее2) про поисковики - действительно скачивают, действительноиндексируют, НО не предоставляют исходного контента (только какисключение - для подсветки, например, чем пользуется минимальныйпроцент пользователей)а если бы показывали (перераспространяли) сами - с ними бы боролисьвладельцы сайтов3) у большинства участников РОМИП есть доступ и даже права дляиспользования для собственных нужд достаточно больших коллекций (они
сними работают) - это не проблемаоднако с правами перераспространения все гораздо сложнееа, скажите, какой смысл тратить свои силы для "тестирования" на"нечистой" коллекции, если потом владельцы могут запретитьопубликование результатовтак что я полностью согласен здесь с МаксимомAO> Сделать HARD дорожку с вопросами конечно можно....AO> Считаю целесообразным выделение в отдельные дорожкиAO> фактографический поиск и поиск ответа на вопрос.да разве кто запрещает - можно открыть сколько угодно дорожек - но онине открываются сами по себе - есть определенная процедура:+ согласованная постановка задачи+ коллекция+ запросы/вопросы+ процедура оценивания (включая ресурсы - люди и программы)+ процедура интерпретации результатоворганизаторы РОМИП говорят лишь, что ОНИ в существующих условиях НЕМОГУТ тянуть одновременно слишком много дорожек - нужны либодоп.финансирование, либо
доп.силыв любом случае требуется предельно ясная картина>>Число вопросов для баз соответственно от 100 до 2000.не уверен, что лично мне будет интересна дорожка только с вопросами типа "ктотакой" - я бы препочел здесь более широкую постановкув любом случае, считаю, что даже 2000 - очень мало, позволяеторганизовать ручную подкрутку - не менее 10000-20000 вопросов!вот вопросы, наверное, можно где-нибудь набрать (но можно и попроситьу какой-нибудь "100:1" - или попросить у Я. с Р. еще больший пулзапросов - и набрать из них с вопросительными словами нужноеколичество)----Борис

[dobroff2003]

Добрый день,

Friday, March 03, 2006, 5:37:47 PM, you wrote:

AO> 1) Про права на коллекцию Стоконы.
AO> У нас имеются тестовые коллекции различных текстов:
AO> - набранные нашими сотрудниками вручную;
AO> - купленные в других организациях;
AO> - новостные коллекции и др.
AO> В случае предосталения их на тестирование мы обеспечим
AO> юридическую чистоту коллекций для вопросно-ответной дорожки.

должно быть явное указание/разрешение использовать в РОМИП

AO> Кроме того, мы можем использовать любую текстовую базу из
AO> имеющихся в распоряжении организаторов РОМИП.

это понятно

2) БД>> про поисковики - действительно скачивают, действительно
AO> индексируют, НО не предоставляют исходного контента (только как
AO> исключение - для подсветки, например, чем пользуется минимальный
AO> процент пользователей)

AO> В том то и дело, что предоставляют переформатированные
AO> фрагменты. Вот например выдача Яндекса по запросу "кто ест мыло".

AO> Как видим, есть и фрагмент оригинала и сохраненный
AO> переформатированный текст оригинала. Насчет "чем пользуется
AO> минимальный процент пользователей" в законе об охране авторских
AO> прав ничего не говорится о статистике нарушений, необходимой для
AO> принятия решения.

как мне кажется в РОМИП мы договорились вот о чем:
- регулирование авторских прав в РФ, особенно в сфере Интернет, дело
крайне мутное и противоречивое
- разбираться с последствиями никто не хочет (игра не стоит свеч)
- поэтому должно быть ясное разрешение правообладателя
(именно так работают TREC и CLEF)

AO> Компания Стокона готова участвовать во всех перечисленных
AO> процедурах, необходимых для открытия QA дорожки.

это стоит только приверствовать - будем ждать предложений

AO> Б.Д.> не уверен, что лично мне будет интересна дорожка только с
AO> вопросами типа "кто такой" - я бы препочел здесь более широкую постановку.

AO> Компания Стокона предлагает включить следующие типы вопросов в
AO> список тестируемых: что такое, кто такой, кто сделал что-то,
AO> что сделал кто-то, какова длина/площадь/высота, откуда, куда,
AO> где, как, какая, почему, зачем, сколько, вопросы логического сравнения и
т.п.

я не являюсь сторонником отбора вопросов по типам - меня, например,
интересуют более сложные вопросы, с описанием ситуации

это смыкается с дорожкой поиска по одному похожему документу


AO> Конференция TREC в QA дорожке используем 500 вопросов. Можно
AO> использовать и 20000 вопросов. Просто их надо будет заранее
AO> добавить в тестовую базу.

ну я много что слышал о TREC - именно малое количество тестовых
заданий большой недостаток этой конференции

AO> Ну хорошо, вопросы попросить можно где угодно. Однако под эти
AO> вопросы должны быть еще и ответы. Тестовая коллекция - это связка
AO> вопросов и списка ответов на каждый из них.

Какие-такие ответы?

Заранее ничего не должно быть известно!

Даже то, что есть ли вообще ответы на коллекции.
Иначе все опять-таки подгоняется.

Типа можно научиться искать тип вопроса - шаблон ответа. С этим все
понятно (все TREC QA читали), мне лично в такой постановке это не
очень интересно.

Здесь я опять согласен с Максимом - это такой узкий класс задач, про
который уже все известно как делать. Я Вас понимаю - Вы хотите
проверить свою технологию - но, например, мне это зачем? То есть мне
кажется, что я знаю что надо будет делать, если возникет
такая задача - вопрос только в ресурсах (мб и ошибаюсь). При этом то,
что я видел - так действительно мало кто спрашивает.

То есть если говорить о постановке:
- надо взять большой лог запросов (всяких) из них выбрать "вопросы"
- их должно быть больше 10000
- и вперед!


---
Да, кстати, Вы меня пугаете, когда пишете все время "компания Стокона"
- один из первых принципов РОМИП - это не соревнование ("пузомерка")
бизнесов - здесь ИССЛЕДУЮТСЯ разные методы/алгоримы, а не сравниваются
коммерческие продукты.

IMHO именно так и должно быть организовано, иначе никто и участвовать не
будет.

Тут все в разных положениях - кто-то заточен на одно, кто-то на
другое. Мне вообще в РОМИП больше всего нравятся работы, описывающие
отрицательный результат.

А то можно легко поставить дорожку по поиску тех же Ваших ответов на
вопросы на терабайте файлов на время.

--
С наилучшими пожеланиями,
Борис