Дорожка по "фактографическому поиску"

RE: [romip] Дорожка по "фактографическому поиску"?

Postby vladimir_pleshko » Wed Apr 07, 2004 5:02 pm

> в общем да, но есть ряд моментов:
> - если ассесору давать готовый словарь типов фактов,
> то их смысл надо объяснять (и будет масса вопросов типа
> - это относится к этому факту или к этому?)

Если разных типов будет немного, то ассессору их достаточно легко держать в
памяти.
Кроме того, я вижу здесь сходство с обычной задачей классификации документов.
Просто предметом классификации являются пассажи.

> Опыт показал: задача для ассессора должна быть максимально
> интуитивно
> понятной (это особенно важно, поскольку мы не стоим у
> ассессоров за
> спиной и если они не поймут и не спросят, то результат
> может быть
> плачевен).
> - в пассаже может быть больше одного факта.

Те же проблемы при классификации сайтов и документов. "больше одного факта" =
"больше одного класса".

Можно ведь организовать оценку и так:
1. Оценка релевантен/не релевантен - для каждой из отобранных персон
(группировка по персонам).
2. Только для оцененных как релевантные:
относится к классу/не относится - для каждого класса (группировка по классам)

Средства проверки будут очень похожи только задания для оценки релевантности
разные.
Да и АРМ оценщика может много позаимствовать у прошлогоднего АРМа.

Можно согласовать список классов и формат. Средство оценки создавать с расчетом
на второй этап. Если хватит ресурсов для оценки, провести 2-й этап.

С уважением,
Владимир Плешко
vladimir_pleshko
Оргкомитет
 
Posts: 71
Joined: Fri May 23, 2003 8:26 am

RE: [romip] Дорожка по "фактографическому поиску"?

Postby neigor » Wed Apr 07, 2004 5:18 pm

> Те же проблемы при классификации сайтов и документов. "больше одного
> факта" = "больше одного класса".

там оценка на другом принципе основана именно по этой причине.
Ассессора спрашивают "А отнесли бы вы к этой тематике этот документ?",
а не "К каким тематикам относится этот документ?"

> Можно ведь организовать оценку и так:

> 1. Оценка релевантен/не релевантен - для каждой из отобранных персон
> (группировка по персонам).

> 2. Только для оцененных как релевантные:
> относится к классу/не относится - для каждого класса (группировка по классам)

с точки зрения оценки, возможно проще сначала собрать все факты найденные
ассесоорами в пассажах, а потом можно будет типизировать только их. при
этом отображать ли их на стандартные типы или динамически типизировать можно
решить позже.

Но если есть устойчивое желание еще и классифицировать обнаруженные факты
(у двух из трех заявившихся участников :), то конечно можно предусмотреть
указание типа факта в формате ответа и сформировать список типов
(в котором обязательно должен быть и тип "Другое").

Оценку будем делать при наличии ресурсов, скорее не одновремено с выделением
фактов, а все таки как отдельный этап. И результаты в целом тоже будем
оценивать по двум раздельным характеристикам -
успешность выделения фрагментов и точность их классификации,
чтобы не отталкивать тех, кто на это не готов.
Годится?

Если да, то хорошо бы подготовить список классов для событий, которые мы
можем найти про персону.
Георгий и Владимир, может вы как основные энтузиасты это проделаете?

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

RE: [romip] Дорожка по "фактографическому поиску"?

Postby vladimir_pleshko » Thu Apr 08, 2004 10:00 am

> указание типа факта в формате ответа и сформировать список типов
> (в котором обязательно должен быть и тип "Другое").
Полностью согласен. Я об это писал. Не каждый факт может быть классифицирован. И
участники не обязаны это делать.

> Оценку будем делать при наличии ресурсов, скорее не
> одновремено с выделением
> фактов, а все таки как отдельный этап. И результаты в целом тоже будем
> оценивать по двум раздельным характеристикам -
> успешность выделения фрагментов и точность их классификации,
> чтобы не отталкивать тех, кто на это не готов.
> Годится?
Также согласен. Оценка классификации фактов - отдельная номинация.
Есть одно замечание. Спроектировать средства оценки так, чтобы классификацию
можно было оценить, и участники могли бы, например, провести оценку своими
силами в случае нехватки ресурсов.

> Если да, то хорошо бы подготовить список классов для событий,
> которые мы можем найти про персону.
> Георгий и Владимир, может вы как основные энтузиасты это проделаете?
Я согласен.

С уважением,
Владимир Плешко
vladimir_pleshko
Оргкомитет
 
Posts: 71
Joined: Fri May 23, 2003 8:26 am

Re: [romip] Дорожка по "фактографическому поиску"?

Postby g.dernovoy » Fri Apr 09, 2004 8:57 am

На вопрос о возможных темах предлагаю как черновой вариант следующие:

Авария (катастрофа)
Должность
Рождение
Смерть
Образование
Выступление
Труды
События

В тему "События " должны попадать факты, не отнесенные к остальным.

Георгий.
g.dernovoy
 
Posts: 12
Joined: Fri Jul 04, 2003 12:33 pm

Postby vladimir_pleshko » Fri Apr 09, 2004 12:19 pm

В понедельник постараюсь подготовить что-нибудь от себя. Сегодня, к сожаленью,
не успею.

Пока вопросы:
> Авария (катастрофа)
Что имеется ввиду? "попал в аварию", "погиб в катострофе", "стал виновником
аварии"?

> Должность
> Рождение
> Смерть
> Образование
> Выступление
Эта тема кажется скользковатой. "выступил с докладом/речью на", "выступил на
встрече с", "во время поездки провел выступления перед"
Т.е. пересекается с встречами, поездками

> Труды
Вопрос тот же. "его перу принадлежат", "является автором", "в ... году написал"?


Мне кажется, что предлагаемые темы стоит снабжать небольшими комментариями.

> События
> В тему "События " должны попадать факты, не отнесенные к остальным.
Смысл понятен. Вопрос в названии. М.б. "Прочее", "Прочие события". Вообще, нужно
ли выделять этот класс. Просто будут неклассифицированные факты. Может ли
наличие этого класса повлиять на производительность труда ассессоров?

С уважением,
Владимир Плешко
vladimir_pleshko
Оргкомитет
 
Posts: 71
Joined: Fri May 23, 2003 8:26 am

RE: [romip] Дорожка по "фактографическому поиску" - темы

Postby neigor » Fri Apr 09, 2004 12:28 pm

> > События
> > В тему "События " должны попадать факты, не отнесенные к остальным.
> Смысл понятен. Вопрос в названии. М.б. "Прочее", "Прочие события". Вообще,
> нужно ли выделять этот класс. Просто будут неклассифицированные факты.
> Может ли наличие этого класса повлиять на производительность труда
> ассессоров?

С точки зрения пользовательского интерфейса лучше обязательно требовать от
ассессора присвоения темы (или не одной), а не надеятся на сознательность
(это еще один фактор увеличивающий помехи).

Поэтому, тема "прочее"/"Другое" должна быть и название на интерфейсе должно
быть лаконичным, но интуитивно понятным

Вообще - по возможности нужны короткие назнания, и конечно их некоторое
расширенное справочное описание (будет например показываться в всплявающем
хелпе или на отдельном листочке выдаваться ассессору. Хотя сейчас важно
договорится участникам, а позже можно будет подумать как описать это
ассессорам.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Postby g.dernovoy » Fri Apr 09, 2004 2:06 pm

>Пока вопросы:
> Авария (катастрофа)
>Что имеется ввиду? "попал в аварию", "погиб в катострофе", "стал виновником
аварии"?

Да, любые факты, в которых есть явные негативные последствия.

> Выступление
>Эта тема кажется скользковатой. "выступил с докладом/речью на", "выступил
на встрече с", "во время >поездки провел выступления перед"
>Т.е. пересекается с встречами, поездками

Все может так или иначе пересекаться, но кого-то могут интересовать именно
цитаты, безотносительно того, где и и как они озвучены, другого,- был ли
субъект там-то, кого видел.

> Труды
>Вопрос тот же. "его перу принадлежат", "является автором", "в ... году
написал"?

Мне кажется, что любые труды: построил, нарисовал, спроектировал, т.е. чем
собственно
занимался.

По поводу комментариев: желательно найти такие названия, которые не будут
требовать комментариев, напр. Труды заменить на "Авторство и участие в
проектах" и т.д.

Георгий.

В понедельник постараюсь подготовить что-нибудь от себя. Сегодня, к
сожаленью, не успею.

Пока вопросы:
> Авария (катастрофа)
Что имеется ввиду? "попал в аварию", "погиб в катострофе", "стал виновником
аварии"?

> Должность
> Рождение
> Смерть
> Образование
> Выступление
Эта тема кажется скользковатой. "выступил с докладом/речью на", "выступил на
встрече с", "во время поездки провел выступления перед"
Т.е. пересекается с встречами, поездками

> Труды
Вопрос тот же. "его перу принадлежат", "является автором", "в ... году
написал"?


Мне кажется, что предлагаемые темы стоит снабжать небольшими комментариями.

> События
> В тему "События " должны попадать факты, не отнесенные к остальным.
Смысл понятен. Вопрос в названии. М.б. "Прочее", "Прочие события". Вообще,
нужно ли выделять этот класс. Просто будут неклассифицированные факты. Может
ли наличие этого класса повлиять на производительность труда ассессоров?
g.dernovoy
 
Posts: 12
Joined: Fri Jul 04, 2003 12:33 pm

Re: [romip] Дорожка по "фактографическому поиску" - темы

Postby neigor » Fri Apr 09, 2004 2:14 pm

> По поводу комментариев: желательно найти такие названия, которые не будут
> требовать комментариев, напр. Труды заменить на "Авторство и участие в
> проектах" и т.д.

Визуально неудобно.
В идеале - все должно быть доступно на одном экране и при этом понятно.
Возможно, после прочтения справочного описания названий категорий,
но не заучивания аббревиатур :)

Идея в том, что после сотни отклассифицированных документов ассессор уже
хорошо понимает таксономию (если она не очень большая!) и ему важнее
быть способным быстро выбирать искомую категорию.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: [romip] Дорожка по "фактографическому поиску" - темы

Postby g.dernovoy » Wed Apr 14, 2004 1:19 pm

Предлагаю следующий список тем, с учетом замечаний.

Рождение.
Детство.
Юношество.
Образование.
Должности (карьера).
Старость.
Аварии.
Криминал.
Военные операции.
Цитаты.
Авторство.
Участие в проектах.
Характеристика.
Контакты.
Места пребывания(жизни).
Прочее.

Надо отметить, что одна фраза может попадать в несколько категорий, но тут
проблемы нет,
просто она отмечается в них, и только.

Георгий.

> По поводу комментариев: желательно найти такие названия, которые не будут
> требовать комментариев, напр. Труды заменить на "Авторство и участие в
> проектах" и т.д.

Визуально неудобно.
В идеале - все должно быть доступно на одном экране и при этом понятно.
Возможно, после прочтения справочного описания названий категорий,
но не заучивания аббревиатур :)

Идея в том, что после сотни отклассифицированных документов ассессор уже
хорошо понимает таксономию (если она не очень большая!) и ему важнее
быть способным быстро выбирать искомую категорию.

-igor





Yahoo! Groups Links
g.dernovoy
 
Posts: 12
Joined: Fri Jul 04, 2003 12:33 pm

RE: [romip] Дорожка по "фактографическому поиску" - темы

Postby vladimir_pleshko » Fri Apr 16, 2004 8:23 pm

Хотелось бы еще пообсуждать, но пока просто нет времени :-(

Вопрос к Игорю: насколько "жестко" прошиты классы в формате заданий. Легко ли их
править?

> Предлагаю следующий список тем, с учетом замечаний.
>
> Рождение.
> Детство.
> Юношество.
> Образование.
> Должности (карьера).
> Старость.
> Аварии.
> Криминал.
> Военные операции.
> Цитаты.
> Авторство.
> Участие в проектах.
> Характеристика.
> Контакты.
> Места пребывания(жизни).
> Прочее.
>
vladimir_pleshko
Оргкомитет
 
Posts: 71
Joined: Fri May 23, 2003 8:26 am

PreviousNext

Return to Вопросно-ответный и фактографический поиск

Who is online

Users browsing this forum: No registered users and 6 guests