Page 4 of 5
RE: [romip] Дорожка по "фактографическому поиску"?
Posted:
Wed Apr 07, 2004 5:02 pm
by vladimir_pleshko
> в общем да, но есть ряд моментов:
> - если ассесору давать готовый словарь типов фактов,
> то их смысл надо объяснять (и будет масса вопросов типа
> - это относится к этому факту или к этому?)
Если разных типов будет немного, то ассессору их достаточно легко держать в
памяти.
Кроме того, я вижу здесь сходство с обычной задачей классификации документов.
Просто предметом классификации являются пассажи.
> Опыт показал: задача для ассессора должна быть максимально
> интуитивно
> понятной (это особенно важно, поскольку мы не стоим у
> ассессоров за
> спиной и если они не поймут и не спросят, то результат
> может быть
> плачевен).
> - в пассаже может быть больше одного факта.
Те же проблемы при классификации сайтов и документов. "больше одного факта" =
"больше одного класса".
Можно ведь организовать оценку и так:
1. Оценка релевантен/не релевантен - для каждой из отобранных персон
(группировка по персонам).
2. Только для оцененных как релевантные:
относится к классу/не относится - для каждого класса (группировка по классам)
Средства проверки будут очень похожи только задания для оценки релевантности
разные.
Да и АРМ оценщика может много позаимствовать у прошлогоднего АРМа.
Можно согласовать список классов и формат. Средство оценки создавать с расчетом
на второй этап. Если хватит ресурсов для оценки, провести 2-й этап.
С уважением,
Владимир Плешко
RE: [romip] Дорожка по "фактографическому поиску"?
Posted:
Wed Apr 07, 2004 5:18 pm
by neigor
> Те же проблемы при классификации сайтов и документов. "больше одного
> факта" = "больше одного класса".
там оценка на другом принципе основана именно по этой причине.
Ассессора спрашивают "А отнесли бы вы к этой тематике этот документ?",
а не "К каким тематикам относится этот документ?"
> Можно ведь организовать оценку и так:
> 1. Оценка релевантен/не релевантен - для каждой из отобранных персон
> (группировка по персонам).
> 2. Только для оцененных как релевантные:
> относится к классу/не относится - для каждого класса (группировка по классам)
с точки зрения оценки, возможно проще сначала собрать все факты найденные
ассесоорами в пассажах, а потом можно будет типизировать только их. при
этом отображать ли их на стандартные типы или динамически типизировать можно
решить позже.
Но если есть устойчивое желание еще и классифицировать обнаруженные факты
(у двух из трех заявившихся участников :), то конечно можно предусмотреть
указание типа факта в формате ответа и сформировать список типов
(в котором обязательно должен быть и тип "Другое").
Оценку будем делать при наличии ресурсов, скорее не одновремено с выделением
фактов, а все таки как отдельный этап. И результаты в целом тоже будем
оценивать по двум раздельным характеристикам -
успешность выделения фрагментов и точность их классификации,
чтобы не отталкивать тех, кто на это не готов.
Годится?
Если да, то хорошо бы подготовить список классов для событий, которые мы
можем найти про персону.
Георгий и Владимир, может вы как основные энтузиасты это проделаете?
-igor
RE: [romip] Дорожка по "фактографическому поиску"?
Posted:
Thu Apr 08, 2004 10:00 am
by vladimir_pleshko
> указание типа факта в формате ответа и сформировать список типов
> (в котором обязательно должен быть и тип "Другое").
Полностью согласен. Я об это писал. Не каждый факт может быть классифицирован. И
участники не обязаны это делать.
> Оценку будем делать при наличии ресурсов, скорее не
> одновремено с выделением
> фактов, а все таки как отдельный этап. И результаты в целом тоже будем
> оценивать по двум раздельным характеристикам -
> успешность выделения фрагментов и точность их классификации,
> чтобы не отталкивать тех, кто на это не готов.
> Годится?
Также согласен. Оценка классификации фактов - отдельная номинация.
Есть одно замечание. Спроектировать средства оценки так, чтобы классификацию
можно было оценить, и участники могли бы, например, провести оценку своими
силами в случае нехватки ресурсов.
> Если да, то хорошо бы подготовить список классов для событий,
> которые мы можем найти про персону.
> Георгий и Владимир, может вы как основные энтузиасты это проделаете?
Я согласен.
С уважением,
Владимир Плешко
Re: [romip] Дорожка по "фактографическому поиску"?
Posted:
Fri Apr 09, 2004 8:57 am
by g.dernovoy
На вопрос о возможных темах предлагаю как черновой вариант следующие:
Авария (катастрофа)
Должность
Рождение
Смерть
Образование
Выступление
Труды
События
В тему "События " должны попадать факты, не отнесенные к остальным.
Георгий.
Posted:
Fri Apr 09, 2004 12:19 pm
by vladimir_pleshko
В понедельник постараюсь подготовить что-нибудь от себя. Сегодня, к сожаленью,
не успею.
Пока вопросы:
> Авария (катастрофа)
Что имеется ввиду? "попал в аварию", "погиб в катострофе", "стал виновником
аварии"?
> Должность
> Рождение
> Смерть
> Образование
> Выступление
Эта тема кажется скользковатой. "выступил с докладом/речью на", "выступил на
встрече с", "во время поездки провел выступления перед"
Т.е. пересекается с встречами, поездками
> Труды
Вопрос тот же. "его перу принадлежат", "является автором", "в ... году написал"?
Мне кажется, что предлагаемые темы стоит снабжать небольшими комментариями.
> События
> В тему "События " должны попадать факты, не отнесенные к остальным.
Смысл понятен. Вопрос в названии. М.б. "Прочее", "Прочие события". Вообще, нужно
ли выделять этот класс. Просто будут неклассифицированные факты. Может ли
наличие этого класса повлиять на производительность труда ассессоров?
С уважением,
Владимир Плешко
RE: [romip] Дорожка по "фактографическому поиску" - темы
Posted:
Fri Apr 09, 2004 12:28 pm
by neigor
> > События
> > В тему "События " должны попадать факты, не отнесенные к остальным.
> Смысл понятен. Вопрос в названии. М.б. "Прочее", "Прочие события". Вообще,
> нужно ли выделять этот класс. Просто будут неклассифицированные факты.
> Может ли наличие этого класса повлиять на производительность труда
> ассессоров?
С точки зрения пользовательского интерфейса лучше обязательно требовать от
ассессора присвоения темы (или не одной), а не надеятся на сознательность
(это еще один фактор увеличивающий помехи).
Поэтому, тема "прочее"/"Другое" должна быть и название на интерфейсе должно
быть лаконичным, но интуитивно понятным
Вообще - по возможности нужны короткие назнания, и конечно их некоторое
расширенное справочное описание (будет например показываться в всплявающем
хелпе или на отдельном листочке выдаваться ассессору. Хотя сейчас важно
договорится участникам, а позже можно будет подумать как описать это
ассессорам.
-igor
Posted:
Fri Apr 09, 2004 2:06 pm
by g.dernovoy
>Пока вопросы:
> Авария (катастрофа)
>Что имеется ввиду? "попал в аварию", "погиб в катострофе", "стал виновником
аварии"?
Да, любые факты, в которых есть явные негативные последствия.
> Выступление
>Эта тема кажется скользковатой. "выступил с докладом/речью на", "выступил
на встрече с", "во время >поездки провел выступления перед"
>Т.е. пересекается с встречами, поездками
Все может так или иначе пересекаться, но кого-то могут интересовать именно
цитаты, безотносительно того, где и и как они озвучены, другого,- был ли
субъект там-то, кого видел.
> Труды
>Вопрос тот же. "его перу принадлежат", "является автором", "в ... году
написал"?
Мне кажется, что любые труды: построил, нарисовал, спроектировал, т.е. чем
собственно
занимался.
По поводу комментариев: желательно найти такие названия, которые не будут
требовать комментариев, напр. Труды заменить на "Авторство и участие в
проектах" и т.д.
Георгий.
В понедельник постараюсь подготовить что-нибудь от себя. Сегодня, к
сожаленью, не успею.
Пока вопросы:
> Авария (катастрофа)
Что имеется ввиду? "попал в аварию", "погиб в катострофе", "стал виновником
аварии"?
> Должность
> Рождение
> Смерть
> Образование
> Выступление
Эта тема кажется скользковатой. "выступил с докладом/речью на", "выступил на
встрече с", "во время поездки провел выступления перед"
Т.е. пересекается с встречами, поездками
> Труды
Вопрос тот же. "его перу принадлежат", "является автором", "в ... году
написал"?
Мне кажется, что предлагаемые темы стоит снабжать небольшими комментариями.
> События
> В тему "События " должны попадать факты, не отнесенные к остальным.
Смысл понятен. Вопрос в названии. М.б. "Прочее", "Прочие события". Вообще,
нужно ли выделять этот класс. Просто будут неклассифицированные факты. Может
ли наличие этого класса повлиять на производительность труда ассессоров?
Re: [romip] Дорожка по "фактографическому поиску" - темы
Posted:
Fri Apr 09, 2004 2:14 pm
by neigor
> По поводу комментариев: желательно найти такие названия, которые не будут
> требовать комментариев, напр. Труды заменить на "Авторство и участие в
> проектах" и т.д.
Визуально неудобно.
В идеале - все должно быть доступно на одном экране и при этом понятно.
Возможно, после прочтения справочного описания названий категорий,
но не заучивания аббревиатур :)
Идея в том, что после сотни отклассифицированных документов ассессор уже
хорошо понимает таксономию (если она не очень большая!) и ему важнее
быть способным быстро выбирать искомую категорию.
-igor
Re: [romip] Дорожка по "фактографическому поиску" - темы
Posted:
Wed Apr 14, 2004 1:19 pm
by g.dernovoy
Предлагаю следующий список тем, с учетом замечаний.
Рождение.
Детство.
Юношество.
Образование.
Должности (карьера).
Старость.
Аварии.
Криминал.
Военные операции.
Цитаты.
Авторство.
Участие в проектах.
Характеристика.
Контакты.
Места пребывания(жизни).
Прочее.
Надо отметить, что одна фраза может попадать в несколько категорий, но тут
проблемы нет,
просто она отмечается в них, и только.
Георгий.
> По поводу комментариев: желательно найти такие названия, которые не будут
> требовать комментариев, напр. Труды заменить на "Авторство и участие в
> проектах" и т.д.
Визуально неудобно.
В идеале - все должно быть доступно на одном экране и при этом понятно.
Возможно, после прочтения справочного описания названий категорий,
но не заучивания аббревиатур
Идея в том, что после сотни отклассифицированных документов ассессор уже
хорошо понимает таксономию (если она не очень большая!) и ему важнее
быть способным быстро выбирать искомую категорию.
-igor
Yahoo! Groups Links
RE: [romip] Дорожка по "фактографическому поиску" - темы
Posted:
Fri Apr 16, 2004 8:23 pm
by vladimir_pleshko
Хотелось бы еще пообсуждать, но пока просто нет времени :-(
Вопрос к Игорю: насколько "жестко" прошиты классы в формате заданий. Легко ли их
править?
> Предлагаю следующий список тем, с учетом замечаний.
>
> Рождение.
> Детство.
> Юношество.
> Образование.
> Должности (карьера).
> Старость.
> Аварии.
> Криминал.
> Военные операции.
> Цитаты.
> Авторство.
> Участие в проектах.
> Характеристика.
> Контакты.
> Места пребывания(жизни).
> Прочее.
>