Важные вопросы (и частично ответы) дорожки по аннотированию

Важные вопросы (и частично ответы) дорожки по аннотированию

Postby neigor » Mon Jun 27, 2005 9:31 am

Добрый день,

прошу прощения за такое позднее обсуждение этой темы, но
мы к сожалению поздно сообразили, что есть открытые вопросы по тому что
входит в аннотацию.

> Вопрос: HTML-разметка аннотации - произвольная (или, например, обязательно
> должен быть title, выделены слова из запроса)?

Ответом системы для задания является фрагмент текста не более 300 символов
без HTML разметки. (http://romip.narod.ru/ru/2005/tracks/annotation.html)

> Вопрос: что если аннотация получается больше 300 байт?

Инструмент оценки будет принудительно обрезать текст сверх 300 байт.

> Вопрос: не стоит ли как-то выделять ключевые слова в аннотации?

Мы планируем подсвечивать слова из запроса в инструменте оценки.
Однако, нам кажется, что правильнее делать это централизовано -
чтобы погрешности из-за подсветки сказывались на всех результатах одинаково.

> Вопрос: Что будет показываться пользователю - только текст аннотации
> или заголовок документа и текст аннотации?
> (от этого зависит включать ли заголовок в аннотацию или считать что эта
> информация уже известна!)

А вот это похоже забыли обсудить :(

В теории, мы эмулируем взаимодействие пользователя с результатами поиска
и там пользователеь видит название+аннотацию. Поэтому название имеет смысл
показывать отдельно и не включать в 300 зачетных байт.

Что по этому поводу думают участники дорожки?

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Важные вопросы (и частично ответы) для дорожки по аннотирова

Postby pb » Mon Jun 27, 2005 11:27 am

> Ответом системы для задания является фрагмент текста не более 300 символов
> без HTML разметки. (http://romip.narod.ru/ru/2005/tracks/annotation.html)
Если это "голый" текст, зачем base64?

>> Вопрос: не стоит ли как-то выделять ключевые слова в аннотации?


>> Вопрос: Что будет показываться пользователю - только текст аннотации
>> или заголовок документа и текст аннотации?
>> (от этого зависит включать ли заголовок в аннотацию или считать что эта
>> информация уже известна!)

> А вот это похоже забыли обсудить :(

> В теории, мы эмулируем взаимодействие пользователя с результатами поиска
> и там пользователеь видит название+аннотацию. Поэтому название имеет смысл
> показывать отдельно и не включать в 300 зачетных байт.
Согласен - и нам проще...

ПБ
pb
Оргкомитет
 
Posts: 72
Joined: Mon Feb 10, 2003 11:52 am

Re[2]: [romip] Важные вопросы (и частично ответы) для дорожки по аннотированию

Postby pb » Mon Jun 27, 2005 12:22 pm

>> >> Вопрос: Что будет показываться пользователю - только текст аннотации
>> >> или заголовок документа и текст аннотации?
>> >> (от этого зависит включать ли заголовок в аннотацию или считать что эта
>> >> информация уже известна!)
>>
>> > А вот это похоже забыли обсудить :(
>>
>> > В теории, мы эмулируем взаимодействие пользователя с результатами поиска
>> > и там пользователеь видит название+аннотацию. Поэтому название имеет смысл
>> > показывать отдельно и не включать в 300 зачетных байт.
>> Согласен - и нам проще...

> Хочется знать мнение других участников по этому вопросу -
> заявки на участие были от 6 групп ...

Это не повлияет на формат?
Т.е. мы даем 300 знаков, а title вытаскивается автоматически при
оценке?
Так, наверное, лучше - чтобы не было соблазна "улучшить" title...

ПБ
pb
Оргкомитет
 
Posts: 72
Joined: Mon Feb 10, 2003 11:52 am

Re: [romip] Важные вопросы (и частично ответы) для дорожки п

Postby neigor » Mon Jun 27, 2005 12:34 pm

> > Ответом системы для задания является фрагмент текста не более 300 символов
> > без HTML разметки. (http://romip.narod.ru/ru/2005/tracks/annotation.html)
> Если это "голый" текст, зачем base64?

потому что:
1) в других случаях base64 => проще технически переиспользовать
2) в просто тексте может встретится или еще что-то что сломает
xml validator


> >> Вопрос: Что будет показываться пользователю - только текст аннотации
> >> или заголовок документа и текст аннотации?
> >> (от этого зависит включать ли заголовок в аннотацию или считать что эта
> >> информация уже известна!)
>
> > А вот это похоже забыли обсудить :(
>
> > В теории, мы эмулируем взаимодействие пользователя с результатами поиска
> > и там пользователеь видит название+аннотацию. Поэтому название имеет смысл
> > показывать отдельно и не включать в 300 зачетных байт.
> Согласен - и нам проще...

Хочется знать мнение других участников по этому вопросу -
заявки на участие были от 6 групп ...

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

RE: [romip] Важные вопросы (и частично ответы) для дорожки по аннотированию

Postby maxgubin » Mon Jun 27, 2005 12:51 pm

Добрый день!

>Мы планируем подсвечивать слова из запроса в инструменте оценки.
>Однако, нам кажется, что правильнее делать это централизовано -
>чтобы погрешности из-за подсветки сказывались на всех результатах
>одинаково.

Да, конечно централизовано лучше.

>В теории, мы эмулируем взаимодействие пользователя с результатами поиска
>и там пользователеь видит название+аннотацию. Поэтому название имеет смысл
>показывать отдельно и не включать в 300 зачетных байт.

Я именно так и понимал. Тем более, что у многих документов одно название
длиннее заявленных 300 символов.

Максим
maxgubin
Оргкомитет
 
Posts: 86
Joined: Fri Jul 04, 2003 3:54 am

RE: [romip] Важные вопросы (и частично ответы) для дорожки п

Postby neigor » Thu Jun 30, 2005 3:35 pm

ok, хоть ответили только 3 участника из 5.
будем считать что решение принято:

При оценке асессор будет видеть название (первые 100 символов)
и аннотацию. Размер названия не учитывается в размере аннотации.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm


Return to Контекстно-зависимое аннотирование текстовых документов

Who is online

Users browsing this forum: No registered users and 5 guests

cron