Page 1 of 1

Важные вопросы (и частично ответы) дорожки по аннотированию

PostPosted: Mon Jun 27, 2005 9:31 am
by neigor
Добрый день,

прошу прощения за такое позднее обсуждение этой темы, но
мы к сожалению поздно сообразили, что есть открытые вопросы по тому что
входит в аннотацию.

> Вопрос: HTML-разметка аннотации - произвольная (или, например, обязательно
> должен быть title, выделены слова из запроса)?

Ответом системы для задания является фрагмент текста не более 300 символов
без HTML разметки. (http://romip.narod.ru/ru/2005/tracks/annotation.html)

> Вопрос: что если аннотация получается больше 300 байт?

Инструмент оценки будет принудительно обрезать текст сверх 300 байт.

> Вопрос: не стоит ли как-то выделять ключевые слова в аннотации?

Мы планируем подсвечивать слова из запроса в инструменте оценки.
Однако, нам кажется, что правильнее делать это централизовано -
чтобы погрешности из-за подсветки сказывались на всех результатах одинаково.

> Вопрос: Что будет показываться пользователю - только текст аннотации
> или заголовок документа и текст аннотации?
> (от этого зависит включать ли заголовок в аннотацию или считать что эта
> информация уже известна!)

А вот это похоже забыли обсудить :(

В теории, мы эмулируем взаимодействие пользователя с результатами поиска
и там пользователеь видит название+аннотацию. Поэтому название имеет смысл
показывать отдельно и не включать в 300 зачетных байт.

Что по этому поводу думают участники дорожки?

-igor

Важные вопросы (и частично ответы) для дорожки по аннотирова

PostPosted: Mon Jun 27, 2005 11:27 am
by pb
> Ответом системы для задания является фрагмент текста не более 300 символов
> без HTML разметки. (http://romip.narod.ru/ru/2005/tracks/annotation.html)
Если это "голый" текст, зачем base64?

>> Вопрос: не стоит ли как-то выделять ключевые слова в аннотации?


>> Вопрос: Что будет показываться пользователю - только текст аннотации
>> или заголовок документа и текст аннотации?
>> (от этого зависит включать ли заголовок в аннотацию или считать что эта
>> информация уже известна!)

> А вот это похоже забыли обсудить :(

> В теории, мы эмулируем взаимодействие пользователя с результатами поиска
> и там пользователеь видит название+аннотацию. Поэтому название имеет смысл
> показывать отдельно и не включать в 300 зачетных байт.
Согласен - и нам проще...

ПБ

Re[2]: [romip] Важные вопросы (и частично ответы) для дорожки по аннотированию

PostPosted: Mon Jun 27, 2005 12:22 pm
by pb
>> >> Вопрос: Что будет показываться пользователю - только текст аннотации
>> >> или заголовок документа и текст аннотации?
>> >> (от этого зависит включать ли заголовок в аннотацию или считать что эта
>> >> информация уже известна!)
>>
>> > А вот это похоже забыли обсудить :(
>>
>> > В теории, мы эмулируем взаимодействие пользователя с результатами поиска
>> > и там пользователеь видит название+аннотацию. Поэтому название имеет смысл
>> > показывать отдельно и не включать в 300 зачетных байт.
>> Согласен - и нам проще...

> Хочется знать мнение других участников по этому вопросу -
> заявки на участие были от 6 групп ...

Это не повлияет на формат?
Т.е. мы даем 300 знаков, а title вытаскивается автоматически при
оценке?
Так, наверное, лучше - чтобы не было соблазна "улучшить" title...

ПБ

Re: [romip] Важные вопросы (и частично ответы) для дорожки п

PostPosted: Mon Jun 27, 2005 12:34 pm
by neigor
> > Ответом системы для задания является фрагмент текста не более 300 символов
> > без HTML разметки. (http://romip.narod.ru/ru/2005/tracks/annotation.html)
> Если это "голый" текст, зачем base64?

потому что:
1) в других случаях base64 => проще технически переиспользовать
2) в просто тексте может встретится или еще что-то что сломает
xml validator


> >> Вопрос: Что будет показываться пользователю - только текст аннотации
> >> или заголовок документа и текст аннотации?
> >> (от этого зависит включать ли заголовок в аннотацию или считать что эта
> >> информация уже известна!)
>
> > А вот это похоже забыли обсудить :(
>
> > В теории, мы эмулируем взаимодействие пользователя с результатами поиска
> > и там пользователеь видит название+аннотацию. Поэтому название имеет смысл
> > показывать отдельно и не включать в 300 зачетных байт.
> Согласен - и нам проще...

Хочется знать мнение других участников по этому вопросу -
заявки на участие были от 6 групп ...

-igor

RE: [romip] Важные вопросы (и частично ответы) для дорожки по аннотированию

PostPosted: Mon Jun 27, 2005 12:51 pm
by maxgubin
Добрый день!

>Мы планируем подсвечивать слова из запроса в инструменте оценки.
>Однако, нам кажется, что правильнее делать это централизовано -
>чтобы погрешности из-за подсветки сказывались на всех результатах
>одинаково.

Да, конечно централизовано лучше.

>В теории, мы эмулируем взаимодействие пользователя с результатами поиска
>и там пользователеь видит название+аннотацию. Поэтому название имеет смысл
>показывать отдельно и не включать в 300 зачетных байт.

Я именно так и понимал. Тем более, что у многих документов одно название
длиннее заявленных 300 символов.

Максим

RE: [romip] Важные вопросы (и частично ответы) для дорожки п

PostPosted: Thu Jun 30, 2005 3:35 pm
by neigor
ok, хоть ответили только 3 участника из 5.
будем считать что решение принято:

При оценке асессор будет видеть название (первые 100 символов)
и аннотацию. Размер названия не учитывается в размере аннотации.

-igor