инструкция для CBIR

Поиск нечетких дубликатов в коллекции изображений, поиск изображений по визуальному подобию, построение текстовых меток для изображений

инструкция для CBIR

Postby vasnatalia » Wed Jul 28, 2010 8:44 am

Уважаемые участники картиночных дорожек,

В приложении обновленная версия инструкции для асессоров по оценке дорожки
поиска изображений по образцу и инструкция по оценке дорожки построения
текстовых меток для изображений.

Жду Ваших замечаний.

С уважением,
Наталья Васильева.

инструкция для CBIR - нужны предложения по улучшению

Уважаемые участники дорожки по поиску изображений по образцу,

Пожалуйста, ознакомьтесь с инструкцией для асессоров, которая использовалась в
прошлом году.
В прошлом и позапрошлом году на очной встрече звучалли предложения как улучшить
инструкцию, чтобы повысить качество оценки.

Наталья Васильева (координтор этой дорожки) работает над улучшением инструкции и
будет рада получить конкретные предложения, что и как следует улучшить.
В частности, если расширять список примеров - какие примеры следует добавить
(лучше из реальной коллекции)?
Надо ли расширять шкалу оценки и если да, то как? Может быть дополнительная
шкала позволяющая собрать причины принятия того или иного решения (пейзаж
похожий, но время года/цвета не те, или это тоже машина но совсем в другом
окружении)

Пожалуйста, если у вас есть идеи по поводу улучшения - шлите Наташе свои
предложения до среды (а лучше завтра).

-igor
2 of 2 File(s)





instruction-CBIR.docx





instruction-imgannotate.docx
vasnatalia
Оргкомитет
 
Posts: 15
Joined: Fri Jul 06, 2007 7:14 am

Postby vasnatalia » Wed Jul 28, 2010 8:48 am

Добрый день,

интересны в первую очередь конкретные примеры из используемой в дорожке коллекции; запросы, с оценкой которых в прошлые года Вы были не согласны. Если такие есть, то мне кажется лучше их и включать в инструкцию в качестве примеров, раз для них есть прецендент разногласий в оценке.

С уважением,
Наталья Васильева.




From: Vitaly Pimenov [mailto:vitaly.pimenov@...] Sent: Wednesday, July 28, 2010 12:07 AMTo: Igor NekrestyanovCc: Vassilieva, Natalia (HP Labs)Subject: Re: инструкция для CBIR - нужны предложения по улучшению
По поводу примеров я наверное не буду оригинален, если порекомендую═http://image-net.org/═- оттуда можно много примеров набрать - как хороших, так и плохих.
2010/7/26 Igor Nekrestyanov romip@...>
Уважаемые участники дорожки по поиску изображений по образцу,Пожалуйста, ознакомьтесь с инструкцией для асессоров, ═которая использовалась в прошлом году.В прошлом и позапрошлом году на очной встрече звучалли предложения как улучшить инструкцию,чтобы повысить качество оценки.Наталья Васильева (координтор этой дорожки) работает над улучшением инструкциии будет рада получить конкретные предложения, что и как следует улучшить.В частности, если расширять список примеров - какие примеры следует добавить (лучше из реальной коллекции)?Надо ли расширять шкалу оценки и если да, то как? Может быть дополнительная шкала позволяющая собратьпричины принятия того или иного решения (пейзаж похожий, но время года/цвета не те, или это тоже машина но совсем в другом окружении)Пожалуйста, если у вас есть идеи по поводу улучшения - шлите Наташе свои предложения до среды (а лучше завтра).-igor
-- vp.
vasnatalia
Оргкомитет
 
Posts: 15
Joined: Fri Jul 06, 2007 7:14 am

Re: инструкция для CBIR - нужны предложения по улучшению

Postby vitaly.pimenov » Wed Jul 28, 2010 2:59 pm

2010/7/28 Vassilieva, Natalia (HP Labs) nvassilieva@...>

Добрый день,
 
интересны в первую очередь конкретные примеры из используемой в дорожке коллекции; запросы, с оценкой которых в прошлые года Вы были не согласны. Если такие есть, то мне кажется лучше их и включать в инструкцию в качестве примеров, раз для них есть прецендент разногласий в оценке.
Для участие в дорожке поиска в этом году первое, так что с прецедентами помочь не могу. 

 
С уважением,
Наталья Васильева.
 



From: Vitaly Pimenov [mailto:vitaly.pimenov@...] Sent: Wednesday, July 28, 2010 12:07 AMTo: Igor NekrestyanovCc: Vassilieva, Natalia (HP Labs)Subject: Re: инструкция для CBIR - нужны предложения по улучшению
По поводу примеров я наверное не буду оригинален, если порекомендую http://image-net.org/ - оттуда можно много примеров набрать - как хороших, так и плохих.
2010/7/26 Igor Nekrestyanov romip@...>
Уважаемые участники дорожки по поиску изображений по образцу,Пожалуйста, ознакомьтесь с инструкцией для асессоров,  которая использовалась в прошлом году.В прошлом и позапрошлом году на очной встрече звучалли предложения как улучшить инструкцию,чтобы повысить качество оценки.Наталья Васильева (координтор этой дорожки) работает над улучшением инструкциии будет рада получить конкретные предложения, что и как следует улучшить.В частности, если расширять список примеров - какие примеры следует добавить (лучше из реальной коллекции)?Надо ли расширять шкалу оценки и если да, то как? Может быть дополнительная шкала позволяющая собратьпричины принятия того или иного решения (пейзаж похожий, но время года/цвета не те, или это тоже машина но совсем в другом окружении)Пожалуйста, если у вас есть идеи по поводу улучшения - шлите Наташе свои предложения до среды (а лучше завтра).-igor
-- vp.
-- vp.
vitaly.pimenov
 
Posts: 7
Joined: Thu May 28, 2009 11:34 am

FW: инструкция для CBIR - нужны предложения по улучшению

Postby vasnatalia » Thu Jul 29, 2010 3:54 pm

Уважаемые участники═дорожки поиска изображений,
Ознакомтесь пожалуйста с еще одной вресией инструкции для асессоров (в приложении)═от одного из участников дорожки (кстати, может быть участники не против раскрыть анонимность и не возражают против открытых копий в письмах?). ═
Мое мнение, в первую очередь═как участника этой дорожки, следующее.
Я═солгасна с классификацией на 3 базовых типа и═с описанием критериев для выделенных типов.═Но я считаю, что═данные критерии═надо подавать═как рекомендации и советы, а не как точное указание, как надо оценивать.
Но═я не согласна с многими═из примеров.═Например, по мне═синий седан хоть в профиль, хоть в фас - очень похожие картинки. Почему цвет объекта и его форма менее важны, чем ракурс? Мне кажтеся, что═когда есть доминирующий объект, главное, чтобы среди ответов были изображения очень похожего объекта, а его поза/ракурс второстепенны.

И среди отальных примеров многие из тех, что═оценены как непохожие, я бы пометила как отдаленно близкие, или вовсе похожие, особено среди пейзажей.

Я считаю, что у нас у всех действительно разные и субъективные понятия о похожести картинок. И мне кажется, что оценка живыми людьми тем и ценна, что можно увидеть, что живые люди считают похожим. И в этом смысле я считаю, что добавление очень большого числа примеров и детальное выписывание, что надо считать похожим, а что нет, только запутает людей и не позволит им высказать свое мнение относительно того, что похоже, а что нет.

Резюмируя, я за то, чтобы оставить═выделенные категории и критерии═в качестве рекомендаций асессорам на что обращать внимание при оценке подобия.═Но примеры с детальным разбором, почему эти две картинки очень похожи, а эти непохожи - убрать.═Или оставить те из них, по которым нет разногласий хотя бы среди участников дорожки :)

Высказывайте свое мнение.

С уважением,
Наталья Васильева.═



В приложенном файле - дополненная инструкция для асессоров.

Не секрет, что тема похожести изображений и поиска по образцу очень неоднозначная и спорная. Соответственно, инструкция тоже спорная. По крайней мере мы у себя к единому мнению еще не пришли. ;)

Есть два подхода:
- очертить границу возможностей известных алгоритмов и сформулировать похожесть в терминах этих алгоритмов;
- проанализировать сценарии пользователей, которые ищут изображения, и попытаться сформулировать требования к похожести изображений так, как это ощущают пользователи.

Последний путь видится более правильным, хотя и существенно более тяжелым.

В инструкции приводится классификация изображений по 3 базовым типам и формулируются критерии похожести для каждого типа:
- объект (критерии основаны на свойствах объекта),
- композиция объектов (критерии основаны на композиционных свойствах и свойствах объектов);
- пейзаж (условное обозначение изображений, которые не содержат выделяемых объектов - критерии основаны на композиционных свойствах).

Эта классификация проста и должна быть легко понятна асессорам.

В примерах для картинки-образца дается несколько изображений, которые а) очень похожи, б) отдаленно близки и в) непохожи на него. Есть ощущение, что таким образом устроенные примеры более наглядны. Примеров пока мало и их надо сделать больше, охватив спорные моменты. А опыт показывает, что асессоры обучаются в основном на примерах.

--

1 of 1 File(s)





instruction-CBIR_20100728.docx
vasnatalia
Оргкомитет
 
Posts: 15
Joined: Fri Jul 06, 2007 7:14 am

Re: FW: инструкция для CBIR - нужны предложения по улучшению

Postby vitaly.pimenov » Thu Jul 29, 2010 7:42 pm

Добрый день.И в исходной и в данной инструкции у меня вызывает некоторые сомнения то, что картиночная выдача оцениваетсяисходя из тех же принципов, что и web-выдача, в то время как пользовательское представление у них значительно
отличается. В этом случае мы получаем, что top составленный из дубликатов изображения-запроса - это идеальныйрезультат - очевидно, возможны ситуации, когда это совсем не то, что нужно. Мне кажется, что имеет смысл 
подумать о критериях качества, позволяющих оценивать не пару запрос-изображение, а пару запрос-выдача, но это, видимо, задача будущего.Кроме того, в текущих инструкциях так или иначе заложено предположение о том, что цель поиска по содержанию
состоит в нахождении изображений, на которых представлен объект, описание которого выводимо из изображения-запросасамого по себе. Представляется, что это далеко не единственная информационная потребность, удовлетворению
которой служит поиск по содержанию. Думаю добавление информации о контексте поиска (может быть в видеключевых слов, или дополнительных изображений, или relevance feedback-а) позволит получить более интересную 
постановку задачи.С уважением,Виталий Пименов.2010/7/29 Vassilieva, Natalia (HP Labs) nvassilieva@...>


Уважаемые участники дорожки поиска изображений,
Ознакомтесь пожалуйста с еще одной вресией инструкции для асессоров (в приложении) от одного из участников дорожки (кстати, может быть участники не против раскрыть анонимность и не возражают против открытых копий в письмах?).  
Мое мнение, в первую очередь как участника этой дорожки, следующее.
Я солгасна с классификацией на 3 базовых типа и с описанием критериев для выделенных типов. Но я считаю, что данные критерии надо подавать как рекомендации и советы, а не как точное указание, как надо оценивать.
Но я не согласна с многими из примеров. Например, по мне синий седан хоть в профиль, хоть в фас - очень похожие картинки. Почему цвет объекта и его форма менее важны, чем ракурс? Мне кажтеся, что когда есть доминирующий объект, главное, чтобы среди ответов были изображения очень похожего объекта, а его поза/ракурс второстепенны.
 
И среди отальных примеров многие из тех, что оценены как непохожие, я бы пометила как отдаленно близкие, или вовсе похожие, особено среди пейзажей.
 
Я считаю, что у нас у всех действительно разные и субъективные понятия о похожести картинок. И мне кажется, что оценка живыми людьми тем и ценна, что можно увидеть, что живые люди считают похожим. И в этом смысле я считаю, что добавление очень большого числа примеров и детальное выписывание, что надо считать похожим, а что нет, только запутает людей и не позволит им высказать свое мнение относительно того, что похоже, а что нет.
 
Резюмируя, я за то, чтобы оставить выделенные категории и критерии в качестве рекомендаций асессорам на что обращать внимание при оценке подобия. Но примеры с детальным разбором, почему эти две картинки очень похожи, а эти непохожи - убрать. Или оставить те из них, по которым нет разногласий хотя бы среди участников дорожки :)
 
Высказывайте свое мнение.
 
С уважением,
Наталья Васильева. 



В приложенном файле - дополненная инструкция для асессоров.
 
Не секрет, что тема похожести изображений и поиска по образцу очень неоднозначная и спорная. Соответственно, инструкция тоже спорная. По крайней мере мы у себя к единому мнению еще не пришли. ;)
 
Есть два подхода:
- очертить границу возможностей известных алгоритмов и сформулировать похожесть в терминах этих алгоритмов;
- проанализировать сценарии пользователей, которые ищут изображения, и попытаться сформулировать требования к похожести изображений так, как это ощущают пользователи.
 
Последний путь видится более правильным, хотя и существенно более тяжелым.
 
В инструкции приводится классификация изображений по 3 базовым типам и формулируются критерии похожести для каждого типа:
- объект (критерии основаны на свойствах объекта),
- композиция объектов (критерии основаны на композиционных свойствах и свойствах объектов);
- пейзаж (условное обозначение изображений, которые не содержат выделяемых объектов - критерии основаны на композиционных свойствах).
 
Эта классификация проста и должна быть легко понятна асессорам.
 
В примерах для картинки-образца дается несколько изображений, которые а) очень похожи, б) отдаленно близки и в) непохожи на него. Есть ощущение, что таким образом устроенные примеры более наглядны. Примеров пока мало и их надо сделать больше, охватив спорные моменты. А опыт показывает, что асессоры обучаются в основном на примерах.
 
--
 
vitaly.pimenov
 
Posts: 7
Joined: Thu May 28, 2009 11:34 am

RE: FW: инструкция для CBIR - нужны предложения по улучшению

Postby vasnatalia » Fri Jul 30, 2010 10:31 am

Добрый день,

спасибо за комментарии.

Я согласна, что критерии релевантности могут сильно варьироваться в зависимости от действительной потребности пользователя.═Давайте на следующий год попробуем смоделировать какую-нибудь вполне конктретную потребность, и сформулируем задание дорожки и инструкции для асессоров в соответствии с этой потребностью. Тогда расхождение в оценках действительно можно уменьшить. Но это надо продумывать еще на этапе постановки задачи участникам, чтобы и участники, и асессоры, имели общее представление о том, как будет производится оценка. Мне кажется, для этого года уже поздно пытаться добавить к имеющейся задачи дополнительные условия (тот же контекст поиска).

На сегодняшний день мы имеем общую задачу поиска по подобию. И пытаемся сформулировать некоторые критерии подобия, которые могут быть "критериями по умолчанию", когда мы ничего не знаем о потребности пользователя, кроме предоставленного запроса-образца. Мне кажется, что в рамках данной задачи выделенные критерии вполне разумны. Вы не согласны?


С уважением,
Наталья Васильева.


From: Vitaly Pimenov [mailto:vitaly.pimenov@...] Sent: Thursday, July 29, 2010 11:42 PMTo: Vassilieva, Natalia (HP Labs)Cc: romip@yahoogroups.comSubject: Re: FW: инструкция для CBIR - нужны предложения по улучшению
Добрый день.

И в исходной и в данной инструкции у меня вызывает некоторые сомнения то, что картиночная выдача оценивается
исходя из тех же принципов, что и web-выдача, в то время как пользовательское представление у них значительно
отличается. В этом случае мы получаем, что top составленный из дубликатов изображения-запроса - это идеальный
результат - очевидно, возможны ситуации, когда это совсем═не═то, что нужно. Мне кажется, что имеет смысл═
подумать о═критериях качества, позволяющих═оценивать не пару запрос-изображение, а пару запрос-выдача, но это,═
видимо, задача будущего.

Кроме того, в текущих инструкциях так или иначе заложено предположение о том, что цель поиска по содержанию
состоит в нахождении изображений, на которых представлен объект, описание которого выводимо из изображения-запроса
самого по себе. Представляется, что это далеко не единственная информационная потребность, удовлетворению
которой служит поиск по содержанию. Думаю добавление информации о контексте поиска (может быть в виде
ключевых слов, или дополнительных изображений, или relevance feedback-а) позволит получить═более интересную═
постановку задачи.

С уважением,
Виталий Пименов.

2010/7/29 Vassilieva, Natalia (HP Labs) nvassilieva@...>


Уважаемые участники═дорожки поиска изображений,
Ознакомтесь пожалуйста с еще одной вресией инструкции для асессоров (в приложении)═от одного из участников дорожки (кстати, может быть участники не против раскрыть анонимность и не возражают против открытых копий в письмах?). ═
Мое мнение, в первую очередь═как участника этой дорожки, следующее.
Я═солгасна с классификацией на 3 базовых типа и═с описанием критериев для выделенных типов.═Но я считаю, что═данные критерии═надо подавать═как рекомендации и советы, а не как точное указание, как надо оценивать.
Но═я не согласна с многими═из примеров.═Например, по мне═синий седан хоть в профиль, хоть в фас - очень похожие картинки. Почему цвет объекта и его форма менее важны, чем ракурс? Мне кажтеся, что═когда есть доминирующий объект, главное, чтобы среди ответов были изображения очень похожего объекта, а его поза/ракурс второстепенны.

И среди отальных примеров многие из тех, что═оценены как непохожие, я бы пометила как отдаленно близкие, или вовсе похожие, особено среди пейзажей.

Я считаю, что у нас у всех действительно разные и субъективные понятия о похожести картинок. И мне кажется, что оценка живыми людьми тем и ценна, что можно увидеть, что живые люди считают похожим. И в этом смысле я считаю, что добавление очень большого числа примеров и детальное выписывание, что надо считать похожим, а что нет, только запутает людей и не позволит им высказать свое мнение относительно того, что похоже, а что нет.

Резюмируя, я за то, чтобы оставить═выделенные категории и критерии═в качестве рекомендаций асессорам на что обращать внимание при оценке подобия.═Но примеры с детальным разбором, почему эти две картинки очень похожи, а эти непохожи - убрать.═Или оставить те из них, по которым нет разногласий хотя бы среди участников дорожки :)

Высказывайте свое мнение.

С уважением,
Наталья Васильева.═



В приложенном файле - дополненная инструкция для асессоров.

Не секрет, что тема похожести изображений и поиска по образцу очень неоднозначная и спорная. Соответственно, инструкция тоже спорная. По крайней мере мы у себя к единому мнению еще не пришли. ;)

Есть два подхода:
- очертить границу возможностей известных алгоритмов и сформулировать похожесть в терминах этих алгоритмов;
- проанализировать сценарии пользователей, которые ищут изображения, и попытаться сформулировать требования к похожести изображений так, как это ощущают пользователи.

Последний путь видится более правильным, хотя и существенно более тяжелым.

В инструкции приводится классификация изображений по 3 базовым типам и формулируются критерии похожести для каждого типа:
- объект (критерии основаны на свойствах объекта),
- композиция объектов (критерии основаны на композиционных свойствах и свойствах объектов);
- пейзаж (условное обозначение изображений, которые не содержат выделяемых объектов - критерии основаны на композиционных свойствах).

Эта классификация проста и должна быть легко понятна асессорам.

В примерах для картинки-образца дается несколько изображений, которые а) очень похожи, б) отдаленно близки и в) непохожи на него. Есть ощущение, что таким образом устроенные примеры более наглядны. Примеров пока мало и их надо сделать больше, охватив спорные моменты. А опыт показывает, что асессоры обучаются в основном на примерах.

--
vasnatalia
Оргкомитет
 
Posts: 15
Joined: Fri Jul 06, 2007 7:14 am

Re: FW: инструкция для CBIR - нужны предложения по улучшению

Postby vitaly.pimenov » Fri Jul 30, 2010 8:57 pm

2010/7/30 Vassilieva, Natalia (HP Labs) nvassilieva@...>

Добрый день,
 
спасибо за комментарии.
 
Я согласна, что критерии релевантности могут сильно варьироваться в зависимости от действительной потребности пользователя. Давайте на следующий год попробуем смоделировать какую-нибудь вполне конктретную потребность, и сформулируем задание дорожки и инструкции для асессоров в соответствии с этой потребностью. Тогда расхождение в оценках действительно можно уменьшить. Но это надо продумывать еще на этапе постановки задачи участникам, чтобы и участники, и асессоры, имели общее представление о том, как будет производится оценка. Мне кажется, для этого года уже поздно пытаться добавить к имеющейся задачи дополнительные условия (тот же контекст поиска).
 
На сегодняшний день мы имеем общую задачу поиска по подобию. И пытаемся сформулировать некоторые критерии подобия, которые могут быть "критериями по умолчанию", когда мы ничего не знаем о потребности пользователя, кроме предоставленного запроса-образца. Мне кажется, что в рамках данной задачи выделенные критерии вполне разумны. Вы не согласны?
Согласен. Здесь задача и без того не простая, но в дальнейшем было бы интересно ее разнообразить. 

 
 
С уважением,
Наталья Васильева.


From: Vitaly Pimenov [mailto:vitaly.pimenov@...] Sent: Thursday, July 29, 2010 11:42 PMTo: Vassilieva, Natalia (HP Labs)Cc: romip@yahoogroups.comSubject: Re: FW: инструкция для CBIR - нужны предложения по улучшению
Добрый день.

И в исходной и в данной инструкции у меня вызывает некоторые сомнения то, что картиночная выдача оценивается
исходя из тех же принципов, что и web-выдача, в то время как пользовательское представление у них значительно
отличается. В этом случае мы получаем, что top составленный из дубликатов изображения-запроса - это идеальный
результат - очевидно, возможны ситуации, когда это совсем не то, что нужно. Мне кажется, что имеет смысл 
подумать о критериях качества, позволяющих оценивать не пару запрос-изображение, а пару запрос-выдача, но это, 
видимо, задача будущего.

Кроме того, в текущих инструкциях так или иначе заложено предположение о том, что цель поиска по содержанию
состоит в нахождении изображений, на которых представлен объект, описание которого выводимо из изображения-запроса
самого по себе. Представляется, что это далеко не единственная информационная потребность, удовлетворению
которой служит поиск по содержанию. Думаю добавление информации о контексте поиска (может быть в виде
ключевых слов, или дополнительных изображений, или relevance feedback-а) позволит получить более интересную 
постановку задачи.

С уважением,
Виталий Пименов.

2010/7/29 Vassilieva, Natalia (HP Labs) nvassilieva@...>



Уважаемые участники дорожки поиска изображений,
Ознакомтесь пожалуйста с еще одной вресией инструкции для асессоров (в приложении) от одного из участников дорожки (кстати, может быть участники не против раскрыть анонимность и не возражают против открытых копий в письмах?).  
Мое мнение, в первую очередь как участника этой дорожки, следующее.
Я солгасна с классификацией на 3 базовых типа и с описанием критериев для выделенных типов. Но я считаю, что данные критерии надо подавать как рекомендации и советы, а не как точное указание, как надо оценивать.
Но я не согласна с многими из примеров. Например, по мне синий седан хоть в профиль, хоть в фас - очень похожие картинки. Почему цвет объекта и его форма менее важны, чем ракурс? Мне кажтеся, что когда есть доминирующий объект, главное, чтобы среди ответов были изображения очень похожего объекта, а его поза/ракурс второстепенны.
 
И среди отальных примеров многие из тех, что оценены как непохожие, я бы пометила как отдаленно близкие, или вовсе похожие, особено среди пейзажей.
 
Я считаю, что у нас у всех действительно разные и субъективные понятия о похожести картинок. И мне кажется, что оценка живыми людьми тем и ценна, что можно увидеть, что живые люди считают похожим. И в этом смысле я считаю, что добавление очень большого числа примеров и детальное выписывание, что надо считать похожим, а что нет, только запутает людей и не позволит им высказать свое мнение относительно того, что похоже, а что нет.
 
Резюмируя, я за то, чтобы оставить выделенные категории и критерии в качестве рекомендаций асессорам на что обращать внимание при оценке подобия. Но примеры с детальным разбором, почему эти две картинки очень похожи, а эти непохожи - убрать. Или оставить те из них, по которым нет разногласий хотя бы среди участников дорожки :)
 
Высказывайте свое мнение.
 
С уважением,
Наталья Васильева. 



В приложенном файле - дополненная инструкция для асессоров.
 
Не секрет, что тема похожести изображений и поиска по образцу очень неоднозначная и спорная. Соответственно, инструкция тоже спорная. По крайней мере мы у себя к единому мнению еще не пришли. ;)
 
Есть два подхода:
- очертить границу возможностей известных алгоритмов и сформулировать похожесть в терминах этих алгоритмов;
- проанализировать сценарии пользователей, которые ищут изображения, и попытаться сформулировать требования к похожести изображений так, как это ощущают пользователи.
 
Последний путь видится более правильным, хотя и существенно более тяжелым.
 
В инструкции приводится классификация изображений по 3 базовым типам и формулируются критерии похожести для каждого типа:
- объект (критерии основаны на свойствах объекта),
- композиция объектов (критерии основаны на композиционных свойствах и свойствах объектов);
- пейзаж (условное обозначение изображений, которые не содержат выделяемых объектов - критерии основаны на композиционных свойствах).
 
Эта классификация проста и должна быть легко понятна асессорам.
 
В примерах для картинки-образца дается несколько изображений, которые а) очень похожи, б) отдаленно близки и в) непохожи на него. Есть ощущение, что таким образом устроенные примеры более наглядны. Примеров пока мало и их надо сделать больше, охватив спорные моменты. А опыт показывает, что асессоры обучаются в основном на примерах.
 
--
 

-- vp.
vitaly.pimenov
 
Posts: 7
Joined: Thu May 28, 2009 11:34 am

RE: FW: инструкция для CBIR - нужны предложения по улучшению

Postby vasnatalia » Mon Aug 02, 2010 9:24 am

Уважаемые участники дорожки поиска изображений,

в приложении окончательный вариант инструкции для асессоров по оценке результатов данной дорожки.

Спасибо вам за замечания и предложения,═я постаралась их учесть.

С уважением,
Наталья Васильева.


From: Vitaly Pimenov [mailto:vitaly.pimenov@...] Sent: Saturday, July 31, 2010 12:57 AMTo: Vassilieva, Natalia (HP Labs)Cc: romip@yahoogroups.comSubject: Re: FW: инструкция для CBIR - нужны предложения по улучшению

2010/7/30 Vassilieva, Natalia (HP Labs) nvassilieva@...>

Добрый день,

спасибо за комментарии.

Я согласна, что критерии релевантности могут сильно варьироваться в зависимости от действительной потребности пользователя.═Давайте на следующий год попробуем смоделировать какую-нибудь вполне конктретную потребность, и сформулируем задание дорожки и инструкции для асессоров в соответствии с этой потребностью. Тогда расхождение в оценках действительно можно уменьшить. Но это надо продумывать еще на этапе постановки задачи участникам, чтобы и участники, и асессоры, имели общее представление о том, как будет производится оценка. Мне кажется, для этого года уже поздно пытаться добавить к имеющейся задачи дополнительные условия (тот же контекст поиска).

На сегодняшний день мы имеем общую задачу поиска по подобию. И пытаемся сформулировать некоторые критерии подобия, которые могут быть "критериями по умолчанию", когда мы ничего не знаем о потребности пользователя, кроме предоставленного запроса-образца. Мне кажется, что в рамках данной задачи выделенные критерии вполне разумны. Вы не согласны?


Согласен. Здесь задача и без того не простая, но в дальнейшем было бы интересно ее разнообразить.




С уважением,
Наталья Васильева.



From: Vitaly Pimenov [mailto:vitaly.pimenov@...] Sent: Thursday, July 29, 2010 11:42 PMTo: Vassilieva, Natalia (HP Labs)Cc: romip@yahoogroups.comSubject: Re: FW: инструкция для CBIR - нужны предложения по улучшению



Добрый день.
И в исходной и в данной инструкции у меня вызывает некоторые сомнения то, что картиночная выдача оценивается
исходя из тех же принципов, что и web-выдача, в то время как пользовательское представление у них значительно
отличается. В этом случае мы получаем, что top составленный из дубликатов изображения-запроса - это идеальный
результат - очевидно, возможны ситуации, когда это совсем═не═то, что нужно. Мне кажется, что имеет смысл═
подумать о═критериях качества, позволяющих═оценивать не пару запрос-изображение, а пару запрос-выдача, но это,═
видимо, задача будущего.

Кроме того, в текущих инструкциях так или иначе заложено предположение о том, что цель поиска по содержанию
состоит в нахождении изображений, на которых представлен объект, описание которого выводимо из изображения-запроса
самого по себе. Представляется, что это далеко не единственная информационная потребность, удовлетворению
которой служит поиск по содержанию. Думаю добавление информации о контексте поиска (может быть в виде
ключевых слов, или дополнительных изображений, или relevance feedback-а) позволит получить═более интересную═
постановку задачи.

С уважением,
Виталий Пименов.

2010/7/29 Vassilieva, Natalia (HP Labs) nvassilieva@...>



Уважаемые участники═дорожки поиска изображений,
Ознакомтесь пожалуйста с еще одной вресией инструкции для асессоров (в приложении)═от одного из участников дорожки (кстати, может быть участники не против раскрыть анонимность и не возражают против открытых копий в письмах?). ═
Мое мнение, в первую очередь═как участника этой дорожки, следующее.
Я═солгасна с классификацией на 3 базовых типа и═с описанием критериев для выделенных типов.═Но я считаю, что═данные критерии═надо подавать═как рекомендации и советы, а не как точное указание, как надо оценивать.
Но═я не согласна с многими═из примеров.═Например, по мне═синий седан хоть в профиль, хоть в фас - очень похожие картинки. Почему цвет объекта и его форма менее важны, чем ракурс? Мне кажтеся, что═когда есть доминирующий объект, главное, чтобы среди ответов были изображения очень похожего объекта, а его поза/ракурс второстепенны.

И среди отальных примеров многие из тех, что═оценены как непохожие, я бы пометила как отдаленно близкие, или вовсе похожие, особено среди пейзажей.

Я считаю, что у нас у всех действительно разные и субъективные понятия о похожести картинок. И мне кажется, что оценка живыми людьми тем и ценна, что можно увидеть, что живые люди считают похожим. И в этом смысле я считаю, что добавление очень большого числа примеров и детальное выписывание, что надо считать похожим, а что нет, только запутает людей и не позволит им высказать свое мнение относительно того, что похоже, а что нет.

Резюмируя, я за то, чтобы оставить═выделенные категории и критерии═в качестве рекомендаций асессорам на что обращать внимание при оценке подобия.═Но примеры с детальным разбором, почему эти две картинки очень похожи, а эти непохожи - убрать.═Или оставить те из них, по которым нет разногласий хотя бы среди участников дорожки :)

Высказывайте свое мнение.

С уважением,
Наталья Васильева.═



В приложенном файле - дополненная инструкция для асессоров.

Не секрет, что тема похожести изображений и поиска по образцу очень неоднозначная и спорная. Соответственно, инструкция тоже спорная. По крайней мере мы у себя к единому мнению еще не пришли. ;)

Есть два подхода:
- очертить границу возможностей известных алгоритмов и сформулировать похожесть в терминах этих алгоритмов;
- проанализировать сценарии пользователей, которые ищут изображения, и попытаться сформулировать требования к похожести изображений так, как это ощущают пользователи.

Последний путь видится более правильным, хотя и существенно более тяжелым.

В инструкции приводится классификация изображений по 3 базовым типам и формулируются критерии похожести для каждого типа:
- объект (критерии основаны на свойствах объекта),
- композиция объектов (критерии основаны на композиционных свойствах и свойствах объектов);
- пейзаж (условное обозначение изображений, которые не содержат выделяемых объектов - критерии основаны на композиционных свойствах).

Эта классификация проста и должна быть легко понятна асессорам.

В примерах для картинки-образца дается несколько изображений, которые а) очень похожи, б) отдаленно близки и в) непохожи на него. Есть ощущение, что таким образом устроенные примеры более наглядны. Примеров пока мало и их надо сделать больше, охватив спорные моменты. А опыт показывает, что асессоры обучаются в основном на примерах.

--
-- vp.
1 of 1 File(s)





instruction-CBIR_final.docx
vasnatalia
Оргкомитет
 
Posts: 15
Joined: Fri Jul 06, 2007 7:14 am


Return to Картиночные дорожки

Who is online

Users browsing this forum: No registered users and 13 guests

cron