═
═
С уважением,
Наталья Васильева.
From: Vitaly Pimenov [mailto:vitaly.pimenov@...] Sent: Thursday, July 29, 2010 11:42 PMTo: Vassilieva, Natalia (HP Labs)Cc:
romip@yahoogroups.comSubject: Re: FW: инструкция для CBIR - нужны предложения по улучшению
Добрый день.
И в исходной и в данной инструкции у меня вызывает некоторые сомнения то, что картиночная выдача оценивается
исходя из тех же принципов, что и web-выдача, в то время как пользовательское представление у них значительно
отличается. В этом случае мы получаем, что top составленный из дубликатов изображения-запроса - это идеальный
результат - очевидно, возможны ситуации, когда это совсем═не═то, что нужно. Мне кажется, что имеет смысл═
подумать о═критериях качества, позволяющих═оценивать не пару запрос-изображение, а пару запрос-выдача, но это,═
видимо, задача будущего.
Кроме того, в текущих инструкциях так или иначе заложено предположение о том, что цель поиска по содержанию
состоит в нахождении изображений, на которых представлен объект, описание которого выводимо из изображения-запроса
самого по себе. Представляется, что это далеко не единственная информационная потребность, удовлетворению
которой служит поиск по содержанию. Думаю добавление информации о контексте поиска (может быть в виде
ключевых слов, или дополнительных изображений, или relevance feedback-а) позволит получить═более интересную═
постановку задачи.
С уважением,
Виталий Пименов.
2010/7/29 Vassilieva, Natalia (HP Labs) nvassilieva@...>
Уважаемые участники═дорожки поиска изображений,
Ознакомтесь пожалуйста с еще одной вресией инструкции для асессоров (в приложении)═от одного из участников дорожки (кстати, может быть участники не против раскрыть анонимность и не возражают против открытых копий в письмах?). ═
Мое мнение, в первую очередь═как участника этой дорожки, следующее.
Я═солгасна с классификацией на 3 базовых типа и═с описанием критериев для выделенных типов.═Но я считаю, что═данные критерии═надо подавать═как рекомендации и советы, а не как точное указание, как надо оценивать.
Но═я не согласна с многими═из примеров.═Например, по мне═синий седан хоть в профиль, хоть в фас - очень похожие картинки. Почему цвет объекта и его форма менее важны, чем ракурс? Мне кажтеся, что═когда есть доминирующий объект, главное, чтобы среди ответов были изображения очень похожего объекта, а его поза/ракурс второстепенны.
═
И среди отальных примеров многие из тех, что═оценены как непохожие, я бы пометила как отдаленно близкие, или вовсе похожие, особено среди пейзажей.
═
Я считаю, что у нас у всех действительно разные и субъективные понятия о похожести картинок. И мне кажется, что оценка живыми людьми тем и ценна, что можно увидеть, что живые люди считают похожим. И в этом смысле я считаю, что добавление очень большого числа примеров и детальное выписывание, что надо считать похожим, а что нет, только запутает людей и не позволит им высказать свое мнение относительно того, что похоже, а что нет.
═
Резюмируя, я за то, чтобы оставить═выделенные категории и критерии═в качестве рекомендаций асессорам на что обращать внимание при оценке подобия.═Но примеры с детальным разбором, почему эти две картинки очень похожи, а эти непохожи - убрать.═Или оставить те из них, по которым нет разногласий хотя бы среди участников дорожки
═
Высказывайте свое мнение.
═
С уважением,
Наталья Васильева.═
В приложенном файле - дополненная инструкция для асессоров.
═
Не секрет, что тема похожести изображений и поиска по образцу очень неоднозначная и спорная. Соответственно, инструкция тоже спорная. По крайней мере мы у себя к единому мнению еще не пришли.
═
Есть два подхода:
- очертить границу возможностей известных алгоритмов и сформулировать похожесть в терминах этих алгоритмов;
- проанализировать сценарии пользователей, которые ищут изображения, и попытаться сформулировать требования к похожести изображений так, как это ощущают пользователи.
═
Последний путь видится более правильным, хотя и существенно более тяжелым.
═
В инструкции приводится классификация изображений по 3 базовым типам и формулируются критерии похожести для каждого типа:
- объект (критерии основаны на свойствах объекта),
- композиция объектов (критерии основаны на композиционных свойствах и свойствах объектов);
- пейзаж (условное обозначение изображений, которые не содержат выделяемых объектов - критерии основаны на композиционных свойствах).
═
Эта классификация проста и должна быть легко понятна асессорам.
═
В примерах для картинки-образца дается несколько изображений, которые а) очень похожи, б) отдаленно близки и в) непохожи на него. Есть ощущение, что таким образом устроенные примеры более наглядны. Примеров пока мало и их надо сделать больше, охватив спорные моменты. А опыт показывает, что асессоры обучаются в основном на примерах.
═
--
═