РОМИП

 Новости 
 Регистрация 2012! 
 О проекте 
 Манифест 
 Общие принципы 
 Заявка на участие 
 Материалы РОМИП 
 Тестовые коллекции 
 Таблицы релевантности 
 Участники 2012 
 Дорожки 2012 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Дорожка поиска изображений по визуальному подобию

Задача

Дорожка посвящена оценке методов решения задачи поиска по содержанию изображений (content-based image retrieval) на коллекции разнородных фотографий, типичных для персональных непрофессиональных фотоархивов.

Участникам по заданному изображению-запросу необходимо отобрать изображения, похожие на образец визуально и семантически с точки зрения человека. Релевантными изображениями считаются как глобально похожие, так и обладающие локальным сходством. Изображения глобально похожи, если на них представлены одинаковые сцены (например, два снимка ночного города). Изображения обладают локальным сходством, если на них представлены похожие объекты на разном фоне. Глобальное сходство играет решающую роль в случае, когда на изображениях сложно выделить центральный объект (в основном, пейзажные фотографии), в то время как локальное сходство важно для фотографий с явно выраженным объектом съемки (портретное фото, съемка животных). При этом для локального сходства не требуется идентичности объектов на различных снимках, объекты должны быть одного вида, одной природы. Например, два портретных изображения разных людей могут быть признаны релевантными при наличии некоторого визуального сходства (одна поза, одинаковая длина и цвет волос, и т.д.).

Ниже приведены примеры похожих изображений для данной задачи:

Примеры изображений, обладающих частичным сходством:

Примеры изображений, НЕ обладающих визуальным или семантическим сходством в должной мере:

Общая процедура проведения дорожки стандартна.

Тестовая коллекция

Тестовая коллекция состоит из фотографий без единой темы и разного качества. Фотографии не связаны с какой-либо дополнительной информацией (такой как аннотиции, теги или другой контекст). Коллекция иммитирует задачи поиска в персональных коллекциях непрофессиональных фотографов.

Коллекция представляет собой подмножество коллекции Flickr и содержит 20.000 фотографий, сделанных в помещении и на улице, включая портреты, пейзажы, городские сцены и другие типы фотографий. Размерность картинок не превышает 500 пикселов (типичный размер 500x375).

Формулировка задания для участвующей системы

Для каждого изображения из набора образцов построить упорядоченные списки из не более 100 похожих изображений (набор заданий совпадает с набором заданий 2008 года).

Методология оценки

Оценка сходства будет производиться независимыми асессорами.

Для случайной выборки заданий будут построены "котлы", соджержащие первые 50 изображений возвращенных каждой системой участником. Задачей асессора будет просмотреть такой котел и пометить все изображения похожие на оригинал.

  • постановка задания ассессору:
    Ассессор оценивает визуальное и семантическое соответствие документов исходному изображению-образцу.
  • метод оценки: метод "общего котла" (pooling) с глубиной пула 50 (предварительный план)
  • шкала оценки релевантности: похожи/частично похожи/не похожи
  • официальные метрики:
    • точность
    • полнота
    • 11-точечный график TREC
    • bpref

Форматы данных