новый цикл РОМИП

Общие обсуждения - потенциальные будущие дорожки, использование материалов РОМИП вне семинара, очные встречи и прочие вопросы для которых нет отдельной подтемы

Re: [romip] RE: дорожка по поиску изображений

Postby goncharov.alexander » Thu Feb 21, 2008 4:04 pm

Здравствуйте!

21.02.08, Natalia Vasilieva natalia@...> написал(а):
>
> Всем добрый день,
>
> > Я вижу следующие возможные дорожки:
> >
> > 1) поиск нечетких дубликатов;
> > 2) классификация изображений;
> > 3) автоаннотирование;
> > 4) поиск по изображению-образцу;
> > 5) поиск по текстовому запросу в частично-аннотированной базе;
> > 6) обнаружение и распознавание лиц.
>
> из практических соображений на первй год мне кажется надо
> остановиться на 1 или 2 max.
> Иначе будет мало участников на дорожку.

Готов поучаствовать в дорожках 4 и 6. Дорожку 6) нужно уточнить - с
обнаружением лиц вобщем-то понятно, но под распознаванием может
пониматься как идентификация личности, так и распознавание эмоций,
определение пола и возраста.

В качестве тестовой коллекции для идентификации личности по
изоббражению лица предлагаю использовать базу лиц, составленную Dr.
Libor Spacek, http://cswww.essex.ac.uk/mv/allfaces/index.html
Эта база лиц содержит фотографии 395 чел, по 20 изображений для каждой персоны.

С базами лиц есть одна проблема: практически во всех базах личность
можно определить по имени файла (очень удобно для автоматической
оценки надежности), что позволяет легко фальсифицировать результаты...
В связи с этим нужно будет что-то придумывать.

> а звучавшая на встрече РОМИП'2007 идея сделать коллекцию из персональных
> фото по каким причинам не подходит?
>
> Подходит. Но эта коллекция будет без аннотаций (ну или ее надо как-то
аннотировать, что очень трудоемко). А значит по ней можно запускать только
поиск по изображению-образцу.

Коллекция из персональных фото вполне подходит для поиска по образцу
(4) и для обнаружения лиц на изображениях (6). Из нее можно будет
сделать коллекцию нечетких дубликатов, например применив к каждому
изображению одно или несколько случайных преобразований, таких как
сильное сжатие с потерями, кадрирование, размытие, поворот и т.п.
Я думаю не составляет сложности собрать коллекцию размером 15-20 тыс.
изображений. И что самое главное, эта коллекция будет коллекцией
_РОМИП_ и мы сами будем определять правила для ее использования.

В связи с этим предлагаю всем внести свой вклад в формирование
коллекции картинок. Нужно только определить место куда их загружать.

С уважением, Александр Гончаров
goncharov.alexander
 
Posts: 7
Joined: Thu Feb 21, 2008 8:06 am

RE: [romip] RE: дорожка по поиску изображений

Postby neigor » Fri Feb 22, 2008 8:21 am

>> 1) поиск нечетких дубликатов;
>> 2) классификация изображений;
>> 3) автоаннотирование;
>> 4) поиск по изображению-образцу;
>> 5) поиск по текстовому запросу в частично-аннотированной базе;
>> 6) обнаружение и распознавание лиц.

а что из этого уже пробовали оценивать в мире?
что наиболее горячая тема?

Есмли мы будем пытться привлекать инностранных участников на эту дорожку
лучше быть уникальными, а не пересечься с другой инициативой
(или быть очевидным образом намного сильнее/больше).

> вопрос: какие требования к размеру коллекции для того чтобы эти дорожки были
> a) интересны (как по масштабу так и не фальсифицируемости)
> b) выполнимы не только крупной компанией
>
> С фальсифицируемостью - не знаю, сколько изображний нельзя просмотреть
> вручную, чтобы отобрать нужные? Если задасться такой целью, то можно
> просмотреть много, на мой взгляд. В честность участников мы не верим?

Верим. Но это методология - если есть возможность все задания просмотреть
глазами, то очевидно возникнут идеи что улучшить и соблазн тут же улучшить.
А это подстройка алгоритма не только под коллекцию, но и под задачи.

Борис еще в 2003 предложил бороться с этим увеличивая число заданий для
участника,
но оценивая только какую-то заранее неизвестную выборку.
И для текстовых дорожек мы используем такой подход.

> а звучавшая на встрече РОМИП'2007 идея сделать коллекцию из персональных
> фото по каким причинам не подходит?
>
> Подходит. Но эта коллекция будет без аннотаций (ну или ее надо как-то
> аннотировать, что очень трудоемко). А значит по ней можно запускать только
> поиск по изображению-образцу.

для 2) аннотации - это метки категорий для обучающего множества?

Возможно, например, сделать так - для обучающего множества взять одну
какую-то размеченную коллекцию (например из приводившихся ссылок),
а классифицировать неразмеченную большую коллекцию - например, коллекцию
личных фото (как это сделано в дорожках веб классификации).

Кстати, если ее собирать - нужно придумать соглашение для человека желающего
пожертвовать свои фотографии. Его можно наверное предлагать только онлайн,
но как-то оформлять следы того от куда взялась данная конкретная фотография
и почему мы можем ее перераспространять важно, чтобы потом не мучиться с
обоснованием чистоты коллекции.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

RE: [romip] RE: дорожка по поиску изображений

Postby vasnatalia » Fri Feb 22, 2008 8:27 am

Добрый день,

> > > Я вижу следующие возможные дорожки:
> > >
> > > 1) поиск нечетких дубликатов;
> > > 2) классификация изображений;
> > > 3) автоаннотирование;
> > > 4) поиск по изображению-образцу;
> > > 5) поиск по текстовому запросу в частично-аннотированной базе;
> > > 6) обнаружение и распознавание лиц.
> >
> > из практических соображений на первй год мне кажется надо
> > остановиться на 1 или 2 max.
> > Иначе будет мало участников на дорожку.
>
> Готов поучаствовать в дорожках 4 и 6. Дорожку 6) нужно уточнить - с
> обнаружением лиц вобщем-то понятно, но под распознаванием может
> пониматься как идентификация личности, так и распознавание эмоций,
> определение пола и возраста.

Все дорожки надо еще уточнять, это лишь примерный список возможных задач.
Касательно 6-ой, я изначально имела ввиду идентификацию личности, но можно и
иначе поставить задачу. Что интереснее? Я исходила из того, что
распознованием личностей потенциально больше занимаются, значит шансов
привлечь на такую дорожку больше. Может я и не права.
А про участие в 4-ой - это хорошо. Значит у нас есть уже 2 потенциальных
участника на эту дорожку. Если к этому добавить то, что базу для этой
дорожки подготовить проще всего, то думаю, что можно ее выносить в финальный
список.

> В качестве тестовой коллекции для идентификации личности по
> изоббражению лица предлагаю использовать базу лиц, составленную Dr.
> Libor Spacek, http://cswww.essex.ac.uk/mv/allfaces/index.html
> Эта база лиц содержит фотографии 395 чел, по 20 изображений для каждой
персоны.
>
> С базами лиц есть одна проблема: практически во всех базах личность
> можно определить по имени файла (очень удобно для автоматической
> оценки надежности), что позволяет легко фальсифицировать результаты...
> В связи с этим нужно будет что-то придумывать.

С базами лиц, насколько я могу судить, проблем особых быть не должно. Вот
тут еще есть база из 41368 изображений всего для 68 человек - фотографии с
различными эмоциями, в разных условиях освещенности, в фас и в профиль.
http://www.ri.cmu.edu/projects/project_418.html

Ну а проблему с именами файлов можно решить просто - переименовать их все
произвольным образом, сохранив пары старое-новое имя. Тогда и оценивать
будет просто, и решим вопрос с фальсификацией.

> > а звучавшая на встрече РОМИП'2007 идея сделать коллекцию из
персональных
> > фото по каким причинам не подходит?
> >
> > Подходит. Но эта коллекция будет без аннотаций (ну или ее надо как-то
аннотировать, что очень трудоемко). А значит по ней > можно запускать
только поиск по изображению-образцу.
>
> Коллекция из персональных фото вполне подходит для поиска по образцу
> (4) и для обнаружения лиц на изображениях (6). Из нее можно будет
> сделать коллекцию нечетких дубликатов, например применив к каждому
> изображению одно или несколько случайных преобразований, таких как
> сильное сжатие с потерями, кадрирование, размытие, поворот и т.п.
> Я думаю не составляет сложности собрать коллекцию размером 15-20 тыс.
> изображений. И что самое главное, эта коллекция будет коллекцией
> _РОМИП_ и мы сами будем определять правила для ее использования.

С дубликатами еще интересно, когда они получены не автоматическим путем.
Например, один и тот же человек в разных позах на одном и том же фоне. Но,
согласна, что можно и на преобразованной таким образом коллекции запустить
поиск дубликатов.

Когда обсуждали идею этой коллекции, говорили, что хорошо бы еще получить
согласие всех тех людей, которые встречаются на фотографиях, на то что их
фото будет использоваться в таких целях. Плюс надо озаботиться вопросом
уменьшения размера таких фотографий - например, мой фотоаппарат выдает на
выходе файлы под 2М каждый. Так что наверно имеет смысл раздавать некий тул,
уменьшающий размер фотографий в каталоге до определенного размера, всем
согласным пожертвовать свои фото в банк фотографий.

По поводу места для хранения коллекции, у РОМИПа есть свой сервер, где
централизованно лежат все используемые коллекции..?

С уважением,
Наталья Васильева.



Yahoo! Groups Links
vasnatalia
Оргкомитет
 
Posts: 15
Joined: Fri Jul 06, 2007 7:14 am

RE: [romip] RE: дорожка по поиску изображений

Postby neigor » Fri Feb 22, 2008 8:42 am

> По поводу места для хранения коллекции, у РОМИПа есть свой сервер, где
> централизованно лежат все используемые коллекции..?

в общем виде коллекции не доступны онлайн, поскольку их получение
требует подписания соглашения.

Есть romip.ru, но текущий тарифный план не позволит нам выложить все
коллекции все равно (это уже десятки гигабайт для текущих коллекций).

мы можем сделать на romip.ru upload форму для небольших (десятки мегабайт
max) пожертвований. Если речь идет о больших объемах, то надо договариваться
отдельно как забрать данные.

Кроме того форма с romip.ru может прокидывать и на другой сервер,
к человеку который будет заниматься формированием этой коллекции.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: [romip] RE: дорожка по поиску изображений

Postby goncharov.alexander » Fri Feb 22, 2008 10:29 am

> С базами лиц, насколько я могу судить, проблем особых быть не должно. Вот
> тут еще есть база из 41368 изображений всего для 68 человек - фотографии с
> различными эмоциями, в разных условиях освещенности, в фас и в профиль.
> http://www.ri.cmu.edu/projects/project_418.html

ИМХО, если говорить об идентификации личности, то база лиц, в которой
представлены по 3 фото для тысячи чел, лучше чем база, в которой по
100 фото для 30 чел., т.к. это больше соответствует реальным условиям.
Когда осуществляется поиск лица, есть, как правило, лишь несколько
фотографий-образцов, а запрос производтися по базе, в которой
представлены фото бооольшого числа персон..

> Ну а проблему с именами файлов можно решить просто - переименовать их все
> произвольным образом, сохранив пары старое-новое имя. Тогда и оценивать
> будет просто, и решим вопрос с фальсификацией.

Не просто. я еще не встречал базы лиц, которые разрешено было бы
изменять и перераспространять. Если мы скачаем чью-то базу, изменим ее
и будем раздавать другим - это нарушение условий использования.
Возможно нам и удастся с кем-то договориться, а именно получить
разрешение на такие манипуляции...

> Когда обсуждали идею этой коллекции, говорили, что хорошо бы еще получить
> согласие всех тех людей, которые встречаются на фотографиях, на то что их
> фото будет использоваться в таких целях.

Это действительно важно, а сделать судя по всему не просто. Если
загрузить свои фото для большинства людей не проблема (я надеюсь), то
собирать разрешения всех, кто изображен на фото наверно никто не
захочет. Для контекстного поиска изображений, можно ограничется
фотографиями без людей.

> Плюс надо озаботиться вопросом
> уменьшения размера таких фотографий - например, мой фотоаппарат выдает на
> выходе файлы под 2М каждый. Так что наверно имеет смысл раздавать некий тул,
> уменьшающий размер фотографий в каталоге до определенного размера, всем
> согласным пожертвовать свои фото в банк фотографий.

В качестве такого инструмента вполне подойдут стандартные средства: в
photoshop, gimp, ACDSee, и даже в стандартных средствах MS Windows
есть возможность пакетной обработки файлов.
Нужно сформулировать требования к изображением после обработки:
ограничение на максимальный размер (например 640х480), максимальная
степень сжатия jpeg (например не более 60%)

С уважением, Александр Гончаров
goncharov.alexander
 
Posts: 7
Joined: Thu Feb 21, 2008 8:06 am

Re: [romip] новый цикл РОМИП

Postby segalovich » Thu Feb 28, 2008 5:30 pm

Igor Nekrestyanov пишет:
>> IS> Привлечь государство идею не поддерживаю. Делать из РОМИП
>> IS> "структуру самоокупаемости" - тоже не поддерживаю. И первое и
>> IS> второе проходили не раз, ни к чему хорошему оно не приводит.
>>
>> у меня лично есть ощущение, что в последние годы у РОМИП есть
>> элементарные организационные проблемы
>
> да, мы часто не успеваем :(
> свежая кровь конечно не помешает
>
>> пример RUSSIR показывает, что есть надежда привлечь для организации
>> молодых людей, расширить аудиторию и географию
>>
>> но, очевидно, им нужна поддержка
>>
>> кажется, что могли бы помочь совершенно небольшие деньги на ведение
>> сайта, подготовку публикации, переписку и т.п.
>
> я не уверен что деньги это главное,
> главное - энтузиазм и время.

Примерно такое же впечатление и у меня.

>
> Хотя конечно дополнительный бюджет упростил бы некоторые активности,
> поскольку их можно было бы спокойно делегировать.

Давайте сформулируем какие активности нам нужно финансировать,
в каком объеме.

Как минимум, Яндекс сможет выступить спонсором,
другое дело, что если мы будем единственным спонсором, это
видимо, будет не очень хорошо.


> Но возможно настало время попробовать сделать РОМИП менее централизованным.
> Привлечь моложежь было бы идеально.

Я попробую еще что-то сделать с ШАД.

Прямо сейчас студенты ШАД-а "играют" в Web Spam Challenge
http://webspam.lip6.fr/wiki/pmwiki.php

Илья

> -igor
segalovich
Оргкомитет
 
Posts: 46
Joined: Fri Jan 31, 2003 1:21 pm

Re[2]: [romip] RE: дорожка по поиску изображений

Postby pb » Tue Mar 04, 2008 11:34 am

ДОбрый день,

случайно попал на страницу http://www.ccsu.edu/library/tomaiuolon/images.htm
Там есть список галерей, содержание которых можно использовать в
некоммерческих целях. Возможно, это будет вам интересно.

ПБ

Thursday, February 21, 2008, 8:04:16 PM, you wrote:

> Здравствуйте!

> 21.02.08, Natalia Vasilieva natalia@...> написал(а):
>>
>> Всем добрый день,
>>
>> > Я вижу следующие возможные дорожки:
>> >
>> > 1) поиск нечетких дубликатов;
>> > 2) классификация изображений;
>> > 3) автоаннотирование;
>> > 4) поиск по изображению-образцу;
>> > 5) поиск по текстовому запросу в частично-аннотированной базе;
>> > 6) обнаружение и распознавание лиц.
>>
>> из практических соображений на первй год мне кажется надо
>> остановиться на 1 или 2 max.
>> Иначе будет мало участников на дорожку.

> Готов поучаствовать в дорожках 4 и 6. Дорожку 6) нужно уточнить - с
> обнаружением лиц вобщем-то понятно, но под распознаванием может
> пониматься как идентификация личности, так и распознавание эмоций,
> определение пола и возраста.

> В качестве тестовой коллекции для идентификации личности по
> изоббражению лица предлагаю использовать базу лиц, составленную Dr.
> Libor Spacek, http://cswww.essex.ac.uk/mv/allfaces/index.html
> Эта база лиц содержит фотографии 395 чел, по 20 изображений для каждой
персоны.

> С базами лиц есть одна проблема: практически во всех базах личность
> можно определить по имени файла (очень удобно для автоматической
> оценки надежности), что позволяет легко фальсифицировать результаты...
> В связи с этим нужно будет что-то придумывать.

>> а звучавшая на встрече РОМИП'2007 идея сделать коллекцию из персональных
>> фото по каким причинам не подходит?
>>
>> Подходит. Но эта коллекция будет без аннотаций (ну или ее надо
>> как-то аннотировать, что очень трудоемко). А значит по ней можно
>> запускать только поиск по изображению-образцу.

> Коллекция из персональных фото вполне подходит для поиска по образцу
> (4) и для обнаружения лиц на изображениях (6). Из нее можно будет
> сделать коллекцию нечетких дубликатов, например применив к каждому
> изображению одно или несколько случайных преобразований, таких как
> сильное сжатие с потерями, кадрирование, размытие, поворот и т.п.
> Я думаю не составляет сложности собрать коллекцию размером 15-20 тыс.
> изображений. И что самое главное, эта коллекция будет коллекцией
> _РОМИП_ и мы сами будем определять правила для ее использования.

> В связи с этим предлагаю всем внести свой вклад в формирование
> коллекции картинок. Нужно только определить место куда их загружать.

> С уважением, Александр Гончаров



> Yahoo! Groups Links
pb
Оргкомитет
 
Posts: 72
Joined: Mon Feb 10, 2003 11:52 am

RE: [romip] RE: дорожка по поиску изображений

Postby vasnatalia » Tue Mar 04, 2008 5:55 pm

Здравствуйте!

Хочу суммировать основные идеи и замечания, высказанные по картиночным дорожкам.

Предварительный список дорожек, из которого надо что-то выбрать (можем
рассматривать и другие дорожки, если будет уверенность, что в них будут
участвовать):

1) поиск нечетких дубликатов;
2) классификация изображений;
3) автоаннотирование;
4) поиск по изображению-образцу;
5) поиск по текстовому запросу в частично-аннотированной базе;
6) обнаружение и распознавание лиц.

Для того, чтобы утвердить ту или иную дорожку было предложено руководствоваться
следующими критериями:
- количество потенциальных участников (чем больше, тем лучше);
- интерес к теме в мире, возможность заинтересовать иностранных участников;
- новизна - есть ли похожие дорожки в рамках других инициатив по оценке поиска
(ImageCLEF, ImagEval, TRECVID);
- наличие необходимой коллекции (или возможность ее создать/получить).

Я устроила небольшой опрос, посылая письма с предложением поучаствовать в РОМИП
и с просьбой указать наиболее интересные дорожки авторам-участникам
Интернет-Математики 2005 и 2007 годов, чьи работы были связаны с изображениями.
Почти все письма остались без ответов.

Просьба ко всем, если кто-нибудь знает контакты людей в России или за ее
пределами, которым возможно было бы интересно поучаствовать в инициативе по
картинкам - дайте пожалуйста знать.

На данный момент "самой популярной" дорожкой является дорожка 4) - поиск по
изображению-образцу. Есть подтверждение о желании участвовать от 3-х групп
(Александр Гончаров (Таганрог), Наталья Васильева (Санкт-Петербург), Николай
Пономаренко (Харьков)). Думаю, мы сможем найти еще участников на эту дорожку. Но
такая же дорожка есть на ImageCLEF - задача не новая.

Мы говорили, что на первый год имеет смысл запустить небольшое число дорожек, 2
или даже одну. Я предлагаю оставить дорожку 4) и, возможно 6). Для участия в
дорожках 1) - 5) можно использовать одни и те же признаки, а значит те, кто
может участвовать в одной из них скорее всего смогут участвовать и в другой. При
этом 4) является в некотором смысле основой для остальных. 6) удовлетворяет
большинству из упомянутых выше критериев: решением этой задачи занимаются
многие, задача интересная, похожих дорожек в рамках других инициатив я не
видела, вопрос с коллекцией, похоже, решаем.

По коллекциям для этих дорожек (4), 6)):
Высказывали предложение собрать свою коллекцию из персональных фотоальбомов
добровольцев. Помимо этого я списалась с Flickr - они сразу не отказали в
возможности использовать их базу, но пока и не дали окончательного согласия. Жду
очередного ответа от них.

Для 6) есть несколько возможных коллекций. Были высказаны следующие критерии
отбора коллекции:
- общий объем коллекции;
- соотношение числа людей, чьи лица есть в коллекции, и количества снимков на
каждого человека (на мой взгляд, от этого параметра зависит характер задачи:
когда лиц много, снимков для каждого мало: алгоритм идентификации должен быть
способен хорошо различать черты лиц разных людей; когда лиц мало, снимков для
каждого много - акцент на инвариантность применяемых признаков относительно
изменений условий съемки);
- невозможность определить по названию файла, чья это фотография, или право
переименовывать файлы с изображениями.

Я ничего важного не упустила?

Еще раз повторю свою просьбу: если кто-нибудь знает тех, кому возможно было бы
интересно участвовать в картиночных дорожках, дайте пожалуйста знать, или
свяжитесь с ними с просьбой указать, какие дорожки для них интереснее.

С уважением,
Наталья Васильева.
vasnatalia
Оргкомитет
 
Posts: 15
Joined: Fri Jul 06, 2007 7:14 am

Previous

Return to Общие вопросы

Who is online

Users browsing this forum: No registered users and 12 guests