новый цикл РОМИП

Общие обсуждения - потенциальные будущие дорожки, использование материалов РОМИП вне семинара, очные встречи и прочие вопросы для которых нет отдельной подтемы

Postby neigor » Mon Feb 18, 2008 12:29 am

Добрый день всем,

Мы все еще закрываем хвосты по прошлогоднему циклу РОМИП (но все доделаем).

Тем не менее уже пора начать обсуждение и сбор заявок на участие в РОМИП 2008.
Пока в 2008 не предвидится появление новых текстовых коллекций,
набор дорожек открыт и как обычно будет зависеть от числа желающих
участвовать.

Если вы заинтересованы в каких-то новых дорожках или изменении правил
- самое время высказаться и обсудить правила.

Например, как насчет дорожки по поиску картинок. Есть заинтересованные и
где взять коллекцию?

Если есть идеи как расширить круг участников - это тоже очень приветствуется.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

RE: [romip] новый цикл РОМИП

Postby vasnatalia » Mon Feb 18, 2008 7:00 pm

Добрый вечер,

к вопросу о дорожках по картинкам.

Я вижу следующие возможные дорожки:

1)═поиск нечетких дубликатов;
2)═классификация изображений;
3)═автоаннотирование;
4)═поиск по изображению-образцу;
5)═поиск по текстовому запросу в частично-аннотированной базе;
6)═обнаружение и распознавание лиц.

Какие коллеции можно использовать:

Для дорожек 2), 3) подойдет═коллекция Вашингтонского университета, которую вроде как можно свободно использовать для наших целей: http://www.cs.washington.edu/research/i ... oundtruth/
Эту же коллецию можно использовать и для 4) и 5).
Недостаток коллекции - она небольшая.

Другой вариант коллекции - база Flickr. Согласно их сайту, фотографии можно использовать в некоммерческих целях, сохраняя ссылки на на сайт Flickr, где лежит оригинал фотографии. Их коллекция подошла бы для дорожек 4), 5).

Для дорожки 6) можно использовать одну из коллекций, перечисленных здесь в разделе faces and facial expressions:
http://peipa.essex.ac.uk/benchmark/databases/

Пока совсем нет вариантов коллекции для дорожки 1). Ищу варианты...

Мне было бы интересно поучаствовать в 1) от HP Labs и в 4), 5) (возможно и в 2) )═в составе═команды СПбГУ.

С уважением,
Наталья Васильева.
vasnatalia
Оргкомитет
 
Posts: 15
Joined: Fri Jul 06, 2007 7:14 am

Re: [romip] новый цикл РОМИП

Postby dobroff2003 » Mon Feb 18, 2008 7:27 pm

Добрый день, уважаемые коллеги,

Monday, February 18, 2008, 2:29:27 AM, you wrote:

IN> Тем не менее уже пора начать обсуждение и сбор заявок на участие в РОМИП
2008.
IN> Пока в 2008 не предвидится появление новых текстовых коллекций,
IN> набор дорожек открыт и как обычно будет зависеть от числа желающих
IN> участвовать.

IN> Если вы заинтересованы в каких-то новых дорожках или изменении правил
IN> - самое время высказаться и обсудить правила.

У меня есть предложение оживить РОМИП путем ориентации на решение
социально-значимых реальных задач.

предлагаю добавить новые дорожки по "специальной" классификации
контента, прежде всего общественно-полезной:

- "детский фильтр" (документов, запросов), включая:
--- контент для взрослых
--- наркотики и т.п.
--- прочие криминальные и социопатические вещи:
----- национальная рознь
----- "настольная книга анархиста"

кажется, что это может:
- во-первых, как-то по новому заинтересовать участников
- во-вторых, полученные результаты (ресурсы) будут социально значимы
- в-третьих, в настоящее время участники РОМИП не извлекают выгоду из
подобной деятельности - результаты могут быть переданы РОМИП для
самоокупаемости
- в-четверных, потенциально может привлечь государство и /или частные
фонды для спонсирования РОМИП
- в-пятых, какой-то рынок сейчас здесь есть, но он какой-то мутный
(могу ошибаться) - м.б. немного расчистим

IN> Если есть идеи как расширить круг участников - это тоже очень
IN> приветствуется.

все больше убеждаюсь, что надо писать на английском (или и на русском
и на английском)

--
С наилучшими пожеланиями,
Борис Добров
dobroff2003
Оргкомитет
 
Posts: 83
Joined: Fri May 23, 2003 9:52 am

RE: дорожка по поиску изображений

Postby neigor » Wed Feb 20, 2008 12:46 am

> Я вижу следующие возможные дорожки:
>
> 1) поиск нечетких дубликатов;
> 2) классификация изображений;
> 3) автоаннотирование;
> 4) поиск по изображению-образцу;
> 5) поиск по текстовому запросу в частично-аннотированной базе;
> 6) обнаружение и распознавание лиц.

из практических соображений на первй год мне кажется надо
остановиться на 1 или 2 max.
Иначе будет мало участников на дорожку.

Поэтому выбирать можно ту что интересна большинству, но ту что
реально организовать.

вопрос: какие требования к размеру коллекции для того чтобы эти дорожки были
a) интересны (как по масштабу так и не фальсифицируемости)
b) выполнимы не только крупной компанией

> Какие коллеции можно использовать:
>
> Для дорожек 2), 3) подойдет коллекция Вашингтонского университета, которую
> вроде как можно свободно использовать для наших целей:
> http://www.cs.washington.edu/research/imagedatabase/groundtruth/
> Эту же коллецию можно использовать и для 4) и 5).
> Недостаток коллекции - она небольшая.

а где там написано что можно использовать и кому принадлежат права?

нам нужно либо
a) право перераспространять для исследовательских целей
b) либо url с которого все еще долгое время смогут и сами скачать коллекцию

а звучавшая на встрече РОМИП'2007 идея сделать коллекцию из персональных
фото по каким причинам не подходит?

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: социально-значимые дорожки

Postby neigor » Wed Feb 20, 2008 12:51 am

> IN> Если вы заинтересованы в каких-то новых дорожках или изменении правил
> IN> - самое время высказаться и обсудить правила.
>
> У меня есть предложение оживить РОМИП путем ориентации на решение
> социально-значимых реальных задач.
>
> предлагаю добавить новые дорожки по "специальной" классификации
> контента, прежде всего общественно-полезной:
>
> - "детский фильтр" (документов, запросов), включая:
> --- контент для взрослых
> --- наркотики и т.п.
> --- прочие криминальные и социопатические вещи:
> ----- национальная рознь
> ----- "настольная книга анархиста"
>
> кажется, что это может:
> - во-первых, как-то по новому заинтересовать участников
> - во-вторых, полученные результаты (ресурсы) будут социально значимы
> - в-третьих, в настоящее время участники РОМИП не извлекают выгоду из
> подобной деятельности - результаты могут быть переданы РОМИП для
> самоокупаемости
> - в-четверных, потенциально может привлечь государство и /или частные
> фонды для спонсирования РОМИП
> - в-пятых, какой-то рынок сейчас здесь есть, но он какой-то мутный
> (могу ошибаться) - м.б. немного расчистим

с точки зрения оценки тут кажется нет каких-либо принципиальных проблем.

ключевой вопрос: кто еще в подобной дорожке заинтересован?

> IN> Если есть идеи как расширить круг участников - это тоже очень
> IN> приветствуется.
>
> все больше убеждаюсь, что надо писать на английском (или и на русском
> и на английском)

возможно и так, с другой стороны не хочется терять тех русскоязычных коллег,
кто чувствует себя менее комфортно при общении на английском.

Но например для дорожки по поиску изображении можно попробовать поставить
эксперимент и завести еще один алиас, а при успехе туда мигрировать.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

Re: [romip] Re: социально-значимые дорожки

Postby maxgubin » Wed Feb 20, 2008 4:35 am

Всем привет!

> > предлагаю добавить новые дорожки по
"специальной" классификации
> > контента, прежде всего
общественно-полезной:
> >
> > - "детский фильтр" (документов, запросов),
включая:
> > --- контент для взрослых
> > --- наркотики и т.п.
> > --- прочие криминальные и социопатические
вещи:
> > ----- национальная рознь
> > ----- "настольная книга анархиста"

А подразумевается ли наличие "обучающей
выборки"? Просто эти темы очень
отличаются по трудности. Взрослый
сексуальный контент скорее всего 100%
понятен, но это в основном мультимедия, а
"настольная книга анархиста",
скорее всего трудно будет найти
специалистов с более 30% согласия.
По-моему здесь и кроется причина, что рынок
"мутный".
Вообще идея фильтрации "взрослого" контента
интересна, хотя я не уверен,
что готов лично участвовать. Но то
приложение где я с этим сталкивался
это мультимедиа, скорее даже только
картинки (видео - набор картинок).
Это, кстати несколько пересекается с
предложениями Натальи (только не
лица, а вы сами знаете что ;)).

Может тут найдутся заинтересованные?


> > все больше убеждаюсь, что надо писать на
английском (или и на
> русском
> > и на английском)
Абсолютно согласен. Только в пятницу
разговаривал с людьми из
итальянского университета в Пизе. Все
интересно, но чувствуется что люди
не уверены, не хотят показаться белыми
воронами. Были бы статьи на
английском, можно было бы активно
приглашать всех подряд, многие бы с
удовольствием прогоняли эксперименты на
"иноязычных" коллекциях.

Максим
maxgubin
Оргкомитет
 
Posts: 86
Joined: Fri Jul 04, 2003 3:54 am

Re: [romip] новый цикл РОМИП

Postby segalovich » Wed Feb 20, 2008 7:55 am

Добрый день всем.

По поводу английского, я - за. И всегда был "за".
Ключевой вопрос здесь: требовать или разрешать?
Второе всегда было, так ведь? А если требовать
не отсечем ли мы кого-нибудь хорошего?
(для сравнения: CSR требует английский, вроде
им это не мешает)

По поводу дорожек фильтрации: интересен
разве что порно (а.к.а. взрослый) контент,
например уметь отличать его от невинной медицины,
остальные - сомнительны.

Привлечь государство идею не поддерживаю.
Делать из РОМИП "структуру самоокупаемости"
- тоже не поддерживаю.
И первое и второе проходили не раз, ни к чему хорошему
оно не приводит.

Малое число дорожек - вполне разумная идея.
Дубликаты не очень интересны.

1. Веб-поиск - а куда без него?

2. Можно попробовать сделать дорожку по спаму,
посмотрите на http://webspam.lip6.fr/wiki/pmwiki.php
мы сейчас в нее немного играем.

Илья

Boris V. Dobrov пишет:
> Добрый день, уважаемые коллеги,
>
> Monday, February 18, 2008, 2:29:27 AM, you wrote:
>
> IN> Тем не менее уже пора начать обсуждение и сбор заявок на участие в РОМИП
2008.
> IN> Пока в 2008 не предвидится появление новых текстовых коллекций,
> IN> набор дорожек открыт и как обычно будет зависеть от числа желающих
> IN> участвовать.
>
> IN> Если вы заинтересованы в каких-то новых дорожках или изменении правил
> IN> - самое время высказаться и обсудить правила.
>
> У меня есть предложение оживить РОМИП путем ориентации на решение
> социально-значимых реальных задач.
>
> предлагаю добавить новые дорожки по "специальной" классификации
> контента, прежде всего общественно-полезной:
>
> - "детский фильтр" (документов, запросов), включая:
> --- контент для взрослых
> --- наркотики и т.п.
> --- прочие криминальные и социопатические вещи:
> ----- национальная рознь
> ----- "настольная книга анархиста"
>
> кажется, что это может:
> - во-первых, как-то по новому заинтересовать участников
> - во-вторых, полученные результаты (ресурсы) будут социально значимы
> - в-третьих, в настоящее время участники РОМИП не извлекают выгоду из
> подобной деятельности - результаты могут быть переданы РОМИП для
> самоокупаемости
> - в-четверных, потенциально может привлечь государство и /или частные
> фонды для спонсирования РОМИП
> - в-пятых, какой-то рынок сейчас здесь есть, но он какой-то мутный
> (могу ошибаться) - м.б. немного расчистим
>
> IN> Если есть идеи как расширить круг участников - это тоже очень
> IN> приветствуется.
>
> все больше убеждаюсь, что надо писать на английском (или и на русском
> и на английском)
>
segalovich
Оргкомитет
 
Posts: 46
Joined: Fri Jan 31, 2003 1:21 pm

Re[2]: [romip] новый цикл РОМИП

Postby dobroff2003 » Wed Feb 20, 2008 1:34 pm

Добрый день, коллеги,

IS> Привлечь государство идею не поддерживаю. Делать из РОМИП
IS> "структуру самоокупаемости" - тоже не поддерживаю. И первое и
IS> второе проходили не раз, ни к чему хорошему оно не приводит.

у меня лично есть ощущение, что в последние годы у РОМИП есть
элементарные организационные проблемы

пример RUSSIR показывает, что есть надежда привлечь для организации
молодых людей, расширить аудиторию и географию

но, очевидно, им нужна поддержка

кажется, что могли бы помочь совершенно небольшие деньги на ведение
сайта, подготовку публикации, переписку и т.п.

Однако, даже таких небольших денег у РОМИП нет.

Желателен сравнительно небольшой, но постоянный (на несколько лет) грант
Конечно, лучше может и не вязаться с государством, но насколько
предсказуемы другие перспективы.

Еще один возможный выход - образовать у некоммерческого партнерства
"ничью собственность" для пусть частичной самопрокормки.
(я слыша, что Стэнфордский университет получает какие-то отчисления от
Гугла - так что преценденты есть).

IS> По поводу дорожек фильтрации: интересен разве что порно (а.к.а.
IS> взрослый) контент, например уметь отличать его от невинной
IS> медицины, остальные - сомнительны.

Достоинство социально-значимых дорожек:
- результаты полезны для участников
- результаты полезны для общества
- все, в общем, в равных условиях (возможная мотивация - достаточно
интересно получить новые результаты)
- неплохой пиар для РОМИП

MG> А подразумевается ли наличие "обучающей выборки"? Просто эти темы
MG> очень отличаются по трудности. Взрослый сексуальный контент скорее
MG> всего 100% понятен, но это в основном мультимедия, а "настольная
MG> книга анархиста", скорее всего трудно будет найти специалистов с
MG> более 30% согласия. По-моему здесь и кроется причина, что рынок
MG> "мутный".

собственно, в рамках РОМИП мы решаем не одну, но несколько интересных
задач:
- сделать методы поиска более релевантными
- при этом постараться понять, что же имелось в виду под
"релевантностью"
и еще неизвестно, какая задача важнее

"Очищение" может наступить, если мы сможем (если сможем, конечно)
детализировать критерии и т.п.


С уважением,
Борис Добров
dobroff2003
Оргкомитет
 
Posts: 83
Joined: Fri May 23, 2003 9:52 am

Re[2]: [romip] новый цикл РОМИП

Postby neigor » Wed Feb 20, 2008 9:50 pm

> IS> Привлечь государство идею не поддерживаю. Делать из РОМИП
> IS> "структуру самоокупаемости" - тоже не поддерживаю. И первое и
> IS> второе проходили не раз, ни к чему хорошему оно не приводит.
>
> у меня лично есть ощущение, что в последние годы у РОМИП есть
> элементарные организационные проблемы

да, мы часто не успеваем :(
свежая кровь конечно не помешает

> пример RUSSIR показывает, что есть надежда привлечь для организации
> молодых людей, расширить аудиторию и географию
>
> но, очевидно, им нужна поддержка
>
> кажется, что могли бы помочь совершенно небольшие деньги на ведение
> сайта, подготовку публикации, переписку и т.п.

я не уверен что деньги это главное,
главное - энтузиазм и время.

Хотя конечно дополнительный бюджет упростил бы некоторые активности,
поскольку их можно было бы спокойно делегировать.

Но возможно настало время попробовать сделать РОМИП менее централизованным.
Привлечь моложежь было бы идеально.

-igor
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm

RE: [romip] RE: дорожка по поиску изображений

Postby vasnatalia » Thu Feb 21, 2008 1:43 pm

Всем добрый день,

> Я вижу следующие возможные дорожки:>> 1) поиск нечетких дубликатов;> 2) классификация изображений;> 3) автоаннотирование;> 4) поиск по изображению-образцу;> 5) поиск по текстовому запросу в частично-аннотированной базе;> 6) обнаружение и распознавание лиц.из практических соображений на первй год мне кажется надо остановиться на 1 или 2 max.Иначе будет мало участников на дорожку.Поэтому выбирать можно ту что интересна большинству, но ту что реально организовать.

С этим согласна полностью. Просто чтобы понять, что интересно большинству, нужен хотя бы примерный начальный список, что реально организовать и из чего можно выбирать. Я с начала недели начала рассылать письма тем, кто может быть заинтересован в участии на мой взгляд, с просьбой отвтетить, в чем было бы интересно поучаствовать. Ответов что-то пока нет :(

вопрос: какие требования к размеру коллекции для того чтобы эти дорожки былиa) интересны (как по масштабу так и не фальсифицируемости)b) выполнимы не только крупной компанией
С фальсифицируемостью - не знаю, сколько изображний нельзя просмотреть вручную, чтобы отобрать нужные? Если задасться такой целью, то можно просмотреть много, на мой взгляд. В честность участников мы не верим?
Судить о качестве результатов═мне кажется═уже можно даже на нескольких тысячах изображений (скажем, ~5000 - 10000═хороший размер, на мой взгляд).═И═такой размер под силу точно не только крупной компании.═С точки═зрения проверки производительности системы было бы интересно попробовать и═на коллекциях покрупнее, но это можно поставить в планы на будущее - большую коллекцию сложнее найти и, понятно, сложнее оценивать.══

> Какие коллеции можно использовать:>> Для дорожек 2), 3) подойдет коллекция Вашингтонского университета, которую> вроде как можно свободно использовать для наших целей:> http://www.cs.washington.edu/research/i ... oundtruth/> Эту же коллецию можно использовать и для 4) и 5).> Недостаток коллекции - она небольшая.а где там написано что можно использовать и кому принадлежат права?нам нужно либоa) право перераспространять для исследовательских целейb) либо url с которого все еще долгое время смогут и сами скачать коллекцию
Хм, написано, что можно использовать на разных сайтах, но на сайте самого университета я такой фразы не нашла. Но там есть ссылка на коллекцию. Попробую написать кому-нибудь из команды, на сайте которой есть эта ссылка.

а звучавшая на встрече РОМИП'2007 идея сделать коллекцию из персональныхфото по каким причинам не подходит?
Подходит. Но эта коллекция будет без аннотаций (ну или ее надо как-то аннотировать, что очень трудоемко). А значит по ней можно запускать только поиск по изображению-образцу.


С уважением,
Наталья Васильева.
vasnatalia
Оргкомитет
 
Posts: 15
Joined: Fri Jul 06, 2007 7:14 am

Next

Return to Общие вопросы

Who is online

Users browsing this forum: No registered users and 13 guests

cron