By.WEB + UTF-8

Классическая задача поиска по запросу (ad-hoc track), поиск по образцу

By.WEB + UTF-8

Postby bar » Fri Jul 04, 2008 7:46 am

Здравствуйте!

В коллекции by.web попадаются документы кодировках,
отличных от windows-1251.

Попадаются документы в кодировке utf-8:


id="7169" url="http://www.news2.by/story.php?id=1836"
id="4847"
url="http://holiday.by/fotkaby.asp?country=6&kw=%D0%A1%D0%B0%D0%BD%D0%BA%D1%82-%\
D0%9F%D0%B5%D1%80%D0%B5%D1%80%D0%B1%D1%83%D1%80%D0%B3"
id="3198" url="http://www.holiday.by/agency.asp?id=401"
id="4793" url="http://www.holiday.by/coupon.asp?id=35699"
id="5118" url="http://www.holiday.by/fotkaby.asp?country=24"
id="7169" url="http://www.news2.by/story.php?id=1836"
id="35373" url="http://mp3.ac.by/Artist/2075786/D_Banks/mp3/?lsid=8cdca77414
ff8b0201538ca14268ae3a"

Что с ними делать?

Индексировать или игнорировать?

Спасибо!
bar
 
Posts: 9
Joined: Tue Aug 17, 2004 4:11 am

Re: By.WEB + UTF-8

Postby neigor » Fri Jul 04, 2008 7:50 am

На ваше усмотрение.

Согласно правилам, кодировка - 1251.
Это означает, что при проверке результатов асессор их увидит в этой кодироке
и, как следствие, документы в других кодировках будут скорее всего помечены
как "невозможно оценить".

-igor

On Fri, 4 Jul 2008, Alexander Barkov wrote:

> Здравствуйте!
>
> В коллекции by.web попадаются документы кодировках,
> отличных от windows-1251.
>
> Попадаются документы в кодировке utf-8:
>
>
> id="7169" url="http://www.news2.by/story.php?id=1836"
> id="4847"
>
url="http://holiday.by/fotkaby.asp?country=6&kw=%D0%A1%D0%B0%D0%BD%D0%BA%D1%82-%\
D0%9F%D0%B5%D1%80%D0%B5%D1%80%D0%B1%D1%83%D1%80%D0%B3"
> id="3198" url="http://www.holiday.by/agency.asp?id=401"
> id="4793" url="http://www.holiday.by/coupon.asp?id=35699"
> id="5118" url="http://www.holiday.by/fotkaby.asp?country=24"
> id="7169" url="http://www.news2.by/story.php?id=1836"
> id="35373" url="http://mp3.ac.by/Artist/2075786/D_Banks/mp3/?lsid=8cdca77414
> ff8b0201538ca14268ae3a"
>
> Что с ними делать?
>
> Индексировать или игнорировать?
>
> Спасибо!
>
neigor
Оргкомитет
 
Posts: 331
Joined: Sat Feb 08, 2003 2:06 pm


Return to Поисковые дорожки

Who is online

Users browsing this forum: No registered users and 3 guests

cron