Здравствуйте!
В коллекции by.web попадаются документы кодировках,
отличных от windows-1251.
Попадаются документы в кодировке utf-8:
id="7169" url="http://www.news2.by/story.php?id=1836"
id="4847"
url="http://holiday.by/fotkaby.asp?country=6&kw=%D0%A1%D0%B0%D0%BD%D0%BA%D1%82-%\
D0%9F%D0%B5%D1%80%D0%B5%D1%80%D0%B1%D1%83%D1%80%D0%B3"
id="3198" url="http://www.holiday.by/agency.asp?id=401"
id="4793" url="http://www.holiday.by/coupon.asp?id=35699"
id="5118" url="http://www.holiday.by/fotkaby.asp?country=24"
id="7169" url="http://www.news2.by/story.php?id=1836"
id="35373" url="http://mp3.ac.by/Artist/2075786/D_Banks/mp3/?lsid=8cdca77414
ff8b0201538ca14268ae3a"
Что с ними делать?
Индексировать или игнорировать?
Спасибо!