Исследователи Microsoft разработали инструмент отгораживающий поисковые машины от крупных веб-сайтов, загрязняющих результаты поиска, что в конечном итоге должно помочь очистить веб от спама. Инструмент, называемый Strider Search Defender, предназначен для выявления веб-страниц, которые служат авангардом спамерских веб-сайтов. Обычно такие веб-страницы размещаются на сайтах блогов и других служб, предоставляющих бесплатное пространство в вебе. Спамеры засоряют веб бесчисленными ссылками на свои страницы, чтобы получить более высокий рейтинг в поисковых машинах. «Мы надеемся, что очистка веб-поиска отобьет у них охоту засорять веб», — прокомментировал в интервью главный исследователь Microsoft И-Минь Ван. Инструмент Microsoft не ищет спам традиционным способом, анализируя содержимое сайтов. Вместо этого он обращает деятельность спамеров против них самих, используя поисковые машины для поиска ссылок на потенциально спамерские веб-страницы. Эти ссылки, которые еще называют comment spam, часто размещаются в качестве комментариев в блогах, форумах и гостевых книгах. Search Defender отталкивается от списка веб-адресов известных спамеров. Компонент инструмента Spam Hunter пропускает эти адреса через поисковые машины с использованием запросов с меткой link:, чтобы найти страницы, указывающие на спамерские сайты. Дополнительные URL спамеров, обнаруженные на этих сайтах, тоже пропускаются через Spam Hunter, что приводит к формированию длинного списка потенциально спамерских сайтов. Затем, при помощи другого компонента, Strider URL Tracer, отфильтровываются ложные находки и составляется список веб-страниц, переадресовывающих на спамерские сайты. На самом деле Strider URL Tracer посещает каждый из веб-адресов, найденных Spam Hunter, и определяет, есть ли с него переадресация на другую спамерскую страницу. «Для их поиска мы применяем поисковые машины, — говорит Ван. — По существу, спамеры сами говорят нам: „Вот мои спамерские URL”». Для размещения своих форпостов спамеры используют самые разнообразные службы, такие как Tripod, Angelfire и Yahoo Geocities. Часто засоряются также службы блоггинга, причем особой популярностью пользуется Google Blogger на blogspot.com. Пытаясь найти способ очистки поисковых машин, исследователи Microsoft сотрудничают с группой MSN Search. Ван призвал веб-сообщество, особенно операторов блогов и служб бесплатного хостинга, скооперироваться для решения проблемы веб-спама. «В конечном итоге все сводится к защите поисковых машин. Если поисковые машины не будут находить спам, спамеры лшатся трафика», — пояснил он.
|