Обзор метапоисковиков: хорошие, плохие, ужасные…

Ни для кого не секрет, что сеть Интернет, содержащая постоянно растущий, огромный объем динамически изменяющейся информации, ныне развивается небывало бурными темпами. Для того чтобы хоть как-то упорядочить этот непрерывный поток данных и обрести над ним контроль, были созданы поисковые системы (ПС). К сожалению, пока ни одна из подобных систем не может в одиночку охватить все бесконечные ресурсы Интернета, тем более, даже алгоритмы поиска в уже проиндексированных документах у различных ПС существенно разнятся, что приводит к разным результатам при поиске даже по эквивалентной базе. Для решения данной проблемы и расширения возможностей поиска за счет агрегирования результатов поиска лучших ПС были созданы системы, названные метапоисковыми.
Итак, метапоиск – это внешне обычная поисковая машина, которая при поисковом запросе параллельно опрашивает несколько независимых традиционных ПС и возвращает их результаты одним, объединенным списком результатов, без дублирования ссылок и по возможности улучшая частные результаты выдачи, то есть выступая прозрачным посредником между вами и множеством ведущих ПС.

Преимущества и недостатки метапоиска

Главное преимущество – это возможность быстро и удобно сделать запрос через одну поисковую строку физически сразу ко многим ведущим ПС, что экономит ваше время, да и анализ единого листинга результатов намного проще, чем сличение множества разных листингов, с множеством дублирований результатов. Иначе говоря, при работе через метапоиск ваш угол обзора всегда будет существенно шире, чем через каждую ПС в отдельности. В качестве иллюстрации на примере из личного опыта: я постоянно сталкиваюсь с ситуацией, когда при поиске какого-то редкого документа (или программы) он может быть виден через один поиск, но отсутствовать в другом. Если бы ситуация сводилась к выбору лучшего поисковика – то все было бы относительно просто, так как на самом деле в реальной жизни таким “лучшим поисковиком” часто может выступать Google, тогда как в отдельных случаях Bing запросто находит то, что в упор не видит Google, сводя его “лидерство” практически на нет… Поэтому в реальной жизни метапоиск позволяет получить максимально сбалансированную выдачу, нивелируя недостатки отдельных ПС сильными сторонами конкурентов.

Общие недостатки метапоиска являются продолжением и логическим следствием его преимуществ. Так, очевидно, что у метапоиска отсутствует собственная индексная база, соответственно, вы не можете добавлять в его поиск URL своих сайтов. Второй очень важный недостаток такого поиска — это традиционные очень скромные синтаксические возможности для формулирования условий расширенного поиска. Поскольку метапоисковик может использовать в качестве доноров до 15-20 сторонних поисковых машин, то очевидно, что синтаксис расширенного поиска (булевы операции и т.п.) у всех поисковиков так или иначе будет отличаться. И хотя некоторые продвинутые метапоисковики “Новой школы” (см. о них ниже) пытаются на лету транслировать подобные сложные запросы в персональный диалект каждой отдельной ПС, в целом пока это еще редкость - поддержка разновидностей булевых и других расширенных операций пока в метапоиске очень ограничена.

Разновидности метапоиска

Чтобы двигаться дальше в описании возможностей метапоиска, следует сначала хотя бы в общих чертах описать самые типичные разновидности этого поиска. Наиболее стандартный тип метапоиска описывается в определении в начале нашей статьи, то есть это ПС, обеспечивающая параллельный запрос во множество обычных ПС, с последующей выдачей результата этих поисков в одной общей странице исходного метапоиска. Но кроме этого классического вида существуют и другие разновидности, в частности, варианты, когда результаты запроса подгружаются во фреймах в пределах одной метастраницы, причем в каждом фрейме отображается оригинальная страница с результатами целевой ПС (также возможен вариант открытия нескольких страниц с оригинальной выдачей на ваш запрос каждой подключенной ПС). Еще один распространенный вариант – это наличие формы поиска, в которой вы можете обращаться к огромному количеству ПС, но здесь есть возможность выполнить за раз запрос только к одной ПС на выбор, это так называемые поисковые страницы “все в одном” (all-in-one search).

Наиболее популярные метапоисковики

Переходим от абстрактного описания к конкретике. На март 2011 года лидирующим по количеству посещений был метапоиск WebCrawler
(www.webcrawler.com) c более чем 12 миллионами уникальных посетителей в месяц.

Как выглядит вся десятка сегодняшних лидеров на этом рынке, показано на рисунке ниже. Лишний раз напомним, что далеко не всегда самые популярные системы автоматически являются самыми качественными.

Рис.2

Стандартный метапоиск: старая школа

Переходя к рассмотрению разновидностей метапоисковиков, перечислим наиболее известные и уже классические из них, которые отчасти были описаны выше в нашем определении. Большинство из них имеет очень длинную историю и хорошо известны пользователям Интернета со стажем, но в силу их принципиально одинакового устройства нет смысла останавливаться на каждом из них в отдельности:

. http://www.dogpile.com – Dogpile
. http://www.ixquick.com - IxQuick
. http://www.metacrawler.com - MetaCrawler
. http://www.metasearch.com - MetaSearch
. http://www.metaeureka.com - MetaEureka
. http://www.search.com - Search.com
. http://www.webcrawler.com - WebCrawler
. http://www.windseek.com - WindSeek
. http://www.vivissimo.com - Vivissimo
. http://www.zapmeta.com – ZapMeta
. http://www.draze.com/ - Draze.

Повторюсь, что все отличия в пределах этой группы, как правило, сводятся лишь к различным интерфейсным решениям, поэтому тут лучше
самостоятельно подобрать себе что-то наиболее соответствующее именно вашему вкусу, попробовав работу с каждым из них лично. Общая логическая схема работы классических метапоисковиков изображена на рис.3.

Экспериментальный метапоиск: новая школа

Сейчас мы также перечислим метапоисковики, относящиеся к “новой школе” (новому поколению) в метапоиске, главной особенностью и чертой которых является использование т.н. кластеринга (clustering). Кластеринг технически реализуется в самых разных формах, но чаще всего в конечной, видимой фазе своей работы он автоматически выделяет ключевые темы или слова вашего поиска (кроме параллельной традиционной выдачи), дополнительно создавая из них облако околотематических тегов или предоставляя уже готовый набор ключевых запросов вокруг вашей темы, которые позволяют при желании еще больше уточнить ваш последующий поиск. Фактически, кластеринг похож на “пристрелку”, когда вы с каждым разом все более сужаете область своего поиска, причем в этом вам активно помогает сама метапоисковая система.

Второй типичной чертой современных поисковых метасистем является выраженная стадия постобработки полученных результатов (т.н. поисковая стратегия, которую часто пользователь может указать самостоятельно). Как правило, сразу после получения суммы всех результатов происходит самостоятельное ранжирование всех описаний полученных документов, на втором этапе их выдача дополнительно анализируется и корректируется с учетом места, на котором находится каждый документ в каждой составляющей поисковой выдачи, и общему количеству аналогичных документов, найденных по этому запросу в других ПС (то есть выдачи доноров сами являются предметом ранжирования и активного анализа со стороны метапоиска).

Мы приведем список подобных систем, из которых каждый сможет выбрать себе наиболее удобную ему лично:

. http://www.clusty.com - Clusty
. http://www.izito.com - Izito
. http://www.kartoo.com - Kartoo
. http://www.killerinfo.com - KillerInfo
. http://www.mooter.com - Mooter
. http://www.webclust.com – WebClust
. http://iboogie.com/ - iBoogie.

Поисковые страницы “все в одном”
Ну и, наконец, перечислим пару страниц для примера поиска “Все в одном”. Говоря строго технически, эти метастраницы не являются полноценными метапоисковиками, но поскольку их часто все равно относят к этой категории, приведем их для полноты изложения:

http://www.allsearches.net - AllSearches
http://www.itools.com - iTools
http://www.searchalot.com – Searchalot
http://www.adclick.ru/ - AdClick.ru.

Заключение

Количество существующих метапоисковиков просто огромно – на данный момент их количество превышает несколько сотен. Индивидуальный выбор часто диктуется во многом субъективными факторами, такими как удачная цветовая гамма или наличие максимально удобного интерфейса. Хотя нужно признать, что среди метапоисковиков встречаются и откровенно провальные системы, внутреннее ранжирование которых не только не улучшает, а, наоборот - существенно ухудшает результирующую выдачу, поэтому тут уж рекомендую каждому самостоятельно опробовать в деле и подобрать себе из вышеприведенных списков подходящий лично ему инструмент поиска. Пользуясь случаем, напоследок предлагаю несколько подобных отечественных систем, использовать которые не столько даже патриотично (хотя и это не последнее дело), сколько действительно очень удобно и практично (так как они поддерживают не только известные западные ПС, но и лидеров русского поиска – Yandex и Rambler).

Всем советую попробовать прежде всего лидера Нигма.рф (доступна и по старому адресу nigma.ru) - российская интеллектуальная метапоисковая система, первая кластеризующая поисковая система в Рунете. Другие крупные российские конкуренты, на которых стоит обязательно обратить внимание, это MetaBot.ru и MetaBear.ru, а также пригодится и очень актуальный в наше время метапоиск по социальным сетям - yoname.com.

Игорь Савчук Blogerator.ru