Интеллектуальная поисковая система Nigma.ru
При поддержке Mail.ru запущена новая интеллектуальная поисковая система Nigma.ru - результат работы научного коллектива, состоящего из студентов и аспирантов факультетов ВМиК и психологии МГУ им.М.В.Ломоносова - официально запущена в статусе альфа-версии (т.е. самой ранней версии). Несмотря на то, что работы над поисковой системой продолжаются лишь 2.5 месяца, членами команды уже разработаны оригинальные алгоритмы ранжирования результатов, полученных от набора поисковых систем, с поддержкой русской морфологии и двухуровневая кластеризация.
Морфология реализована через отсылку в поисковые системы дублирующих запросов, в которых приведены все распространенные морфологические формы запрашиваемых слов. При этом, в отличие от имеющихся реализаций русской морфологии для поисковых систем, предлагаемый алгоритм не сокращает, а наоборот - увеличивает количество найденных документов, т.к. морфологически измененный запрос объединяется с исходным. Релевантность же также увеличивается (см. запрос "почта"), т.к. используются специальные алгоритмы объединения результатов. Позиция найденной ссылки в результатах поиска отображается в виде "Поисковая система: позиция" (например, "Google: 5" означает, что ссылка находится на пятом месте в поисковой системе Google), а ссылки от морфологически измененных запросов - в виде "Поисковая система-M: позиция" (например, "Google-M: 10" - десятая ссылка в морфологически измененном запросе).
Результаты поиска объединяются с помощью специального алгоритма, причем только те результаты, которые Nigma.ru успевает получить от поисковых систем за 1.5 секунды (в очень редких случаях - за 5 секунд). Соответственно, алгоритм не выделяет какие-то поисковые системы таким образом, что результаты поиска от них имеют большую значимость, чем от других, т.к. нет гарантии, что за это время система успеет обработать от них результаты. Вместо этого, для их объединения используется статистическая информация о русском Интернете, такая как посещаемость (на базе публичных счетчиков) и цитируемость сайтов. Кроме того, учитываются другие специфичные для российского Интернета и русского языка особенности при объединении результатов.
В итоге, на подавляющее большинство поисковых запросов Nigma.ru выдает на порядок больше найденных сайтов, чем, например, при простом поиске на сайте Google.ru. Для того чтобы пользователь не запутался в этих результатах, они группируются в так называемые "кластеры". Каждый кластер - это группа сайтов, относящихся, по мнению поисковой системы, к общей тематике. Научная группа решила использовать частотную кластеризацию по ключевым словам, поэтому названия кластеров - это тоже ключевые слова, которые пользователь может использовать для расширения своего запроса. В свою очередь, т.к. количество найденных кластеров также зачастую очень велико, интеллектуальный алгоритм объединяет кластеры в иерархию (пока - двухуровневую), которая позволяет представить их в более компактном виде. Например, введя очень общий запрос "новости", на который поисковая система Nigma.ru выдает порядка полумиллиарда документов, в левой колонке вы видите самые популярные темы новостей, которые встречаются в Интернете. Нажав на тему (например, "спорт"), вы получите примеры новостных ресурсов, которые освещают эту тему. Если вы хотите получить больше ресурсов о новостях спорта, нужно нажать на "Расширить запрос" - тогда система выдаст более двух миллионов ссылок о новостях спорта. Они, в свою очередь, тоже отклассифицированы по темам - есть футбол, хоккей и т.п.
Работа научной группы в части кластеризующих алгоритмов находится в начальной стадии, и ее участники планируют продолжать ее совершенствование. В ближайшее время поисковая система будет расширена экспертными системами, психологическими тестами, системами поведенческого анализа, и другими методами, базирующимися на таких алгоритмах искусственного интеллекта как искусственные нейронные сети, генетические алгоритмы, алгоритмы нечеткой логики и т.п. Исследования группы имеют научный характер, поэтому, после того как будет создана стабильная версия кода, планируется опубликовать его исходные тексты.
Морфология реализована через отсылку в поисковые системы дублирующих запросов, в которых приведены все распространенные морфологические формы запрашиваемых слов. При этом, в отличие от имеющихся реализаций русской морфологии для поисковых систем, предлагаемый алгоритм не сокращает, а наоборот - увеличивает количество найденных документов, т.к. морфологически измененный запрос объединяется с исходным. Релевантность же также увеличивается (см. запрос "почта"), т.к. используются специальные алгоритмы объединения результатов. Позиция найденной ссылки в результатах поиска отображается в виде "Поисковая система: позиция" (например, "Google: 5" означает, что ссылка находится на пятом месте в поисковой системе Google), а ссылки от морфологически измененных запросов - в виде "Поисковая система-M: позиция" (например, "Google-M: 10" - десятая ссылка в морфологически измененном запросе).
Результаты поиска объединяются с помощью специального алгоритма, причем только те результаты, которые Nigma.ru успевает получить от поисковых систем за 1.5 секунды (в очень редких случаях - за 5 секунд). Соответственно, алгоритм не выделяет какие-то поисковые системы таким образом, что результаты поиска от них имеют большую значимость, чем от других, т.к. нет гарантии, что за это время система успеет обработать от них результаты. Вместо этого, для их объединения используется статистическая информация о русском Интернете, такая как посещаемость (на базе публичных счетчиков) и цитируемость сайтов. Кроме того, учитываются другие специфичные для российского Интернета и русского языка особенности при объединении результатов.
В итоге, на подавляющее большинство поисковых запросов Nigma.ru выдает на порядок больше найденных сайтов, чем, например, при простом поиске на сайте Google.ru. Для того чтобы пользователь не запутался в этих результатах, они группируются в так называемые "кластеры". Каждый кластер - это группа сайтов, относящихся, по мнению поисковой системы, к общей тематике. Научная группа решила использовать частотную кластеризацию по ключевым словам, поэтому названия кластеров - это тоже ключевые слова, которые пользователь может использовать для расширения своего запроса. В свою очередь, т.к. количество найденных кластеров также зачастую очень велико, интеллектуальный алгоритм объединяет кластеры в иерархию (пока - двухуровневую), которая позволяет представить их в более компактном виде. Например, введя очень общий запрос "новости", на который поисковая система Nigma.ru выдает порядка полумиллиарда документов, в левой колонке вы видите самые популярные темы новостей, которые встречаются в Интернете. Нажав на тему (например, "спорт"), вы получите примеры новостных ресурсов, которые освещают эту тему. Если вы хотите получить больше ресурсов о новостях спорта, нужно нажать на "Расширить запрос" - тогда система выдаст более двух миллионов ссылок о новостях спорта. Они, в свою очередь, тоже отклассифицированы по темам - есть футбол, хоккей и т.п.
Работа научной группы в части кластеризующих алгоритмов находится в начальной стадии, и ее участники планируют продолжать ее совершенствование. В ближайшее время поисковая система будет расширена экспертными системами, психологическими тестами, системами поведенческого анализа, и другими методами, базирующимися на таких алгоритмах искусственного интеллекта как искусственные нейронные сети, генетические алгоритмы, алгоритмы нечеткой логики и т.п. Исследования группы имеют научный характер, поэтому, после того как будет создана стабильная версия кода, планируется опубликовать его исходные тексты.
