Александр Коротков

Создай собственный поисковик


  Даже такому финансовому гиганту как Microsoft не удалось потеснить Google на рынке поисковых систем. Но группа европейских онлайн-активистов по-видимому пытается создать альтернативную поисковую систему при помощи Peer to peer технологии. Даже такому финансовому гиганту как Microsoftне удалось потеснить Google  
на рынке поисковых систем. Но группа европейских онлайн-активистов по-видимому пытается создать альтернативную поисковую систему при помощи Peer to peer технологии. Авторами идеи и первыми ее реализаторами стали активисты из Европейского фонда свободного ПО. Проект YaCy, который находился в разработке пять лет, выпустил версию 1.0 своей бесплатной поисковой программы. 

В этой программе реализован принципиально новый подход к поиску в сети. YaCy не использует центральный сервер. Вместо этого результаты его поиска приходящие от сети в настоящее время распределены среди более чем 600 независимых источников. 

Поисковый движок YaCy работает на индивидуальном компьютере каждого пользователя. Слова для поиска шифруются перед отправкой компьютером пользователя. В отличие от обычных поисковых систем, YaCy предназначена для защиты конфиденциальности пользователей. Систему невозможно подвергнуть цензуре т.к. нельзя воздействовать на все компоненты сети. 

Система полностью децентрализована и не находится под контролем какой либо организации. В такой распределенной сети ни один из ее участников не решает единолично, что будет в списке и в каком порядке будут появляться результаты. Компьютер пользователя создает свои индивидуальные индексы поиска и рейтинга. В итоге результаты лучше соответствуют тому, что пользователь ищет в тот или иной момент времени. 

Подключённая к сети машина может собирать и анализировать данные для индекса или просто подключаться к сети для отправки запроса (при этом часть индекса копируется на компьютер и может использоваться для обслуживания запросов как самого пользователя, так и других пиров). Программа позволяет определить размер дискового кеша для индекса и политику участия в обеспечении работы сети. Для обнаружения других пиров используются четыре seed-сервера, но при необходимости движок работает локально – для поиска по собственным ресурсам (участие в сети P2P не обязательно). 

YaCy упрощает создание пользовательского поиска. Таким образом, вместо нагрузки на миллионы серверов в случае с Google, YaСy предлагает пользователям немного поделиться вычислительными возможностями собственного компьютера, при этом обойдясь без рекламы и секретных алгоритмов. 

Президент Европейского фонда свободного ПО, Карстен Gerloff, пытался сказать, что на самом деле его организация не собирается конкурировать с Google и другим закрытым поисковым системам. Он говорил: «YaCy не является проблемой для Google. YaCy  не предназначена бросить вызов Google. В сущности это новый, захватывающий подход к веб-поиску, который позволяет сделать его более индивидуальным для пользователя». Похоже на то, что тут он немного лукавит.  

Он же замечает: «Мы постепенно уходим от мысли, что службы должны контролироваться из центра. На смену приходит осознание важности создания независимой структуры, которую нельзя разрушить, устранив любой из элементов. В будущем мире распределенных одноранговых систем такие поисковые системы на базе свободных программ, как YaCy, станут жизненно важным структурным элементом». 

Его беспокойство заключается в том, что почти весь поиск в Интернете основан на данных, собранных сканерами либо Google, либо Microsoft. YaCy децентрализована во всех отношениях, включая ранжирование поисковых результатов. Но проблема YaCy в том, что подавляющее большинство интернет-пользователей мало интересуют технологии лежащие в основе их поиска, распределяются ли или принадлежат одной компании в облаке. Пользователей заботит только качество результата. 

Однако скпетическое отношение некоторых пользователей к YaCy в процессе использования наверняка поменяется на одобрительное т.к. независимая поисковая система - это серьездный шаг к индивидуальзации поиска. И то, насколько это удобно и функционально окажется для каждого, еще предстоит выяснить. 

«Почти всё, что мы делаем в Интернете, требует поиска. Это жизненно важное звено, связывающее нас с информацией, которую мы ищем. Мы не можем допустить, чтобы выполнение такой существенной функции зависело от нескольких крупных компаний, и проигрывать при этом в конфиденциальности,— заявил Майкл Кристен, руководитель проекта YaCy,— Свободный поиск с помощью YaCy — жизненно важное звено, связывающее свободных пользователей и свободную информацию. YaCy возвращает нам, пользователям, контроль над поиском». 

Спектр использования YaCy достаточно широк: поиск по сайтам отобранным по критериям пользователя, собственна внутрисетевая поисковая система, поиск по общим ресурсам проекта, поиск в тех случаях, когда необходима анонимность.  Если вы являетесь пиром YaCy, то можете создать собственнюу поисковую систему, что может стать отличным дополнением к любому проекту. 

YaCy — свободная программа, так что каждый может использовать, изучать, улучшать ее и обмениваться ею. В настоящее время она доступна под GNU/Linux, Windows и MacOS. 

По материалам The Wall Street Journal, Computerra, fsfe.org, habrahabr.ru 

Назад к разделу