Они создали исследовательскую группу, которую назвали MIDAS (Mining Data at Stanford – «Стэнфордская программа по анализу и поиску информации»)
. Брин приглашал ученых, специализировавшихся на этой тематике, на собрания членов группы, проводившиеся раз в неделю, и выбирал темы для обсуждения. Они с Мотвани написали целый ряд научных статей по этой проблеме.
К методикам статистического анализа данных тогда прибегали главным образом для того, чтобы определить, какие сочетания продуктов покупатели приобретают в супермаркетах чаще всего и, соответственно, какие коррективы следует внести в схему размещения продуктов. Брин и Мотвани решили поэкспериментировать – применить эти методики к только-только появившемуся, неорганизованному Интернету. В середине 1990-х годов Всемирная паутина смахивала на Дикий Запад – такая же неконтролируемая, не стесненная нормами приличий и неуправляемая. Миллионы пользователей, конечно, были довольны: появилась электронная почта, существенно упростившая общение, а вот ученые, надеявшиеся черпать из Интернета информацию, быстро в нем разочаровались. Первые поисковые системы, призванные помогать осуществлять в Сети поиск, – Web-Crawler, Lycos, Magellan, Infoseek, Excite, HotBot – не оправдали надежд. «Поисковые системы того времени не впечатляли, – вспоминает Мотвани. – Вы получали абсолютно бесполезный список сайтов». В 1995 году Мотвани протестировал поисковую систему Inktomi, разработанную в университете Калифорнии (г. Беркли), в котором он сам защищал докторскую. Он ввел слово «Inktomi» и нажал кнопку «Поиск». «Чуда не произошло. Ее адреса в результатах не было – она не могла найти саму себя».
Тем временем Джерри Янг и Дэвид Фило, докторанты Стэнфорда, готовившиеся к защите диссертации, взяли на вооружение несколько иной подход к поиску: они привлекли редакторов, которые составили каталог веб-сайтов в алфавитном порядке. Своей компании Янг и Фило дали название Yahoo!. Их подход действительно упростил процесс поиска нужной информации, однако и он был несовершенен, а количество сайтов росло не по дням, а по часам.