Растолкованный PageRank,
или Все, что вы всегда хотели знать о PageRank

Введение

Этот документ раскрывает мое понимание и точку зрения на алгоритм PageRank в Google. Для тех, кто не знает меня: я разрабатываю поисковые системы на заказ. Поэтому мне присуще программистское понимание алгоритмов поисковых систем, как они работают, что они могут делать, а что нет. Из-за этого я способен сделать немало выводов о том, как работает PageRank. Я верю, что информация в данном документе настолько точна, насколько возможно. Никто не знает наверняка детали PageRank, исключая саму Google ¹

Достаточно предисловий, приступим к тому, чему посвящен этот документ — к PageRank!

Что такое PageRank?

PageRank — это метод Google для измерения «важности» страницы. Когда все другие факторы, такие как тэг Title и ключевые слова учтены, Google использует PageRank, чтобы откорректировать результаты так, что более «важные» сайты поднимутся соответственно вверх на странице результатов поиска пользователя.

То есть, порядок ранжирования в Google работает следующим образом:

1. Найти все страницы, соответствующие ключевым словам поиска.
2. Отранжировать соответственно «страничным факторам», таким, как ключевые слова.
3. Учесть текст ссылок на страницы.
4. Откорректировать результаты данными PageRank.

Как определяется PageRank?

Теория Google гласит, что если Страница A ссылается на страницу B, то Страница А считает, что Страница B — важная страница. Текст ссылки не используется в PageRank. PageRank также влияет на важность ссылок на страницу. Если на страницу указывают много важных ссылок, то ее ссылки на другие страницы также становятся более важными.

Насколько важен PageRank?

Значимость каждого отдельного фактора в алгоритмах поисковой системы зависит от качества информации, которое он обеспечивает. Поэтому имеет смысл вначале взглянуть на это качество.

Когда Гугл был лишь крохотным Гугленком в подгузниках, можно было с уверенностью сказать, что ссылка была точным признаком рекомендации. Однако, в настоящее время это больше не так по двум очень важным причинам:

1. Интернет существенно изменился. Ссылка сегодня это, скорее, лишь связанный сайт, лицензионное требование или ответная услуга (как перекрестные ссылки), чем истинная рекомендация ².
2. Как только вы создадите поисковую машину, которая рассматривает ссылки как рекомендации, люди начнут пытаться воздействовать на ссылки. Как только они станут воздействовать на них, ссылки перестанут быть рекомендациями.

Поэтому надежность информации, обеспечиваемой ссылками, не обязательно хороша, и она постоянно уменьшается. Это является причиной низкой и все время уменьшающейся важности PageRank в алгоритме ранжирования Google.

Тем не менее, у PageRank есть одно реабилитирующие его свойство. На него трудней влиять, чем на любой другой фактор ранжирования. Это означает, что у PageRank есть возможность дать вам преимущество перед конкурентами, когда он использован в комбинации с другими приемами оптимизации для поисковых машин. Однако, я предупреждаю вас: тут нет коротких путей. Для эффективного использования PageRank вам нужно будет понять его полностью, иначе есть шансы, что вы будете тратить ваше время зря.

Основные факты о PageRank

Для понимания оставшейся части этого документа, вам нужно знать несколько фактов о PageRank.

1. PageRank — это число³ характеризующее исключительно голосующую способность⁴ всех входящих ссылок на страницу и то, как сильно они рекомендуют эту страницу.
2. Каждая уникальная страница сайта, проиндексированная Google, имеет вес PageRank. Люди часто ошибаются, думая о весе сайта, который на самом деле является весом главной страницы этого сайта ⁵.
3. Внутренние ссылки сайта учитываются при расчете веса PageRank для других страниц сайта.
4. PageRank независим, он не принимает во внимание текст ссылок и т. д. Конечно, они связаны, но говорить, что это одно и то же, это все равно что говорить, будто тэг Title то же самое, что ключевые слова в тексте.

Как вы можете обнаружить, какой у страницы вес?

Вы можете скачать тулбар [toolbar, инструментальная линейка — прим. А. С.] для Internet Explorer со страницы http://toolbar.google.com/ ⁶. После инсталляции в верхней части Internet Explorer появится столбцовая диаграмма, дающая интерпретацию веса PageRank для страницы, которую вы в данный момент смотрите. Если вы задержите курсор мыши над диаграммой, то увидите число от нуля до десяти. (Если вы не видите числа, возможно, у вас установлена старая версия тулбара. Как только вы полностью его деинсталлируете, перезагрузите компьютер и установите последнюю версию, вы сможете видеть число.)

Насколько точен тулбар Google?

Тулбар Google показывает вес сайта не очень точно, но это единственный инструмент, который может дать вам прямо сейчас хоть какое-то представление. Поскольку вы знаете ограничения тулбара, вы, по меньшей мере, знаете, что вы видите. Есть два ограничения у тулбара Google:

1. Временами тулбар определяет вес приблизительно. Если вы откроете страницу, которой нет в индексе Google, но есть страница, очень близкая к ней в индексе, то тулбар отобразит свое предположение о весе PageRank. Эта догадка бесполезна для наших целей, потому что она не представлена ни в каких вычислениях PageRank. Единственный способ выяснить, использует ли тулбар догадку, это ввести URL в поисковую форму Google и увидеть, появится ли страница. Если нет, значит, он предполагает!
2. Тулбар дает только представление реального веса PageRank! В то время как вес PageRank линеен, они решили показывать его на нелинейной диаграмме. Так, для тулбара, изменение веса PageRank от 2 до 3 занимает меньше увеличения веса PageRank от 3 до 4. Это лучше всего иллюстрируется сравнительной таблицей; настоящие числа хранятся в тайне, поэтому мы будем использовать просто любые числа для иллюстрации ⁷:

Надо надеяться, что вы можете увидеть из этой иллюстрации, сколь ограничена информация, которую вы получаете из тулбара.

С этого момента я собираюсь использовать термин Настоящий PR для обозначения подлинного веса PageRank, хранимого Google, и Тулбаровский PR для обозначения довольно скупого представления того, что тулбар Google позволяет нам видеть.

Расчет PageRank

Объяснив, что такое вес PageRank, т. е., что вы узнаете, когда получаете информацию о нем, и насколько он важен... в этом разделе я расскажу вам примерно как он вычисляется. Знать это не обязательно, однако, если вы поймете это, вы будете лучше понимать, как следует его применять.

Когда Google был только исследовательским проектом, они [Брин и Пэйдж — прим. А. С.] написали статью, подробно описывающую формулу, которая определяет вес PageRank для страницы. Хотя они, возможно, уже не используют в точности эту формулу, она представляется достаточно корректной для сегодняшних целей. Вот она:

PR(A) = (1-d) + d (PR(T1)/C(T1) + ... + PR(Tn)/C(Tn)), где PR(A) — это вес PageRank страницы A (тот вес, который мы хотим вычислить), D — это коэффициент затухания, который обычно устанавливают равным 0,85, PR(T1) — вес PageRank страницы, указывающей на страницу A, C(T1) — число ссылок с этой страницы, PR(Tn)/C(Tn) означает, что мы делаем это для каждой страницы, указывающей на страницу A

Жуть! Для тех из вас, кто не является математиком, здесь есть полная информация по этой формуле — вы не можете просто вычислить вес PageRank за один прием, как показано тут. Чтобы вычислить вес PageRank страницы A вам понадобится знать веса PageRank всех страниц, указывающих на страницу A. Их веса PageRank будут частично зависеть от страницы A, указывающей на них, либо каких-то других страниц, ссылающихся на них. Какая глупая формула. Что она нам говорит, так это одну очень важную вещь о весе PageRank любой страницы.

Вес PageRank, передаваемый на страницу A со страницы B, которая указывает на нее, уменьшается с каждой ссылкой куда-нибудь, которая находится на странице B. Это означает, что вес страницы, по существу, это мера ее голоса; страница может разделить этот голос между одной, двумя или многими ссылками, но общая голосующая сила будет всегда той же самой.

Сейчас забудьте формулу на некоторое время, потому что легче рассмотреть пример реализации, который очень похож на PageRank. Он должен помочь нам лучше понять PageRank. Назовем его MiniRank.

Вначале мы не знаем, какие веса MiniRank у этих страниц, поэтому мы их просто присвоим. Для простоты, мы выберем число один. В результате диаграмма становится...

Все еще легко! Сейчас вспомните правила передачи веса. Вначале мы применяем коэффициент затухания. (Коэффициент затухания, в основном, говорит о том, что страница не может голосовать так, чтобы другая страница была столь же важна, как она сама. Это означает, что страницы, к которым труднее добраться в Web, менее важны.) Затем мы делим сохранившийся вес на число ссылок. Мы подсчитываем итоговый вес, который должен быть добавлен ко всем до единой страницам, перед тем как мы окончательно его прибавим

⁸.

Итак, глядя вначале на страницу A, видим, что значение веса MiniRank, доступное для передачи, после затухания равно 1 * 0,85 = 0,85. Со страницы ведут две ссылки, поэтому, по окончании итерации, мы добавим 0,425 к весу MiniRank страницы B и 0,425 к весу MiniRank страницы C. Мы не можем сделать это до тех пор, пока мы не рассчитали все ссылки страницы, потому что это повлияет на результаты.

Перейдем к странице B. Она содержит только одну ссылку. Поэтому, она передаст 1 * 0,85 = 0,85 странице C, когда мы сделаем все вычисления для ссылок.

Страница C также имеет одну ссылку. Поэтому она передаст вес 1 * 0,85 = 0,85 странице A.

Страница D имеет одну ссылку, поэтому она передает 0,85 странице C.

Сейчас мы можем добавить все суммы ко всем весам страниц.

Новые значения весов MiniRank показывают, сколь важна страница C. Но мы еще не завершили. Поскольку все страницы начали с одного значения, по правде говоря, мы вычислили только популярность в ссылках (link popularity). Суть PageRank и MiniRank такова, что страницам, на которые чаще ссылаются, следует получить больше голосов; поэтому мы должны проделать то же самое еще раз! На этот раз страница C имеет большее влияние, потому что ее текущий вес MiniRank выше.

Так, посмотрим на страницу A вначале. Ее текущий вес MiniRank равен 1,85. Величина MiniRank, доступная для передачи, после применения затухания составляет 1,85 * 0,85 = 1,5725. Есть две ссылки со страницы, поэтому по завершению итерации мы добавим 0,78625 к весу MiniRank страницы B и весу MiniRank страницы C.

Перейдем к странице B. У нее есть только одна ссылка. Следовательно, она передаст 1,425 * 0,85 = 1,21125 странице C, когда мы завершим все вычисления со ссылками.

Страница C также имеет одну ссылку, но при этом обладает огромным весом 3,125 MiniRank. Поэтому она передаст 3,125 * 0,85 = 2,65625 странице A.

Страница D имеет одну ссылку, поэтому она передает 0,85 странице C.

Мы получаем....

Мы уже можем видеть то, что следовало ожидать: страница C имеет наибольший вес MiniRank, страница A — следующий по величине. На практике нам нужно было бы повторить эти действия от 50 до 100 раз, чтобы гарантировать, что низкая точность предыдущих итераций сведена на нет. Просто!

Обратная связь PageRank

Но подождите минутку! Что-то происходит между страницами A и C, поэтому взглянем еще раз.

Во время одной итерации вычислений страница C дает странице A повышение в весе MiniRank (PageRank). Во время следующей итерации она сама получает увеличение веса, пропорциональное новому улучшившемуся весу MiniRank страницы A (она получает назад часть своего веса MiniRank!).

Это обратная связь PageRank. Можно подумать, что Google обязан игнорировать ссылки такого рода, особенно, если страница A и страница C расположены на одном сайте. Действительно, я слышал мнение нескольких человек, которые считают, что Google обязан. Истина в том, что Google не может сделать это. Представьте проделывание вычислений над миллионами страниц вместо четырех... представьте только как вам определять, когда встречается обратная связь, и как избавляться от нее. И даже если вы справитесь, как вы сведете на нет влияние, которое это окажет на оставшуюся часть системы? Обратная связь PageRank — неотъемлемая часть системы! Фактически, она нужна для правильного функционирования PageRank и является частью алгоритма.

Воздействие на результаты

Зная, как это работает, и что Google в некоторых случаях воздействует на результаты PageRank, мы в состоянии решить, что именно Google может делать.

Перед тем как начинаем вычислять PageRank, предположим, что ссылки некоторого сайта особенно хорошие. Скажем, страница B — это страница на Yahoo или DMOZ (каждый из которых демонстрирует этот вид воздействия); вместо установки их начальных значений в 1 мы можем установить их в 100 или большее число⁹. ⁹ Делая это, мы предполагаем, что Google незначительно изменяет веса PageRank, зависящие от этой страницы.

Мы можем проделать обратное, только в меньшей степени. Предположим, что страница B признана спамом. Если мы установим начальное значение веса PageRank в ноль, то ее вес вначале не будет иметь никакого влияния, но станет вскоре получать влияние, пока будут существовать сайты, ссылающиеся на нее.

Имейте это в виду: в PageRank мы можем легко увеличить важность ссылок страницы, сделав их настолько важнее, насколько мы хотим, однако, обратное не верно — PageRank значительно препятствует возможности уменьшить важность ссылок страницы. ¹⁰

Это, как раз то, что происходит с сайтами, зарегистрированными в Yahoo и DMOZ. Каждая страница Yahoo и DMOZ, кажется, имеет увеличенный вес, поэтому сайты, зарегистрированные в этих двух каталогах получают славное небольшое увеличение веса PageRank.

Так вот, разве не могли они корректировать вес PageRank страницы B после каждой итерации вычислений? Да, они могли, но Google работает с миллионами страниц [уже с миллиардами — прим. А. С.], и должен был бы корректировать вес всех подобных страниц каждый раз. Это сделало бы алгоритм оччеееенннннь оччеееенннннь медленным.

А как насчет установки веса PageRank после всех вычисления и получения конечных весов страниц? Да, они могут и, несомненно, делают это. Однако, это имеет большее отношение не к обработке ссылок, а к изменению индивидуальных результатов. Предположим, что главная страница Google недостаточно высока для Google. Они могут просто изменить это. Или если страницы результатов поиска Google имеют PageRank, они могут просто это убрать. Это шаг после обработки данных.

Заметьте, однако, что есть небольшая особенность в применении Гуглом этого метода для исключения спамеров из индекса. Не полагайте, что если ваш вес PageRank внезапно стал равен нулю, то Google использовал данный метод для обнуления веса. Намного легче всего лишь запретить страницу целиком. Запрещение также более логично, потому что оно убирает влияние, которое, в противном случае, ваша страница получит в процессе вычисления PageRank. Нулевой вес PageRank, в большинстве случаев, появляется из-за других факторов, таких как проблема временных вычислений.

Что это все означает?

Вес PageRank — самый трудный для манипулирования фактор при оптимизации страниц. Хотя его влияние не так велико, как верят некоторые, если вы можете понять его правильно, то вы имеете достаточно хорошее преимущество перед вашими конкурентами. Вес PageRank трудно как получить, так и удержать. Нижеприведенная информация действительно доводит это до крайней степени. На практике вы могли использовать все или часть, в зависимости от того, насколько конкурентоспособным вы себя чувствуете, и того, насколько сильна конкуренция.

Есть три основных области, которые стоит осмотреть и, возможно, изменить, когда вы пытаетесь оптимизировать ваш вес PageRank:

1. Страницы, которые вы выбираете для получения ссылок на вас, т. е. какие из них вы отбираете и как много усилий тратите на получение ссылок.
2. Те, кого вы выбираете, чтобы сослаться на них со своего сайта, и на какой странице вашего сайта вы помещаете их ссылку.
3. Внутренняя навигационная структура и связи ваших страниц — с целью создания максимальной обратной связи PageRank.

Ссылки на ваш сайт

Когда вы ищете ссылки на ваш сайт, с точки зрения исключительно PageRank можно подумать, что следует просто искать страницы с самым высоким Тулбаровским весом PageRank. (В то же время держа в уме, что каждая страница сайта имеет свой собственный вес PageRank, поэтому вы должны рассмотреть вес «страницы ссылок», или какой бы то ни было страницы, где будет расположена фактическая ссылка.) Однако, эта точка зрения некорректна. Если вы не перепрыгнули прямо в этот раздел, то вы, вероятно, определите, почему это так. Вес PageRank, получаемый с ссылкой, намного сложнее, чем это упрощение. Мог быть случай, когда это было приемлемым приближением... но не больше. По мере того как все больше и больше людей пытаются и получают ссылки только с сайтов с высоким значением веса, это становится все менее и менее выигрышным предложением.

Настоящий вес PageRank отдельной страницы делится среди ссылок на этой странице (помните расчеты MiniRank?) Поэтому, ссылки со страниц, которые имеют одинаковый вес PageRank, не всегда созданы равными. Это зависит от того, со сколькими ссылками делит ссылающуюся страницу ваша ссылка. Например, ссылка со страницы с весом PageRank 4 может быть лучше, чем ссылка со страницы с весом PageRank 6, если на странице с PR 4 меньше общее число ссылок. Возможно, что страница с PR 2 может даже быть лучше для просьбы о ссылке, чем страница с PR 7. В данный момент недостаточно доступной информации, чтобы узнать, до какой степени это простирается. Однако, это достаточно значимо, чтобы было бессмысленно просто выбирать сайты с большим весом в качестве основной стратегии получения ссылок. Есть также другая, более прозаичная причина, почему эта стратегия получения ссылок может быть не лучшей; сайты с высоким весом PageRank часто разборчивы в том, на какие сайты ставить ссылку, что делает получение ссылки с них более трудным, чем с сайтов с низким весом. Однако, сайтам, сражающимся со своими числами весов PageRank, следует быть более восприимчивыми к обмену взаимными ссылками с другими сайтами.

Сейчас давайте рассмотрим обратную связь. Предположим, например, что есть две самостоятельных страницы на сайтах других людей, каждая из которых имеет вес PageRank 4. Обе страницы имеют по 10 ссылок на другие страницы. Но ваша страница, на которую вы хотите получить с них ссылки, уже имеет ссылку на страницу на втором сайте. Получая ссылку со второго сайта, вы порождаете обратную связь, и получаете больший вес PageRank, чем если бы получили ссылку с первого сайта! Это чрезмерное упрощение; фактически, циклы обратной связи могут стать даже более сложными. Помните, что число ссылок на странице, ссылающейся на вас, будет менять величину обратной связи, и т. д.

Можете ли вы вычислить все это для заданной страницы? Нет — и я не могу. Мой совет, поэтому, таков — получайте ссылки с сайтов, которые кажутся подходящими и имеют хорошее качество, независимо от их текущего веса PageRank. Если они релевантны вашему сайту, и сами высококачественные сайты, они либо помогут вашему весу PageRank сейчас, либо сделают это в будущем. Чтобы на самом деле сделать ваш вес PageRank классным, зарегистрируйтесь в DMOZ и Yahoo с целью воспользоваться искусственно увеличенным весом, который они обеспечивают.

Ссылки с вашего сайта

Чтобы рассмотреть наилучшую стратегию простановки ссылок с сайта, вначале нам нужно рассмотреть ссылки, указывающие на ваш сайт. Под этим я подразумеваю, что нам надо предположить, что у вас есть ссылки, указывающие на ваш сайт из каталогов, подобных DMOZ и Yahoo, которые дают ему небольшое славное приращение веса PageRank. Используя внутренние страницы сайта, вы можете управлять обратной связью значительно лучше, чем используя ссылки на внешние страницы. Это приводит к правилу...

В общем случае, вам будет нужно сохранить вес PageRank внутри вашего сайта.

Это означает, что вам нужно будет ссылаться наружу только со страницы вашего сайта, которая имеет низкий вес PageRank, и которая также содержит значительное число внутренних ссылок (т. е. ссылок, указывающих на другие страницы вашего сайта).

Итак, когда вы ставите ссылку наружу, вы отдаете предпочтение тем страницам, которые либо ссылаются на ту страницу вашего сайта, которая находится страницей выше ссылочной страницы [например, если внешняя страница A ссылается на вашу страницу B1, которая, в свою очередь, ссылается на вашу страницу B2, на которой и расположена ссылка на внешнюю A — прим. А. С.], либо которые ссылаются на ту страницу, которая ссылается на страницу, ссылающуюся на вашу ссылочную страницу [A -> B1, B1 -> B2, B2 -> B3, B3 -> A — прим. А. С.] (т. е. вы получите большее увеличение веса PageRank, если ссылки со внешних сайтов не указывают на вашу ссылочную страницу).

Как мы можем осуществить это? Одним способом будет написание обзоров сайтов, на которые мы ссылаемся, на отдельной странице нашего сайта, и обеспечение ссылки на эти обзоры вместе с каждой гиперссылкой на внешний сайт. Необязательно, но будет неплохо, если эти страницы будут открываться в другом окне но НЕ ДЕЛАЙТЕ это на JavaScript, потому что роботы поисковых систем не могут следовать по ссылкам на JavaScript.

Например, мы можем сделать что-то подобное с каждой ссылкой на внешний сайт:

<a href=http://www.searchenginesystems.net/>Search Engine Systems — это лучшие в мире поисковомашинные существа</a> <a href="/sesreview.htm">Читайте мой хвалебный обзор здесь</a>.

Проверьте, что страница обзоров ссылается назад на страницу, которая находится выше в структуре вашего сайта. (Лучше всего, если это будет ваша главная страница, но любая важная страница также подойдет.) Сделав это, мы значительно сократили количество веса PageRank, которому вы позволяете покинуть сайт, и обеспечили, что большая часть веса PageRank, которая остается, также увеличивается эффектом обратной связи! Мы нацелили эту обратную связь на главную страницу, чтобы гарантировать, что меньше веса передается назад вашей ссылочной странице (что было бы упущенной возможностью), и больше остается где-либо на вашем сайте. На вашей ссылочной странице также нужно поставить ссылки на главную страницу и другие значимые страницы сайта. Однако, не ставьте других ссылок на странице с обзором (кроме ссылки на главную страницу). Очень хорошо, если кто-то ставит ссылку на вашу страницу с обзором, поэтому, вдобавок, вы можете дать знать сайту, что вы рецензировали его — вполне возможно, что вы получите две ссылки с этого сайта (одну на ваш сайт и одну на обзор чужого сайта). Все очень трудно для понимания в текстовой форме, поэтому давайте займемся упрощенным примером, чтобы показать принцип и продемонстрировать его действие.

Наша простая структура с начальными значениями весов MiniRank:

После первой итерации вычислений мы получаем...

В конце второй итерации мы имеем...

И в конце третьей итерации мы имеем...

Суммарный вес MiniRank внутри сайта равен 19,959.

Сейчас, если мы установим ссылки, чтобы включить обзоры, указывающие на главную страницу, мы получаем...

После первого этапа вычислений мы получаем...

После второго этапа вычислений мы получаем...

После третьего этапа вычислений мы получаем...

Суммарный MiniRank сайта равен 47,31 (а мы начали с весом, большим на четыре!). Немного в этом проявляется сила дополнительных страниц и немного — сила обратной связи. Но в целом...

Это отлично демонстрирует силу обратной связи¹¹. Мы отдаем часть голосов наших ссылочных страниц назад в систему наших сайтов, не позволяя им уйти по внешним ссылкам. Вот почему большие сайты в общем случае имеют лучший вес PageRank, чем меньшие сайты. В самом деле, почему вы это еще не делаете?!! Начинайте сейчас же написание обзоров сайтов, перечисленных на ваших ссылочных страницах! (Заметьте, числа приведены только для демонстрационных целей в качестве общего показателя силы этого метода, действительные числа будут отличаться.)

Внутренняя структура и связи

Поговорив о ссылках на внешние сайты, имеет смысл поговорить о том, как внутренняя ссылочная структура вашего сайта влияет на его собственный вес PageRank. Давайте освежим в памяти пару фактов: