Ранняя диагностика сайта с помощью Google Webmasters Tools at InoSEO.com

Ранняя диагностика сайта с помощью Google Webmasters Tools

1.10.08.

По данным официального Google Webmaster Tool Blog, основное предназначение Google Webmasters Tools – оказывать вебмастерам поддержку в разрешении базовых неполадок до того, как они переросли в большие проблемы. Давайте посмотрим, что по этому поводу говорится на блоге:

«Управление сайтом порой может быть очень непростой задачей, поэтому мы предлагаем в помощь вебмастерам Google Webmasters Tools (https://www.google.com/accounts/ServiceLogin?service=sitemaps&passive=true&nui=1&continue=http%3A%2F%2Fwww.google.com%2Fwebmasters%2Ftools%2Fdashboard&followup=http%3A%2F%2Fwww.google.com%2Fwebmasters%2Ftools%2Fdashboard&hl=en) для решения мелких проблем и избежания крупных неприятностей. Некоторые такие проблемы вовсе незначительны (например, дублированные заголовки и описания), другие носят более серьезный характер (например, недосягаемость Вашего сайта). Справедливости ради стоит отметить, что Webmasters Tools точно не скажет, что именно надо менять, но с его помощью Вы сами поймете, что в данном месте может быть проблема, которую обязательно нужно решать.

Вот несколько примеров из Google Webmaster Help Groups (http://groups.google.com/group/Google_Webmaster_Help?pli=1):

Ваш сервер ведет себя по отношению к Googlebot как с обычным посетителем?

Поскольку Googlebot старается действовать как обычный юзер, многие серверы могут попасть в тупик и странно реагировать. Например, даже если Ваш сервер почти все время работает безупречно, некоторые серверы при посещении юзер-агента Googlebot реагируют выдачей ошибки сервера. На Webmaster Help Group мы имели дело с IIS серверами, которые отображают результат код 500 (ошибка сервера) (http://groups.google.com/group/Google_Webmaster_Help-Indexing/browse_thread/thread/f8ba10ba010b6039), код 404 (файл не найден) (http://groups.google.com/group/Google_Webmaster_Help-Indexing/browse_thread/thread/aee395cf58179168), а также код 302 при добавлении файлов карты сайта (http://groups.google.com/group/Google_Webmaster_Help-Sitemap/browse_thread/thread/0dba656d176be506) в диагностической секции “Web Crawl”. Если сервер делает переадресацию на страницу с ошибкой, удостоверьтесь в том, что мы сможем краулить эту страницу. Как только Вы сделаете это, мы также сможем отображать эти ошибки в Google Webmasters Tools. Для более детальной информации по данному вопросу посетите http://todotnet.com/archive/0001/01/01/7472.aspx и http://www.kowitz.net/archive/2006/12/11/asp.net-2.0-mozilla-browser-detection-hole.aspx.

Если Ваш сайт хостится на Microsoft IIS сервере, помните также о том, что урлы чувствительны к регистру (http://googlewebmastercentral.blogspot.com/2008/06/get-audio-and-q-from-our-recent-live.html) по своему определению (и мы всегда это учитываем). Также нужно быть предельно осторожным с добавлением урлов в файл robots.txt (http://www.google.com/support/webmasters/bin/answer.py?answer=40362), если Ваш сайт использует урлы без учета регистра. Например, “disallow: /paris” заблокирует /paris, но не /Рaris.

На Вашем сайте систематически появляются сломанные ссылки?

Современные системы управления содержимым могут облегчить создание проблемных ситуаций, влияющих на большое количество страниц. Иногда эти проблемы очень четко определяются и видятся на странице, но иногда их довольно тяжело заметить самостоятельно. Если подобного рода проблема создает большое количество сломанных ссылок, они отобразятся в диагностической секции Вашего эккаунта Webmaster Tools (если, конечно, эти сломанные урлы возвращают четкий 404 результат). Недавно был такой случай: у сайта была небольшая проблема в PSS feed, в результате которой в их эккаунте Webmaster Tools было отображено более 60000 плохих урлов. Думаю, не трудно догадаться, что мы бы предпочли краулить контент, а не ошибки 404 :).

Ваш сайт занимается переадресацией юзеров?

Для некоторых сайтов имеет смысл концентрироваться на группе пользователей из определенной географической области. Одна из возможностей сделать это – переадресовать таких пользователей на отдельную страницу. В данном случае нужно принять во внимание то, что Googlebot тоже может быть переадресован и, как результат, не получит доступа к домашней странице. Если это случится, возможно, Webmaster Tools столкнется с проблемой подтверждения верификационного кода сайта. В данном случае Ваш сайт останется непроверенным. Это, конечно, не единственная причина того, что сайт остался непроверенным, но если такая практика становится регулярной, стоит проанализировать ситуацию и найти причины. Следуя из выше сказанного, удостоверьтесь в том, что с Googlebot обращаются так же, как и с другими пользователями из данной местности, иначе подобное поведение будет выглядеть как клоакинг (http://googlewebmastercentral.blogspot.com/2008/06/how-google-defines-ip-delivery.html).

Ваш сервер недосягаем при попытке краулинга?

Это может случиться даже с лучшими сайтами – серверы могут сдать позиции, и не помогут файерволы. Если это происходит в то время, как Googlebot старается зайти на сайт, мы не сможем краулить его, а Вы даже не узнаете о наших попытках. К счастью, мы даем отчеты таких действий, и Вы можете просмотреть их в “Network unreachable” и “robots.txt unreachable” errors (http://groups.google.com/group/Google_Webmaster_Help-Indexing/browse_thread/thread/5cb4db2a6e349c2e) в своем эккаунте Webmaster Tools.

Ваш сайт подвергнулся хакерской атаке?

Иногда хакеры добавляют странный, оффтоповый контент и ссылки на странные страницы. Если это сделано мастерски и припрятано, Вы можете ничего не заметить, но менее опасными от этого хакерские атаки не станут. Конечно, Message Center может предупредить о возможной опасности некоторого скрытого контента, но лучше будет, если и Вы лично будете за этим следить. Google Webmaster Tools может показать ключевики с Ваших страниц в секции «What Googlebot sees» (http://groups.google.com/group/Google_Webmaster_Help-Tools/browse_thread/thread/9afe82fed4b9e2ee/) («Что видит Googlebot»), так что всегда можно предостеречь хакерские нападки. Если Вы видите абсолютно нерелевантные ключевики, будет разумно проанализировать, что происходит. Можно также установить Google Alerts или делать запросы типа [site:example.com spammy words], где “spammy Words” могут быть слова типа porn, viagra, tramadol, sex и другие слова, нетипичные для Вашего сайта. Если Вы считаете, что хакеры подпортили Вам репутацию, советую прочитать материал о том, что нужно делать после хакерской атаки (http://googlewebmastercentral.blogspot.com/2008/04/my-sites-been-hacked-now-what.html).

В действительности, многие проблемы можно увидеть с помощью Webmaster Tools. Перечисленные выше – те общие, с которыми мы часто сталкивались в последнее время. Для того, чтобы избежать больших неприятностей в будущем, стоит просматривать свой эккаунт Webmaster Tools и решать проблемы в стадии зарождения. Если столкнулись с чем-то новым и абсолютно непонятным, спросите совета и помощи у наших экспертов в discussion group (http://groups.google.com/group/Google_Webmaster_Help)».

http://www.pagetrafficblog.com/advanced-website-diagnostics-google-webmaster-tools/5371/