Оптимизация сайта в деталях часть третья
Октябрь 9, 2013 0

Оптимизация сайта в деталях часть вторая

Опубликовано:webmaster onОктябрь 9, 2013

Оптимизация сайта в деталях часть вторая

 

Оптимизация сайта в деталях часть первая читаем здесь.

Настройка редиректов и статус-кодов

 О состоянии страницы говорит код статуса HTTP, который автоматически отдается, когда браузер посетителя или робот поисковой системы запрашивает страницу на сайте. Поисковые роботы по этому коду понимают состояние сайта и конкретной страницы. Например, существует страница или нет, настроена ли переадресация, нет ли на стороне сервера ошибки.

Оптимизация сайта в деталях часть вторая

Существует пять групп кодов состояний. Каждая группа начинается с определенной цифры и соответствует определенному состоянию:

200 – сервер успешно открыл страницу; только страницу с таким кодом будет индексировать роботы поисковой системы

301 – перенаправление навсегда, показывающее роботу и посетителю, что запрашиваемой страницы больше не существует, но есть аналогичная, куда и осуществляется редирект

302 – временное перенаправление, означающее, что существующий редирект только на время, например, пока сайт на обновлении

404 – запрашиваемая страница не существует, такая страница для поисковика считается несуществующей и индексироваться она не будет

503 – сервер временно недоступен – проблема на стороне сервера, связанная, например, с нагрузкой сервера, на котором размещен сайт

500 – внутренняя ошибка сервера – возникает, когда сервер сталкивается с некорректностью работы сайта, например, скрипт не отрабатывает правильно или превышены разрешенные права на хостинге

Бывают случаи, когда статус-код отдается некорректно. Например, рабочие страницы отдают код 404, то есть они недоступны, или несуществующие страницы отдают код 200. В этом случае необходимо провести корректную настройку статус-кодов в файле .htaccess.

Корректная настройка статус-кодов очень важна для правильной индексации сайта: если страница по ошибке будет отдавать код 404, ее не смогут проиндексировать поисковые роботы, а это отрицательно скажется на продвижении ресурса.

Еще один способ определить проблемы с 404 ошибкой – это установить на свой компьютер дополнение к браузеру Firefox, которое называется «Firebug». Зайдя в этом сервисе во вкладку «Сеть» и перезагрузив страницу, можно посмотреть статус-коды всех подгружаемых элементов, но в первую очередь самой страницы.

Результаты проверки страницы с помощью инструмента Firebug.

seo_p

Информацию о наличии страниц с ошибками можно получить также из сервиса Google, настроенного для конкретного сайта.

Рекомендуется проводить проверку статус-кодов для всех страниц сайта. Если найдены страницы с кодами, отличными от 200 ОК, то нужно настроить сервер таким образом, чтобы все страницы с полезным контентом отдавали корректные ответы. Такое ответственное задание стоит поручить разработчикам сайта.

Настройка зеркал сайтов

Зеркала – это два идентичных сайта, имеющих разные URL. Поисковые системы могут посчитать создание таких сайтов спамными действиями и наложить на них санкции, поэтому следует произвести правильную настройку зеркал, указав среди них основное. Иногда робот-зеркальщик поисковой системы без дополнительных настроек определяет зеркала, и склейка происходит автоматически. Но, к сожалению, бывают и обратные случаи. Есть риск, что в поисковой системе произойдет сбой, и она потеряет информацию о зеркалах. В таких случаях позиции сайта могут понизиться или прекратить рост. Это происходит из-за того, что ссылочная масса в таком случае учитывается на каждый сайт в отдельности, а наличие дублирующей информации может повлечь пессимизацию и исключение из индекса.

Часто проблемы случаются с настройкой зеркал сайтов с www и без www. Чтобы обнаружить их :

seo_z

Чтобы провести проверку настройки зеркал с www и без www, необходимо зайти на каждую копию и проанализировать: сайт открывается и по одному адресу, и по-другому, или в одном из вариантов происходит перенаправление.

Также нужно просмотреть индекс Яндекса и Google на наличие страниц с www и без www. Если они есть, то, скорее всего, настройка зеркал выполнена неверно.

Для корректной настройки зеркал используется, помимо редиректа, директива host в файле robots.txt. Если директива host не прописана в файле robots.txt, то Яндексу и другим поисковым системам не дана информация о главном зеркале, и индексация сайта, скорее всего, пройдет некорректно.

Таким образом, основными этапами настройки зеркал являются:

  • установка 301-го редиректа с неосновного зеркала на основное;
  • корректировка ссылочной структуры сайта, чтобы исключить наличие на веб-ресурсе ссылки одновременно с неосновного и основного сайта;
  • обозначение в директиве host основного сайта, главного зеркала среди множества.

Перенаправления: 301 и 302 редирект

Существует два вида перенаправлений:

301 — «перемещен навсегда». Этот вид редиректа используется при смене

URL страниц и при склейке сайтов. Прежняя страница выпадает из индекса, но при этом весь заработанный ею вес практически полностью передается на новую страницу, куда сделан редирект.

302 — «перемещен временно». Этот вид редиректа используется для временного перенаправления, например, во время обновления сайта, когда страница еще «сырая», но сайт должен работать. При 302 редиректе прежняя страница сохраняется в индексе, и ее вес не передается. Узнать тип редиректа можно с помощью проверки статус-кодов страниц, с которых идет перенаправление.

Если отдается статус-код 302, это значит, что установлен временный редирект, и его следует исправить. Наиболее предпочтительным является полное устранение такого редиректа с сайта (например, закрытие страницы – настройка 404 ошибки).

Если редирект сделан с целью перенаправить пользователей с одной страницы на другую (например, если предыдущая страница уже не нужна), нужно заменить его на 301-й редирект, который нормально воспринимается поисковой системой.

 

Настройка 301 редиректа с помощью директивы RewriteRule модуля mod_rewrite в файле (.htaccess) основных перенаправлений:

«« Редирект 301 с без www на www

RewriteEngine On

RewriteCond %{HTTP_HOST} ^yoursite.com$ [NC]

RewriteRule ^(.*)$ //www.yoursite.com/$1 [R=301,L]

Вместо yoursite.com в обеих строках прописываем свой домен, остальное без изменений. Если настройка идет с сайта www на без www, то в предпоследней строчке добавляется перед названием сайта www, а в последней строчке удаляется www.

«« Редирект 301 для изменения адреса страницы

RewriteEngine On

RewriteCond %{HTTP_HOST} ^yoursite.com$ [NC]

Redirect 301 /old.html //www.yoursite.com/new.html

«« Редирект старого домена на новый

RewriteEngine On

RewriteCond %{HTTP_HOST} olddomen.net

RewriteRule (.*) //newdomen.ru/$1 [R=301,L]

Если нет опыта в установке редиректов, не рискуйте, а доверьтесь профессионалам. Веб-разработчик всегда поможет вам с грамотной реализацией этой доработки!

Существует еще один редирект – с помощью метатега Refresh. В ходе его выполнения через несколько секунд после загрузки страницы автоматически загружается другая страница. Метатег Refresh часто встречается в шаблонах сайта. Однако подобная переадресация расценивается поисковыми системами как нарушение лицензии и может привести к запрету индексации и бану.

Обнаружить данный изъян просто. Если при заходе на страницу производится перенаправление на другую страницу, и если в исходном коде страницы присутствует директива meta refresh с указанием URL, куда производится перенаправление, то на сайте используется редирект с помощью метатега Refresh.

Пример метаинформации страницы с директивой meta refresh:

seo_ref

От такого редиректа следует избавляться: либо устранять перенаправление, указывая действительные страницы, либо организовывать 301 редирект вместо имеющегося.

Файл robots.txt

Файл robots.txt – это текстовый файл, который находится в корневой директории сайта и используется для того, чтобы управлять страницами, индексируемыми поисковым роботом. Файл robots.txt может запрещать поисковому роботу двигаться по сайту и индексировать содержимое сайта.

Работа с файлом robots.txt требует определенных знаний, но отказываться от его использования нельзя. Роботы поисковых систем обычно следуют директивам, расположенным в файле robots.txt, поэтому они проверяют наличие данного файла при первом заходе на сайт и перепроверяют его от случая к случаю. Некоторые поисковые роботы могут столкнуться с трудностями при индексации сайта, если данный файл не существует либо вместо него выдается страница Not Found («Не найдено»).

Чтобы проверить наличие файла robots.txt, наберите в браузере следующий URL (вместо site.ru – название вашего домена):

seo_rob

Если по этому адресу выдается какое-либо другое содержание, помимо текстового файла с директивами для поисковых роботов, это означает, что файл отсутствует на сайте и следует загрузить файл robots.txt в корневую директорию сайта, прописав для него корректное содержание.

seo_rbcor

Неграмотно составленный файл robots.txt ограничивает поисковому роботу доступ к релевантной информации и сокращает количество проиндексированного контента на сайте, что противоречит основной цели оптимизации: позволить роботу проиндексировать как можно больше полезного и качественного контента.

Самый простой способ закрыть сайт от индексации – прописать в файле robots.txt «Disallow : /». Часто данной конструкцией пользуются при обновлении или создании сайта, когда не нужно, чтобы поисковый робот проиндексировал недоделанные страницы. Но обязательно после завершения всех работ нужно снять это ограничение.

Конструкцию «Disallow: /» следует заменить на «Аllow: /» или «Disallow:».

При помощи различных конструкций можно закрывать от индексации одни разделы сайта, открывать другие и даже работать с отдельными страницами.

Однако при работе с robots.txt следует быть предельно внимательным: неверно используя конструкции «Allow-Disallow», можно случайно закрыть от индексации раздел с полезной и уникальной информацией.

Рассмотрим ситуацию, при которой может возникнуть ошибка с использованием конструкции «Allow-Disallow». На сайте есть раздел, посвященный технике. Он не полностью готов, и мы не хотим, чтобы он индексировался. Для этого мы закрываем его индексацию: «Disallow: /catalog». Но из-за этой конструкции мы закрываем от индексации отлично работающий и полный раздел про автомобили (/catalog/auto). Правильно будет закрыть раздел «Disallow: /catalog/tech».

Чтобы проверить, индексируется какой-либо раздел сайта или нет, можно воспользоваться сервисами «Проверить URL» или «Проверить robots.txt».

При использовании инструмента «Проверить URL» необходимо ввести адрес любой страницы из проверяемого раздела в соответствующую строку. Если раздел запрещен к индексации, то появится оповещение. При использовании инструмента «Проверить robots.txt» следует указать, с какого сайта загрузить robots.txt. Затем через ссылку «Добавить» нужно указать спиок URL для проверки. После нажатия на кнопку «Проверить» по каждому введенному адресу будет указан результат проверки.

Пример работы сервиса Яндекс «Проверить robots.txt»

seo_prov

Noindex и nofollow

Запретить индексировать ту или иную страницу можно не только с помощью файла robots.txt, но и с помощью метатега «ROBOTS» в заголовках каждой страницы. Данному метатегу могут соответствовать 4 значения, которые указываются в атрибуте CONTENT:

  • index – индексировать,
  • noindex – не индексировать,
  • follow – следовать по ссылкам,
  • nofollow – не следовать по ссылкам.

Если «index» и «follow» навредить не могут (их необходимо использовать только при открытии какой-то страницы для индексации и учета ссылок), то неверно расставленные «noindex» и «nofollow» могут представлять угрозу.

Если на странице присутствует следующий код, то данная страница будет недоступна для поискового робота, и она не будет участвовать в ранжировании.

<html>

<head>

<meta name=”robots” content=”noindex” />

<title> Эта страница не будет проиндексирована </title>

</head>

Если Вы хотите, чтобы страница индексировалась, но не передавала вес ни по одной ссылке, чтобы робот не переходил по ссылкам с данной страницы, то следует использовать следующий код.

<html>

<head>

<meta name=”robots” content=”nofollow” />

<title>С этой страницы не будет перехода по ссылкам</title>

</head>

Если же требуется применить оба правила, то в атрибуте «content» через запятую указываются два параметра. Если с файлом robots.txt все в порядке, но страница никак не хочет индексироваться, следует проверить метатеги «robots» на ней. Это можно сделать как вручную, так и с помощью Яндекс.Вебмастер. В разделе «Исключенные страницы» будет указана категория «Документ содержит метатег noindex.»

Яндекс Вебмастер, вкладка «Исключенные страницы».

seo_noin

А что делать, если требуется запретить к индексации не всю страницу, а отдельные фрагменты кода?

 Например, если они содержат бесполезный или неуникальный контент? Поможет тег <noindex></noindex>.

Работать с ним просто – в коде сайта необходимо заключить соответствующий текст между этими тегами.

Например:

<noindex>Заимствованный контент</noindex>

Перебарщивать с данным тегом нельзя. Поисковая система будет видеть несвязный текст или его отсутствие в зависимости от закрытия, и данная страница может посчитаться спамной.

Атрибут rel ссылки со значением «nofollow» сообщает поисковой системе, что данную гиперссылку не следует учитывать при индексировании страницы.

Например:

<a href=”//www.site.ru” rel=”nofollow”>Рекламная ссылка</a>

Поисковые системы не учитывают ссылки с таким атрибутом при расчёте индекса цитирования веб-ресурсов. Закрывая таким образом ссылки, мы сохраняем вес страницы на сайте, не передавая его внешним сайтам.

Продолжение следует…

Если Вам понравилась эта статья, то искренне буду рад Вашим комментариям, твитам и лайкам.

Рекомендую так же подписаться на мою бесплатную рассылку
«Графика для ИнфоБизнеса»
Вы получите много полезного для оформления Вашего сайта!

subscribe

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Подтвердите, что Вы не бот — выберите человечка с поднятой рукой:
Confirmez que vous n'êtes pas un bot - sélectionnez homme avec main levée:
Confirm that you are not a bot - select a man with raised hand:

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.

Powered by  1web-seonet.eu 2018
Copyrights © Vladimir Rokosuiev.
Яндекс.Метрика