Во многих информационных материалах, которые мне когда-либо приходилось
читать об этом служебном файле веб-сервера Apache, говорилось,
в основном, о том, как правильно сконфигурировать сервер для качественной работы
сайта. Авторы уделяли внимание различным техническим моментам, интересным, по
большему счёту, администраторам серверов и другим техническим специалистам.
Информация о возможности применения данного файла для SEO либо упоминается
вскользь, либо авторы подобных статей теряются в собственных мыслях и о SEO, как
о важном аспекте развития проекта, вообще не упоминают.
Оказывается, стандарт файла htaccess настолько гибок, что
настройки можно производить фактически для любой нетривиальной задачи, которая
должна выполняться веб-сайтом. В данном аспекте я искал именно информацию о SEO
и возможностях применения файла htaccess для целей оптимизации
сайта для поисковых систем.
Ну что же? Попробую собрать своего рода некое небольшое руководство для
seo-специалистов.
У многих сразу возникнет вопрос: а зачем это надо?
Ведь есть файл robots.txt, в котором можно всё указать?
Отвечаю, да такая возможность есть, но что стандарт файла robots.txt
хоть и является необходимым для соблюдения, но всё же носит рекомендативный
характер.
Поисковые роботы и не только роботы поисковых систем могут и не
руководствоваться информацией, опубликованной там.
Стандарт файла htaccess выгодно отличается от стандарта
файла robots.txt, прежде всего, тем, что все директивы
обязательны для исполнения, т. к. уже их исполнение контролируется веб-сервером,
а не остаётся на совести поисковых ботов.
Данная статья представляет собой набор этапов-вариантов оптимизации сайта для
поисковых систем при помощи стандарта файла htaccess. Каждый
этап - одна небольшая микронастройка, входящая в комплексный список SEO-приёмов
для оптимизации ресурса. Описанные методы работы с файлом htaccess работают
только в связке с модулем mod-rewrite веб-сервера Apache.
Поинтересуйтесь, можно ли на вашем хостинге использовать его, а также изменять
настройки конфигурации сервера при помощи файла htaccess.
Этап 1: блокировка доступа к сайту
Для любого сайта избыточный трафик вреден. К тому же многие проекты находятся
на хостинговых проектах, которые всё ещё требуют оплату трафика. Да и, к слову,
избыточный трафик, помимо своей дороговизны, прилично нагружает и без того
занятый сервер, снижая его работоспособность. Многие проекты, в силу различных
причин, избегают излишнего сканирования себя, отсекая возможность получить
доступ "ненужным поисковикам" к ресурсам сайта. (Например, сайт оптимизируется
для России, следовательно, трафик с Yahoo не важен, ну или любых других причин).
Многие сайты пытаются защитить себя от сканирования вредоносными роботами
(например, сборщиками спама).
Как реализовать?
Немного базисной информации:
Создайте файл .htaccess (с точкой в начале), после того как вы
введёте необходимые директивы, загрузите его на веб-сервер в текстовой форме для
того, чтобы ваши настройки смогли вступить в силу (обратите внимание: этот файл
служебный, поэтому в обычном режиме он не виден – у вас должна быть активирована
опция показа скрытых файлов).
Немного объяснения по синтаксису:
RewriteEngine – ключ к запуску модуля. RewriteBase указывает "глобальность" наших изменений (если
используется знак «/», значит, настройки будут применены к текущей директории).
Директива RewriteCond ставит условие, при истинности которого
будет исполняться наша настройка. В состав этой директивы входит проверочная
строка. В данном случае используем переменную сервера %{HTTP_USER_AGENT},
которая выводит юзер-агенты программ, обращающихся к серверу. Далее идёт
значение этой переменной, разделённое регулярным выражением ^
начала строки. RewriteRule выполняет нашу настройку. В данном случае мы
запрещаем доступ к серверу. Делается это при помощи регулярных выражений начала
строки ^ и конца строки $, а также флага вида
действия - [F] (его значение в данном случае FORBIDDEN). [OR] используется в случае, если у нас несколько условий
обработки действий роботов.
В данном случае робот с юзер-агентом Googlebot (сканирующий
робот поисковой системы Google) не сможет получить доступ к сайту. На месте
Googlebot можно написать любой юзер-агент программы или робота, которого вы не
хотите видеть у себя. Здесь же можно указать и юзер-агенты известных
программ-сборщиков спама типа EmailSiphon или
ExtractorPro.
Ни для кого не секрет, что динамические адреса сайтов могут плохо
индексироваться поисковыми системами. Этому есть различные причины. Например,
избыточное количество переменных в URL.
Что с этим делать?
Вариант 1: переписать движок, что сложнее и дольше
Вариант 2: использовать mod_rewrite, что быстрее и эффективнее.
Воспользуемся вторым вариантом. Допустим, мы имеем адрес вида:
Конечно, было бы очень неплохо иметь что-то вида
Как это сделать?
RewriteEngine on
RewriteBase /
RewriteRule ^(.*)buy/(.*)$ $1buy.php?act=$2
Общий синтаксис:
RewriteRule текущий URL перезаписываемый URL
Вызываемый URL разбивается на части. Все, что находится перед "buy",
плюс все что находится после "buy /" определяется и хранится в
этих двух переменных: $1 и $2.
Этап 3: редиректы
Редирект, автоматическое умышленное перенаправление роботов
и программ пользователей на какую-либо страницу сайта или же на другой сайт,
довольно часто используется для подобных целей. Иногда бывает так, что сайт
переехал на новый домен, или же у него особая система навигации, или же сайт на
разных языках – причин может быть много. Каждый выбирает свою, особенную и
руководствуется ей. Рассмотрим основные разновидности редиректов сервера.
301 редирект или страница перенесена НАВСЕГДА на другой домен
Метод примечателен тем, что многие поисковые системы, а в частности, Google
помимо получения полезной информации о смене адреса страницы также переносит и
все статические показатели этой страницы на новый адрес сайта (страницы), ибо,
как вы указали, сайт, с которого производится редирект, по-видимому, больше не
будет эксплуатироваться
Как реализовать 301 редирект?
Redirect 301
Директива Redirect с кодом 301 как раз и отвечает за данный
перенос. Состоит из 2 параметров: первый ()
обозначает, с какой страницы следует делать перенос, второй ()
– на страницу, куда нам нужно переместиться.
302 редирект или страница перенесена ВРЕМЕННО
Собственно, этим всё сказано. Временно, значит, временно. Это не значит, что
сайт больше существовать не будет. Отнюдь, очень даже будет. Просто, видимо,
сайт в данный момент не в должном состоянии по стандартному адресу. Раз
переадресация временная, то сайт продолжает индексироваться поисковыми системами
и выводиться по ключевым поисковым запросам.
Seo-профи не любят 302 редирект, видать, в виду того, что
статические показатели с домена не передаются на новый домен. Однако как принято
в сообществе профессионалов, 302 редирект – это плохой кандидат
редиректа на новые домены. Используйте его в границах одного домена. Уже были
прецеденты. Не рекомендую.
Как реализовать 302 редирект?
Redirect 302
Этот редирект от описанного мной выше отличает лишь номер редиректа, а именно
цифра 302.
Когда Вы пишите простенькую гостевую книгу, или счетчик, прибавляющий 1, к предыдущему значению, Вы, как правило, используете один-два файла не связанные друг с другом. Но однажды возникает необходимость разделять программу на несколько частей, причем одна часть вызывается другой... подробнее
В предыдущей части статьи мы рассмотрели основные принципы работы mod_rewrite. В этой статье будут рассмотрены общие случаи использования mod_rewrite и его возможностей... подробнее
Эта статья была написана мной во время разработки нового движка для сайта.
Как и все пользователи интернета, я с некоторого времени (примерно год назад) стал замечать, что все больше и больше популярных сайтов переходят от url вида http://site.net?pid=general&id=5&s=98465 на псевдостатику или на ЧПУ (Человеку Понятный УРЛ)... подробнее
Во многих информационных материалах, которые мне когда-либо приходилось читать об этом служебном файле веб-сервера Apache, говорилось, в основном, о том, как правильно сконфигурировать сервер для качественной работы сайта... подробнее
Многие начинающие веб-мастера встречаются с проблемой обработки длинных адресов в строке браузера. Например, у вас есть динамическая страница, которая обрабатывает запросы на скачивание файлов... подробнее
