Приведу пример файла Robots.txt, который до недавнего времени стоял на моих сайтах:

User-agent: *
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /tag/
Disallow: /?s=
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Allow: /wp-content/uploads/

Sitemap: http://xela.ru/sitemap.xml

На первый взгляд все грамотно, но обратите внимание на выделенные красным строки. Самое обидное, что когда разбирался в синтаксисе Robots.txt вообще, сам же и написал, что Яндекс выполняет ту директиву, которая выше. Иными словами последнюю строку робот поисковика проигнорирует и картинки будут закрыты от индексации.

Есть три пути, как решить эту проблему. Можно перенести разрешающую строку выше запрещающей. При этом мы нарушаем правила написания файла, впрочем они не являются строгими и скорее всего такой вариант пройдет. Второй вариант – сделать дополнительную секцию для Яндекса. Мне он не понравился из-за громоздкости. Вполне понятно, что чем больше файл, тем вероятнее в нем ошибка. Да и хочется универсального решения.

После некоторого раздумия я просто решил удалить строку Disallow: /wp-content/. Собственно в это папке не находится какой-то тайной информации, так пусть она будет открыта вся. Если в поисковиках вдруг всплывут ненужные файлы, то всегда можно спрятать их прописав запрещение, скажем, на папку плагинов или темы.

Мой итоговый вариант получился следующим:

User-agent: *
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /tag/
Disallow: /?s=
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: */?
Allow: /wp-content/uploads/

Sitemap: http://xela.ru/sitemap.xml

Внимательные увидят еще одну добавленную строку. Одно время в Яндексе вылезли странные ссылки на мой сайт следующего вида:

http://www.xela.ru/2009/12/nastrojka-servera-apache-na-vps/?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed:+xelaru+(Xela.ru+Блог+о+фотографии,+программировании+и+seo)

Я так и не смог разобраться откуда они попадают в индекс. Судя по вот этой части “utm_source=feedburner”, они появляются после перехода с RSS-подписки. При этом страница ничем не отличается от обычной со ссылкой до знака вопроса. Поэтому, чтобы в Яндексе не было ненужных дублей, я просто закрыл подобные страницы дополнительной директивой.

Файл вверху действующий, так что можете смело использовать его у себя, нужно только заменить путь к сайту в sitemap.

Порядок поведения спам-ботов следующий: находим блог, в нем статью, далее форму для комментариев, заполняем стандартные поля и уходим дальше. Иногда роботы выбирают 1-2 строки из текста страницы и вставляют в поле комментария, но это для нас не важно. Ни блог, ни статью мы спрятать от них не сможем, а вот с формой размещения комментариев как раз поработать и стоит. Обычно она состоит из 4 полей- “имя”, “e-mail”, “сайт”, “комментарий”. Если копнуть чуть глубже, то мы увидим, что эти поля имеют name и id, которые для большинства сайтов совпадают.

Как же обмануть бота? При заполнении формы, он пойдет по стандартным полям, и, если создать дубликат поля с другим name, то заполнено будут именно стандартное. Но что делать пользователю-человеку, ведь он увидит несколько одинаковых полей в форме? Все просто – оставим для человека переименованное, он ничего не заметит, а стандартное скроем при помощи css, его увидит и заполнит робот. Дальше сделаем анализ заполненной формы, и при наличии текста в скрытом поле удалим комментарий, как спам.

Для изменения нам понадобятся следующие файлы: /wp-content/themes/тема/comments.php – это файл формы комментария и /wp-comments-post.php – это обработчик формы, ну и файл стилей, в котором мы будем прятать дублирующее поле, обычно это /wp-content/themes/тема/style.css.

Сначала исправляем саму форму добавления комментариев, для этого находим в comments.php часть кода, которая ответственна за внешний вид, обычно она расположена ближе к концу файла, нас будет интересовать строка ввода e-mail:

<input type=”text” name=”email” id=”email” value=”<?php echo $comment_author_email; ?>” size=”22″ tabindex=”2″ />

Для этого поля создаем дубликат для ботов и добавляем класс для невидимости, для людей меняем название поля:

<input type=”text” class=”irobot” name=”email” id=”email” value=“” size=”22″ tabindex=”2″ />
<input type=”text” name=”notaspam” id=”true-email” value=”<?php echo $comment_author_email; ?>” size=”22″ tabindex=”3″ />

При использовании кода желательно поменять irobot, notaspam и true-email на любые другие имена.

Переходим к обработчику формы /wp-comments-post.php. В файле находим обработку формы, добавляем проверку на заполнение скрытого поля и меняем содержимое email на пользовательское:

$spam_test_field = trim($_POST['email']);
if(!empty($spam_test_field)) wp_die(’Spam must die!’);
$comment_author       = ( isset($_POST['author']) )  ? trim(strip_tags($_POST['author'])) : null;
$comment_author_email = ( isset($_POST['notaspam']) )   ? trim($_POST['notaspam']) : null;

Таким образом, если заполнено невидимое поле email, то комментарий не пройдет – это однозначно бот. Осталось только спрятать дублированное поле, и человек заполнить его не сможет. Прописываем класс в файле стилей:

.irobot{ display: none; }

Плюс данного метода в том, что он не особенно распространен, а значит спаммеры не будут сильно задумываться над его обходом и какое-то время эффективность будет высока. Минус один, но большой, при изменении темы или обновлении блога, нужно не забыть повторить процедуру.

UPD. Исходя из опыта администрирования нескольких блогов, могу сделать вывод, что защита Wordpress от спама путем изменения формы комментариев, в результате является самым простым способом. Плагины рано или поздно начинают пропускать спам, а затем становятся полностью неэффективными, кроме этого они требуют настройки, обновления и т.д., а тут минимальные манипуляции и почти 100% результат отсеивания ненужных сообщений.

Ссылки по теме:
Защита блога от спама по версии adw0rd
Плагин “Я не робот!”
Защита от спама при помощи математики Math Comment Spam Protection
Уничтожитель паразитов Новикова

User-agent: *
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /tag/
Disallow: /?s=
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Allow: /wp-content/uploads/

Sitemap: http://xela.ru/sitemap.xml

Сначала (строки 1-3) скрываем от поисковиков служебные файлы – страницы удаленного постинга, авторизации и регистрации, которые в противном случае они найдут. Затем (строки 4-6) служебные папки с темами, плагинами и т.д. Стоит обратить внимание, что внизу мы откроем доступ к папке картинок директивой “Allow: /wp-content/uploads/”, если у вас картинки к статьям лежат в другой папке, то необходимо поменять путь.

Строки, путь в которых начинается с “/wp” можно закрыть при помощи одной директивы – “Disallow: /wp*”, но я бы не стал так делать, потому, что эта маска может в будущих версиях закрыть от индексации что-то важное, да и с конкретными путями получается нагляднее.

Далее закрываем тэги – “Disallow: /tag/”, чтобы избежать дублирующегося контента и страницу результатов поиска- “Disallow: /?s=” , которая не несет никакой полезной информации для поисковиков и тоже может генерировать лишний неоригинальный контент.

Поисковые роботы, за исключением специализированных, которые ищут по блогам, не понимают фиды и т.п., и выдают ошибки, поэтому закрываем от них непонятные страницы. При этом “блогороботы” наоборот понимают в основном только RSS и игнорируют остальной контент, поэтому для них не нужна отдельная секция в robots.txt, они находят RSS-потоки и на этом их путешествие по сайту заканчивается. Записи “Disallow: /comments/” и “Disallow: */comments/” отличаются друг от друга, в первом случае мы закрываем фид со всеми комментариями, а во втором фиды с комментариями к отдельным статьям.

И, наконец, прописываем путь к файлу sitemap.

Стоит добавить, что при формате ЧПУ-ссылок с датой в начале, нет возможности закрыть от индексации архивы. Для этого я использую плагин All in One SEO Pack, а в нем ставлю noindex для архивов. Но можно поступить и проще, на этом сайте я просто убрал ссылку на архивы.

Ссылки по теме:
пример robots.txt на официальном сайте wordpress.

Почему дублирующийся контент это нехорошо?

Сначала постараемся разобраться почему это нехорошо. В качестве первоисточника статья из Google Webmaster Blog (на английском) про дублирующийся контент. Краткое резюме: Гугл не наказывает сайты за повторяющиеся материалы, все страницы индексируются, но на результаты выдачи накладывается фильтр, который помогает избежать показа одинаковых результатов. В некоторых случаях, когда они считают, что дублирующийся контент создан с целью манипулирования результатами выдачи, к сайту могут быть применены соответствующие санкции.

Яндекс по этому поводу говорит следующее: “Документ, известный роботу, может не попасть в результаты поиска, если он является дубликатом ранее найденной страницы”. Глубже я копать не стал, но думаю, что в некоторых случаях за одинаковый контент и Яндекс может наказывать.

Кроме непосредственно наказания может сложиться ситуация, когда вместо страницы в выдачу может попасть ее копия из архива или тэгов, что нам конечно же не нужно.

Что сделать, чтобы этого избежать?

Сначала надо уточнить для чего сделан сайт. Если сайт сделан под рекламу, то чем больше страниц  проиндексировано поисковиком и присутствует в выдаче, тем больше рекламных площадей доступно. С другой стороны часть дублированных страниц все равно не будет помещена в выдачу, а само присутствие этих страниц в базе может замедлить последующую индексацию сайта. Да и возможность наказания не стоит игнорировать т.к. сайт под рекламу уже заведомо рискует. Для сайтов, при создании которых реклама не главное, все несколько проще, необходимо закрыть лишние страницы от поисковиков и все.

С чего начать?

Первое – это постоянные ссылки ЧПУ (человеко понятные ссылки). У кого установлены и настроены могут пропустить абзац. Итак, чтобы сделать постоянные ссылки заходим в раздел “настройки” и вполне логично выбираем “постоянные ссылки”, дальше по инструкциям. Формат ссылок не важен, для себя я выбрал “месяц и название”, но это не принципиально. Далее необходимо поставить и активировать плагин RusToLat, скачать можно отсюда. Этот плагин автоматически переводит русские названия статей в транслит и на выходе мы получаем красивые постоянные ссылки с буквенным названием без спецсимволов.

Второе – это обрезка статей при помощи “more” до анонсов. Конечно если вы пишете по 1-2 абзаца, то пользоваться им не стоит, но если статьи достаточно длинные, то лучше спрятать их часть, чтобы не загромождать страницу. При этом читатель может, прочитав начало, сам решить стоит ли переходить дальше. Правда при таком подходе создается лишняя ссылка на страницу, но об этом в другой раз.

Следующий шаг – определить структуру сайта и закрыть ненужное.

Представим себе стандартную схему сайта на Wordpress. Причем за основу возьмем сильно упрощенный вариант: у нас есть 4 записи, они располагаются по 2 на странице, все записи из одной категории с одним тэгом и сделаны в одном месяце.  На записи стоят постоянные ссылки, и они обрезаны тэгом “more”. Пропишем все связи в которые вовлечены эти записи:

Получается, что у нас уникальный контент несут только синие страницы, а зеленые в различных видах собирают анонсы. Главная тоже не уникальна, но с ней в любом случае ничего делать нельзя, т.к. эта начальная страница сайта. По-хорошему нужно выкинуть все зеленые страницы, но как в этом случае поисковик найдет записи в шаге от главной, если он не успел их проиндексировать?

Решим что нам не нужно. Тэги и архивы точно не понадобятся. Например, если есть одна запись с несколькими тэгами, то на нее будет вести ссылка со страницы каждого тэга, причем на всех страницах будет один и тот же анонс. А архивы это некая сборка анонсов записей, объединенных временем написания, тоже практической ценности никакой.

Со страницами и категориями несколько сложнее. Категории собирают тематические анонсы, а значит могут формировать уникальный текст для некоторых запросов с большим количеством ключевых слов. Этот текст в свою очередь может лучше подходить под поисковик, чем текст единичной записи, а значит он может принести дополнительных пользователей. Страницы полезны в меньшей степени, но и на них, при регулярном, обновлении блога будет собираться некий уникальный текст. Оставить или закрыть страницы решение индивидуальное, я их оставил. Естественно это работает только при обрезании статей, в противном случае страницы или категории тоже необходимо закрыть, оставив что-то одно для индексации записей ушедших с первой страницы.

Таким образом мы значительно упрощаем структуру ссылок,  максимально убираем дублирующийся контент и при этом оставляем возможность для поисковиков найти все записи.

Чтобы реализовать это технически нужно сделать файл robots.txt в корневой директории сайта. Подробнее о файле robots.txt в предыдущей моей статье, а robots.txt для wordpress я опишу в следующей.

Кроме этого стоит обратить внимание на тэги Noindex и Nofollow и возможность их применения для скрытия ссылок от поисковиком.

Стянуто тут: http://qui-gon.ru/anti-more/
пока не проверялось.

Мне подумалось, что wp-cron.php служит ни чем иным, как встроенным планировщиком вордпресса и по запуску должен совершать все запланированные действия. В свою очередь – для его регулярного запуска нужно настроить хрон на сервере хостинга.
В cpanel это делается следующим образом – в Дополнительных инструментах находим Планировщик задач (cron). Выбираем “Стандартный” режим – так будет проще указать время, сверху указываем e-mail, на который будут приходить подтверждения, в поле команды для запуска вводим:

/usr/bin/php /home/%логин_в_cpanel%/public_html/wp-cron.php

Описание этой строчки – “интерпретатор_php адрес_скрипта”. В случае, если хрон не находит php – введите в поле команды:

wich php

и на указанную почту придет адрес нужной папки.
Также нужно разрешить выполнение скрипта wp-cron.php на сервере. Для этого установим ему атрибуты 744 или выше. Это можно сделать с помощью Total Commander (Files – Change Attributes).
Оказалось, что и тут канитель не заканчивается. Чтобы скрипт делал то, чего от него ожидают, следует поступить, как советуют на wpplugins, а именно – открыть wp-cron.php в редакторе и закомментировать следующие строки:

if ( $_GET['check'] != wp_hash(’187425′) )
exit;