Привет всем гостям и читателям Blog-Bridge.ru! Наконец-то я пишу статью на своем любимом рабочем месте, поскольку до этого несколько дней мне приходилось работать то за планшетом, то за ноутбуком. Что было мне совершенно не удобно, поскольку я человек-привычка и эффективно работаю только в привычном мне режиме и в комфортных привычных условиях.

В моем случае — это домашнее рабочее место, обустроенное исходя из моих предпочтений и настроенное таким образом, чтобы мне было, во-первых, удобно, а во-вторых, максимально безопасно для здоровья.

Ведь вы наверняка знаете какие последствия могут быть, если не соблюдать основные правила при ведении сидячего образа жизни и постоянной работы за монитором. Если не знаете, обязательно прочитайте вот эти статьи:

Как не испортить окончательно зрение, работая за компьютером

«Мышиная болезнь» или что такое запястный тоннельный синдром

Рекомендации по профилактике и лечению позвоночника в домашних условиях

Как не допустить остеохондроз шейного отдела позвоночника

Мои временные кочевания связаны с тем, что Антон решил поменять процессор нашего компьютера на более мощный и тут начались все проблемы. То не хватало соответствующего охлаждения, то не хватало мощности блока питания. Теперь материнская плата не тянет, хотя по заявленным производителем техническим характеристикам должна вполне соответствовать новому процессору, но почему-то вместе они не контачат и компьютер постоянно уходит на перезагрузку.

Вообщем, вот такая канитель длится уже целую неделю, что меня выбивает из привычного режима. Сейчас поставили на время старый процессор и я могу работать как и прежде. Вот такие у меня новости. А у вас было такое?

Но вернемся к теме статьи. Давайте с вами разберем достаточно важный вопрос, так как он напрямую связан с размещением и продвижением вашего контента в поисковых системах, а соответственно с вашей популярностью и посещаемостью. Сегодня нашей темой будет составление корректного robots.txt для wordpress.

Что такое robots.txt

Итак, это файл, который позволяет разнообразным роботам (паукам) поисковых программ таких как Google, Яндекс, Yahoo и другим индексировать страницу, то есть просматривать и определять необходимость размещения ее в своей системе.

Например, вы ведете блог, и чтобы ваши статьи выходили в результате поиска, необходимо, во-первых, посещение вашего ресурса роботом, а во-вторых, чтобы ему все понравилось. А в качестве приглашения в гости для робота будет играть файл robots.txt, который и нужно установить на блоге.

Зачем составлять robots.txt

Все достаточно просто:

1. Чтобы ваш проект отобразился в поисковой системе. Многие ресурсы очень долгое время не отображаются в поиске, только потому что не создали у себя в корневой папке этот документ, который позволяет «пауку» ознакомиться с содержимым и увидеть, какую информацию ему необходимо размещать, а какую нет.
2. Чтобы было затрачено как можно меньше времени на индексацию, то есть отражение информации в той или иной системе. Что делают «пауки», когда заходят на ваш ресурс? Они первым делом ищут этот самый роботс. Если они его не находят, то начинают анализ своими способами, которые занимают значительное время, так как им приходится сканировать все на своем пути, все корневые папки, всю систему. А если бы вы потрудились над составлением и размещением этого документа, они бы сразу ознакомились с ним и начали свою работу.
3. Если этого файла у вас не будет, вас реже будет посещать паук, а это приведет к тому, что в выдаче вы будете занимать самые низкие позиции, соответственно и посетителей у вас будет немного.

В общем-то моментов, которые заставят вас задуматься над добавлением файла для роботов достаточно много. Если вы не хотите оказаться в конце поиска, то вам следует иметь этот документ у себя на сайте.

Как создать robots.txt на wordpress

Так как  вордпресс самая распространенная платформа, то я приведу пример как создать robots.txt именно для этой площадки.

Где же находится этот файл? В корне вашей системы. Просмотреть его можно набрав: http://сайт/robots.txt. Вместо «Сайт» необходимо ввести название вашего ресурса.

Шаги по составлению этого документа.

1. Открываете текстовый редактор (я пользуюсь Word или Блокнот) и в зависимости от того, настроен ли у вас ЧПУ (человеко — понятный url) набираете информацию согласно скриншотов. Если ЧПУ настроен — образец на первом скрине. Если же нет — то смотрите второй скрин.

Примечание: ЧПУ — это когда адрес страницы выглядит не так: http://site.ru/?p=1, а вот так http://site.ru/privet-mit.php.

Примечание: Не забудьте изменить имя на ваше.

2. После этого документ сохраняете и добавляете с помощью программы FileZilla в корень сайта. Как работать в программе FileZilla я покажу в следующей статье.

3. После этого проверяете, отображается ли у вас код, как мы уже говорили, с помощью этой ссылки http://сайт/robots.txt.

Вот таким образом мы и настроили документ.

Теперь давайте попробуем понять, как это все анализирует робот и что означают строки (директивы) в файле.

User agent — агент, к которому применяется данный файл.

Disallow — запрет на просмотр того или иного документа, пустые строки не разрешаются.

Allow — разрешение на просмотр, пустые строки не разрешаются.

Host — главное зеркало сайта.

Sitemap — адрес карты сайта.

Теперь вы знаете как создать robots.txt и где он должен лежать. Вам остается только воспользоваться нашей инструкцией и тогда пауки Яндекса и Гугла будут вас любить и индексировать, а если вы знакомы с основами сео-продвижения, то вы всегда будете занимать первые позиции в поиске. Чего вам я искренне желаю!

Екатерина Калмыкова