Приветствую Вас на своем блоге!!!
Подпишись на RSS
rss Подпишитесь на RSS, чтобы всегда быть в курсе событий.

Комментарии

Присоединяйтесь к обсуждению

    В одной из прошлой своих статей я уже рассказывал, что такое Twite , как на этом сервисе можно зарабатывать и зачем он необходим рекламодателям и  не только. Не так давно на этом сервисе произошли серьезные перемены. Он намного расширил свои возможности. Теперь рекламироваться и заработать в Интернете с его помощью можно не только в Twitter […]


    25 Март 2011 · Шаг 2

    Для того , чтобы исключить показ какой либо записи на главной странице и во многих других местах для движка WordPress написан плагин и называется он — Advanced Category Excluder или сокращенно — ACE. Плагин простой обычно с его установкой трудностей не возникает. После установки и активации вам достаточно лишь отметить в нем категории для исключения […]


    21 Март 2011

    Создание правила для поисковых систем — robots.txt!

    Рубрика: Шаг 2.
    Метки: , ,
    Понравилась запись-
    жми на эту кнопку:

    Партнерки

    Создали блог? Установили все нужные плагины и произвели настройки WordPress? Задумали создать зеркало сайта? Для начала необходимо создать еще одно — правило для поисковых роботов. В данном случае для Яндекса — ведь это самая популярная для России и ближнего зарубежья поисковая система.
    Для этого вам необходимо создать файл под названием:

    robots.txt

    Во всех поисковых системах проверку вашего сайта ведут роботы. И, чтобы они не совали свой нос, куда не следует и пишется этот текстовый файл. Как только они заходят на ваш сайт, они сразу ищут этот файл, и если его нет, то делают все, что захотят. Производят индексацию ненужных страниц и если у вас есть зеркало, то сами определяют — где отражение , а где оригинал. Что часто бывает ошибочно и влечет за собой множество проблем.
    В данном файле указывается путь роботам , чтобы они не блуждали по сайту, а занимались делом.

    • С помощью тега «Disallow»  — вы сможете установить запрет на индексацию в этих файлах.
    • С помощью тега «User-agent» — вы можете указать к кому из роботов это относиться.
    • А тегом «Sitemap» — указываете путь к карте сайта.
    • С помощью тега «Host» — указываете главный сайт.

    Ниже вы видите из чего состоит стандартный файл robots.txt для блога на WordPress. Вы можете скачать его себе, но не забывайте заменить адреса сайта на свои !

    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /downloads/
    Disallow: /wp-login.php
    Disallow: /wp-admin
    Disallow: /wp-includes/
    Disallow: /xmlrpc.php
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /wp-register.php
    Disallow: /archive/
    Disallow: /author
    Disallow: /trackback
    Disallow: /feed
    Disallow: /page/
    Disallow: /comments
    Disallow: /?feed=
    Disallow: /category/*/*
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Disallow: /tag*/
    Disallow: /?s=
    Disallow: /*?*
    Disallow: /*?
    Host: biznesroom.ru
    
    Sitemap: http://biznesroom.ru/sitemap.xml
    Sitemap: http://biznesroom.ru/sitemap.xml.gz
    
    User-agent: Yandex
    Disallow: /cgi-bin/
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /wp-includes/
    Disallow: /xmlrpc.php
    Disallow: /wp-admin
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Disallow: /archive
    Disallow: /tag/
    Disallow: /page/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow: */trackback/
    Disallow: */feed/
    Disallow: */comments/
    Disallow: /?feed=
    Disallow: /?s=
    Disallow: /*?*
    Disallow: /*?


    !!! Этот файл будет работать только с челевеко-понятными урлами !!! Если вы используете стандартные урл, как на моем блоге, то это вам не подойдет, а навредит. Пишите в личку , скину вам другой или посмотрите мой.
    Файл необходимо закинуть в папку с вашим движком через менеджер или по FTP. После загрузки проверить его можно на сайте dinews.ru/seo , вписав в строку свое имя домена и нажав на кнопку «анализировать». На появившейся странице, снизу , вы сможете увидеть информацию об этом файле.
    Удачи !

    Автор блога Бизнес «Дома«.


    К записи "Создание правила для поисковых систем — robots.txt!" оставлено 3 коммент.

    Большое спасибо за такую понятную статью и нужную информацию. На многих сайтах из-за отсутствия этого файла робота страницы выпадают из индексации Яндекса — происходит дублирование страниц.

    Здравствуйте! Установила файл robot.txt и при проверке на сайте http://www.dinews.ru рядом на строке robots.txt написано, что данный файл отсутствует.При установке заменила имена сайта, там все верно.Или надо подождать чтоб он высветился при проверке?

    Файл есть, только нельзя столько строк пропускать, одной хватит. Большого разрыва не должно быть.




    Введите свой адрес электронной почты в форму, расположенную ниже,
    и вы всегда будете в курсе событий этого блога!

    rss2email
    Бизнес "Дома" - обновления !!!





    Все о создании Бизнеса и не только.
    Здравствуйте !
    Меня зовут Андрей и это мой авторский блог -

    Бизнес "Дома".

    На этом блоге вы сможете найти ответы на вопросы по этим темам : cоздание Бизнеса, работа в Интернете, создать сайт -блог, бизнес идеи, инструменты блоггера, бизнес обучение, мир денег, SEO,анализ,продвижение сайтов, блогов и многое другое. Понравилась статья - оставьте комментарий или поставьте ретвит. Буду очень признателен за добавление закладки на статьи в Facebook или В Контакте. Спасибо за посещение и приятного чтения.

    Уведомления о всех главных новостях блога!

    Введите адрес электронной почты и свое имя в эту форму и Вы всегда будете в курсе основных событий моего блога !

    SmartResponder.ru
    Ваше имя: *
    Ваш e-mail: *

    Создать свой БИЗНЕС легко - надо просто начать !!!

    Понравился мой блог ?

    Буду очень благодарен вам,
    если разместите у себя кнопку блога.
    Код кнопки:

    <a href="http://biznesroom.ru/"><img title="Бизнес Дома - авторский блог о создании Бизнеса" src="http://biznesroom.ru/wp-content/uploads/2011/04/biznes_d.jpg" alt="Бизнес Дома" width="105" height="40" /></a>

    Выглядеть это будет вот так :



    Заранее спасибо !

    Видео

    Избранное видео

    Twitter

    Мой микроблог на Twitter

    Счетчик

    Статистика сайта
    Яндекс.Метрика
    Карта блога xml