Разбираем сайты по полочкам делая их посещамыми и продающими!
Распродажа
SEO с нуля!
+7 (953) 276-70-95
info.seoap@gmail.com
Перезвонить
  • Услуги
    • Обучение SEO
    • Разовая SEO оптимизация
      • Разовая SEO-оптимизация интернет-магазина
      • SEO-оптимизация каталогов и справочников
      • SEO-оптимизация молодых сайтов
      • SEO-оптимизация досок объявлений
      • SEO-оптимизация портала
      • SEO-оптимизация бизнес сайтов
      • SEO-оптимизация блогов
      • SEO-оптимизация информационных сайтов
      • Разовая SEO-оптимизация Landing Page
    • SEO продвижение сайтов
      • SEO продвижение интернет-магазина
      • SEO продвижение региональных сайтов
      • SEO-продвижение молодого сайта
      • SEO-продвижение корпоративных сайтов
    • Продвижение сайта по позициям в ТОП-10
    • Эффективный аудит сайта
      • SEO-аудит Landing Page
      • SEO-аудит бизнес-сайта
      • SEO-аудит блогов
      • SEO-аудит досок объявлений
      • SEO-аудит порталов
      • SEO-аудит сайтов каталогов
      • Анализ сайтов конкурентов
      • Аудит интернет-магазина
      • Аудит информационных сайтов
      • Аудит молодого сайта
      • Аудит сайта визитки
      • Аудит сайта компании
    • Оптимизация рекламных компаний
      • Настройка Google Adwords для сайта
      • Настройка яндекс директ для сайта
    • Соберём семантику для сайта
    • Копирайтинг для интернет-магазинов и сайтов услуг
      • Заказать слоган
      • Контентный план сайта
      • Наполнение сайтов интернет магазинов
      • Наполнения сайтов услуг контентом
    • Создание сайтов с оптимизацией
      • Дизайн сайта под SEO
      • Создание скетча и общей структуры сайта (прототипирование)
      • Сайты для заводов, производств
      • Сайта для малого бизнеса
      • Сопровождение и поддержка сайтов
    • Ускорение сайтов
    • Контроль репутации сайта
    • Тестирование сайта на ошибки
    • Администрирование сайтов
  • Акции «SEO-точка»
  • Портфолио
    • Сайты клиентов, которые мы создали
    • Сайты, которые мы продвинули
    • Примеры работ по оптимизации
  • Блог
    • Аналитика
    • Внутренняя оптимизация
    • Внешняя оптимизация
    • Контекст
    • Мифы продвижения
    • Обучение
    • Статьи
  • Сервисы
  • Контакты
    • Вакансии
    • Об авторе
    • Отзывы
    • FAQ
    • Кто с нами работает

Robots.txt

  1. Главная
  2. Внутренняя оптимизация
  3. Robots.txt
Posted on 29/03/2015
Комментариев нет

RobotsОдин из важнейших файлов для корректировки индексации и страниц сайта. Он позволяет как закрывать определенные разделы или страниц от индексации, так и задавать определенный режим нагрузки на сайт при обходе роботом.

Для создания файла роботс тхт нужно иметь под рукой простой текстовый редактор в идеале notepad++ для это нужно сохранить страницу в формате txt файла и озаглавить ее robots.

Основные команды файла robots.txt

User-agent: – имя робота для которого написана инструкция (Yandex, Google, и др.)

Disallow: – запрет на индексацию;

Allow: – разрешение на индексацию;

Sitemap: – карта сайта (указывается адрес по которому находится карта сайта);

Host: – главное зеркало сайта;

Crawl-delay: – время между закачками страниц у робота (помогает разгрузить сервер простановка в секундах от 0,5 до 5 секунд;

Clean-param: – настройка индексации страниц с динамическими параметрами (обычно данный тег редко используется) нужен по большей части для идентификаторов формируемых методом GET, но можно обойтись и просто тегом Disallow.

 

Спец символы для работы с robots.txt

* — любое значение;

$ — запрет всех значений после символа;

 

Основные моменты по написанию содержимого файла robots.txt.

  • обязательно отдельно прописываем директивы для роботов Yandex;
  • если для робота Google предполагается прописывать то же, что и для остальных роботов, то стоит заполнить так: User-agent: * ;
  • нельзя использовать перевод строки между директивами ‘User-agent’ и ‘Disallow’ (‘Allow’) это приведет к сбою индексации сайта.
  • теги Allow и Disallow сортируем по убыванию, если есть схожие сегменты то их можно заменить на упрощенные связки используя символ /teg/*.
  • для Яндекс host пишется непосредственно (без пропуска пустой строки) после директив ‘Disallow'(‘Allow’);
  • в директиве host указываем главное зеркало сайта, которое прописано в самом начале ТЗ;
  • при использовании тега Sitemap, адрес карты сайта нужно указать в каждом сегменте для роботов;
  • Robots.txt превышающий 32 Кб не работает.

 

Что нужно закрывать:

  • страницы поиска;
  • страницы сортировки, а также страницы «Показать все»;
  • личный кабинет и другие пользовательские данные;
  • версия для печати;
  • страницы регистрации/авторизации;
  • прочие технические страницы (восстановление пароля и т.п.);
  • корзина, оформление заказа (часто они могут быть закрыты одним правилом);
  • доступ к cms;
  • прочие стандартные папки (шаблоны, кэш, компоненты, логи)

 

То, что требует анализа перед закрытием:

  1. Страницы типа «висячий узел». Иногда достаточно просто оформить контент такой страницы в общем шаблоне, и тогда ее закрытия от индексации не требуется (например, условия соглашения или другая нужная для пользователей информация). Поэтому решение о закрытии таких страниц нужно принимать только проанализировав каждую такую страницу.
  2. Страницы с фильтрами. Это требует глубокого анализа. По общему правилу, страницы фильтрации не закрываются, т.к. являются обычно потенциально трафикообразующими. Но если, например, мы на страницах фильтра реализуем ЧПУ, то остальные страницы, чтобы не засорять индекс ПС страницами с нулевой добавочной ценностью, можно закрыть от индексации. Кроме того, даже если ЧПУ не реализовано, можно закрывать от индексации страницы с большим количеством параметров, например, если параметров в URL пять и более. Это уменьшит возможность попадания в индекс страниц с малым или дублированным контентом.

 

Post Views: 902

Это уникальная SEO-запись.

Предыдущая запись
Google Адреса как добавить организацию инструкция
Следующая запись
SMM и SMO продвижение в социальных сетях чем лучше, хуже SEO

Добавить комментарий Отменить ответ

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Заполните поле
Заполните поле
Пожалуйста, введите корректный адрес email.

думай как оптимизатор (сергей бондарев)

Свежие записи

  • Кейс SEO-продвижения магазина брендовой одежды «Голд Мода» (ассортимент — реплики) 08/02/2021
  • Кейс SEO-продвижение игровых сайтов по Европе 28/01/2021
  • Как Яндекс торгует местами в выдаче 01/01/2021
  • Оптимизация сообщества Вконтакте: как вывести статью из паблика в ТОП-10 Яндекса 31/12/2020
  • Как правильно составлять заголовки и тексты страниц сайтов: общий алгоритм и рекомендации 29/12/2020

Рубрики

  • Аналитика (15)
  • Внешняя оптимизация (67)
  • Внутренняя оптимизация (49)
  • Контекст (9)
  • Мифы продвижения (9)
  • Обучение (47)
  • Оптимизация CMS (2)
  • Портфолио (48)
  • Статьи (42)
seo-ap.ru logo

Продвижение и Seo-оптимизация сайтов под Яндекс и Google от Сергея Бондарева и партнёров

  • Контакты
  • FAQ
  • Акции «SEO-точка»
  • Портфолио
  • Блог
  • Услуги
Контакты
+7 (953) 276-70-95
info.seoap@gmail.com

Социальные профили

Facebook
Vkontakte
Instagram
YouTube
© 2018. Все права защищены
Seo-AP — оптимизация и продвижение сайтов.
Внимание наш сайт использует технологии cookies для предоставления наиболее качественной и удобной информации для вас. Используя сайт, вы соглашаетесь с данной технологией. Политика конфиденциальности