Robots.txt Generator

Поисковая оптимизация

Генератор Robots.txt


По умолчанию - все роботы:  
    
Сканирование-Задержка:
    
Карта сайта: (оставьте пустым, если у вас нет) 
     
Поиск роботов: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Ограниченные каталоги: Путь относительно корня и должен содержать косую черту "/"
 
 
 
 
 
 
   



Создайте файл robots.txt в корневом каталоге. Скопируйте текст выше и вставьте в текстовый файл.


О Генератор Robots.txt

Robots.txt представляет собой текстовый файл Robots.txt, размещенный в корце вашего сайта. Данный документ содержит подробные инструкции для поисковых роботов (поэтому он так и называется) относительно того, что ему надо индексировать, а что – нет. Вам, как вебмастеру, необходимо понимать, что правильная настройка Robots.txt обязательна, если вы хотите корректную и быструю индексацию вашего сайта.