Кликандер и попандер партнерки
Стандарт исключений для роботов — Википедия
- 1 Описание структуры
- 2 Проверка синтаксиса
- 3 Примеры
- 4 Нестандартные директивы
- 5 Расширенный стандарт
- 6 Особенности поддержки стандарта поисковыми роботами
- 7 См. также
- 8 Ссылки
Запретить весь сайт для индексации всеми роботами
User-agent: *
Disallow: /
Разрешить всем роботам индексировать весь сайт
User-agent: *
Disallow:
- Введение
- Где размещать файл robots.txt
- Что писать в файл robots.txt
- Запретить весь сайт для индексации всеми роботами
- Разрешить всем роботам индексировать весь сайт
- Закрыть от индексации только несколько каталогов
- Запретить индексацию сайта только для одного робота
- Разрешить индексацию сайта одному роботу и запретить всем остальным
- Запретить к индексации все файлы кроме одного
