Robots.txt. Для чего он нужен и как им пользоваться?

Подскажите, пожалуйста, так нужно ставить в самом начале Allow: / если потом идут несколько запретов на какие-то отдельные директории. Или же достаточно указать запреты и все, что означает индексацию всего остального. Вы лишь упомянули в видео про Allow:/ в случае одностраничного сайта. Хотя и там не очень понятен смысл, если нет запретов. Спасибо.

Ну это и так все понятно. А есть еще глубже? То есть что какие то там файлы CSS должны быть открыты и т.д.?

Самое четко видео , коротко и ясно

Всё крут, спасибо!

главное зеркало тоже лучше указать

Павел, спасибо за полезную информацию

Спасибо за видео
Уточните пожалуйста в каком формате сохранять файл: Robots.txt

спасибо

Я хочу просто отменить это действие, чтобы картинки и слайд шоу заново работали,

Здравствуйте, вы не могли л б помочь мне, недавно создал файл робот тхт, добавил директивы Allow: /*js/.js и после этого не работает на сайте слайд шоу, и другие картинки не открывается, я хочу просто отменить это действие, но ни знаю как. Помогите плииз

Подскажите пожалуйста, что значит команда в файле роботс.тхт вида Disallow: *page

чтобы заработало мета-роботс надо открывать доступ к эти страницам в роботс.тхт?

можно ли продвигать сайт на шаблоне ?

Спасибо! Sitamap порадовал ))

Ошибка в написании Sitamap: а должно быть Sitemap:

указанным Вами способом файл не открывается, но в корневой папке есть. сайт на WPress. это нормально или он находится не там где надо ? или другая\ проблема?

Вопрос. в User-agent Googlebot и YandexBot - "Bot" большими и маленькими буквами для разных поисковиков. Это так и должно или опечатка? Или имено так названы боты этих поисковых систем? Есть разница если Googlebot или GoogleBot. 1 из вариантов не будет работать?

Спасибо, Павел! Поставил лайк №248. Жду следующего видео.

Спасибо! Буду пробовать!

Супер подсказка .Спасибо

Если страницы уже проиндексировались, а вы все-равно хотите их закрыть, нельзя их добавлять в роботс.тхт - будут висеть в индексе, а в сниппете будет писать о том, что доступ ограничен файлом роботс))

Видео как всегда годное и главное практичное! Без лишних слов, всё чётко, понятно и по делу!

Robots txt рулит!.. ;)

Классно! Спасибо!

Самое годное видео о ротот.тхт. Спасибо огромное !

Тяжело мне далась эта тема в свое время, где же вы раньше были))) всё четко и по делу. Спасибо!

5+....Паша-Мооозг

Расскажите пожалуйста, как проверить файл robots.txt. Раньше это можно было сделать в Гугл Серч Консоле. Теперь такой возможности нет, т.к. в новой версии этот инструмент убрали. Так как проверить?

Класс, давно думал как это сделать , завтра же попробую

Я все равно не понимаю зачем прятать информацию от поисковой системы?

Спасибо ,вы очень грамотно и без лишней информации объяснили , даже я всё поняла с первого раза

самое главное не закрыть вообще всё))), а так то спасибо я даже не знала что есть такая возможность

Не знал, было интересно.

Супер! Пользовалась стандартным robots.txt от wordpress а теперь все можно делать самостоятельно после такого доступного объяснения!

Отличное видео,Robots txt.определенно необходим,и вы сумели полностью это доказать

крутая вещь,ранее никогда и не слышала о таком!Нужно обязательно попробовать!

5+

20 лайков уже есть. Видос по сути и полезный)

интересно, я даже и не знал что это, а как пользоваться тем более .спасибо за науку

немного не в тему, но все же...
Павел, почему вы говорите про важность того, чего сами не используете на своих проектах...?
к примеру, в одном из своих видео вы говорили что на сайте должен быть фильтр товаров, но этого почему то нет на вашем сайте glasses...тоже самое - стационарный телефон

Доброго времени. Нет ссылки в верхнем правом углу.