Добавляем и редактируем файл robots.txt

Мда... Слушать такую скукоту даже не охота.
Такое впечатление, что диктора заставляют это записывать.
Сидит, такой, и зачитывает с таким видом, что "Как же вы все меня достали"...

Может всё таки UTF-8 лучше подойдет вместо ANCI?

Спасибо большое за такие знания!

Куда это прописывать?

Неожидал, до этого такие ролики хорошие были. Хотя возможно я в тех моментах не разбираюсь. Не исключаю вероятность, что в 2016 г. было по другому.
1. Clean-param воспринимает только яндекс

2. /s/$ - доллар это окончание строки. Вероятнее всего конкретный пример не заблокирует ничего, а не папку. По одной простой причине, что обычно ссылки заканчиваются без слеша на конце. Конкретно это может пригодится только для исключения дубля на папку \s без слеша., но и тогда лучше сразу исключить инднксацию любых ссылок заканчивающихся на \ слеш.

3. ни слова про некритичные ошибки составления параметра sitemap. Этот параметр во-первых не привязывается к useragent, он для всех как host. Во-вторых параметров sitemap может быть много, само собой с разными значениями, а не с одним и темже как на авито.

Но за труды спасибо! 👍

Самый крутой хостинг для сайтов который я встречал за последние время, конечно же well-webnet! Переход на него - решил все мои проблемы со скоростью загрузки. Цены очень низкие, безлимитный трафик, поддомены и еще много другого. Отличный саппорт, который, неоднократно мне помогал в настройке хостинга, а потом и администрировании VPS сервера, причём абсолютно бесплатно, без какого либо подвоха. Из огромных преимуществ перед конкурентами это конечно регулярные акции. Например, сейчас удваивают срок оплаты. Пользуясь хостингом для сайта well-webnet/hosting/, был очень доволен, держал на хостинге примерно 7-8 сайтов, и всё это выдерживало около по 1900-3400 одновременных подключений, и грузилось практически мгновенно позже, в связи с необходимостью большего функционала, сменил шаред хостинг на VPS сервер, опять же у них. VPS серверами тоже очень доволен, огромные мощности. Сейчас держу на сервере 4 сайта: онлайн-кинотеатр, личный файл-сервер, интернет-магазин и небольшую соц. сеть (пока в разработке). Сайты успешно выдерживают по 70 000 - 90 000 одновременных подключений, и всё это учитывая то, что в это время запущено по 4-5 процессов конвертации видео (держу онлайн-кинотеатр, если помните). В общем, это самый лучший хостинг-провайдер который я когда-либо встречал: цены не гнёт, тех поддержка приветливая и отзывчивая, всё работает очень быстро и без сбоев.

С левой стороны на вашем хостинге, у вас сайты в корневой директории, или только в папке паблик ???
Где лучше расположить, или значения не имеет ???
Спасибо за ответ.

Отлично все разложил, спасибо

А этот нормальный вариант? Гугл что совсем слабо индексирует.
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /component/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

Добрый день, большое спасибо за ваши уроки! все очень понятно и доступно. Единственное у меня вопрос, у меня на каждый медиа файл отдельная страница выходит, как можно это исправить? пользуюсь wordpress

Хах, реклама авито и beget

Здравствуйте ! Народ, скажите пожалуйста, а вот для лэндинг-странички, которая расположена НА ПОДДОМЕНЕ - то для неё - robots.txt и sitemap.xml имеют какие то особенности ? И если да - то какие? Потому что основной домен я использую чисто как носитель поддоменов, и надо чтобы роботы гугла и яндекса - "видели" только эти поддомены, которые мне нужны, а не все поддомены подряд.
И где физически эти файлы должны помещаться, - в корне основного домена? Или в корне каждого нужного мне поддомена?
Заранее благодарю!

щас глянем - я супер чайник ))))

Доброго времени. Можете подсказать? Сайту уже 2 месяца, гугл индексирует, а яндекс нет. Нет в поиске ни одной страницы. Карту сайта не делал сам, установил плагин. Вся карта выглядит так. Что нужно убрать или дописать? В чем ошибка?
# global
User-agent: *
User-agent: Yandex
Disallow: /xmlrpc.php

не показанно наглядно для яндекса как прописать у меня гугл видит а яндекс нет ((
где скачать такой файлик робота и поместить у себя Индексирование всего сайта запрещено в файле robots.txt.

Доброго времени суток. Подскажите, такое дело, Яндекс счел картинки, например: /images/пример/картинки.jpg недостаточно качественными, нужно ли их закрывать в роботсе? таких картинок много

Какой ты молодец! Я - чайник, по твоему видео все делаю легко и просто. Очень понятно и приятно слушать, Спасибо за уроки ! От меня лайк и подписка на канал

Добрый день. Подскажите, нужно ли запрещать индексацию страницы /NotFound.html (красиво оформленная страница ошибки?) и папку инклуд (со вставками php), заранее спасибо за ответ.

Очень круто, достойно и понятно описано. Автор - красавчик и лайк. Как только понадобится продвижение по SEO - я не раздумывая обращусь именно к Вам.

Очень доступно! Спасибо)

А если не нужно ничего запрещать роботам есть ли смысл вообще делать этот файл?
(сайт без cms)

Такой вопрос..
А если в Robots.txt прописать Disallow: /robots.txt ?

малорик,тока громче говари

как наоборот запретить /s/СС/ в данном случае (каталог/КРОВАТИ), но разрешить /s/ (каталог) ?

Как подключать файл робот.тхт?

рассказано все от и до

Молодец ! Очень качественный контент !

Очень классные уроки, но очень долго ждать!

Тупой вопрос. Как стать сеошником? А точнее,с чего начать человеку, который хочет этим заняться?

Спасибо. Жду продолжения.

Очень хорошо и подробно объяснил, спасибо !

Вот