Запрет индексации сайта через файл robots.txt

что это значит??? Disallow: */feed

Дмитрий, спасибо за Вашу работу!

помогите пожалуйста разобратся, недавно создал интернет магазин, наполнил его товаром и категория товаров (но при заполнении seo url были допущены пробелы) это привело к такой беде как 404 ошибка (Запрашиваемая страница не найдена) в дальнейшем, я все исправил, новые страницы проиндексировались, но выдача пс периодически выдает и страницы с ошибками и хорошие страницы.

Подскажите, как запретить к выдаче плохие страницы (с 404 ошибкой)?

Добрый день! Подскажите, пожалуйста, как убрать эту строчку Disallow: # empty Disallow instruction SHOULD be there?

Здравствуйте. Помогите пожалуйста с robots.txt. Есть блог (только что созданный) на котором страница доступна по двум адресам, скажите пожалуйста как правильно прописать запрет. 
Страница доступна по: 
1) .html#more-170 
2. .html 

Я так полагаю, что в первом варианте нужно выставить запрет. Вот так вот можно - Disallow: /#more Или же как-то по другому закрывается?

Как всегда спасибо

Отличный урок, как и все остальные уроки Дмитрия! Материал изложен кратко и по существу.