Как работать с robots.txt? Просто о сложном

No video

Как работать с robots.txt? Просто о сложном

Рет қаралды 22,072

Күн бұрын

Еще больше полезной информации на seopult.ru и seopult.tv
Как и зачем необходимо создавать файл robots.txt? Любой сайт включает не только контент для пользователей, но и множество системных файлов. И когда робот поисковика начинает его сканировать, для него нет разницы - системный это файл или какой-то другой. Он проиндексирует все подряд. Чтобы этого не случилось, необходимо отредактировать файл robots.txt.
В видео мы расскажем о работе с основными директивами:
- «User-agent:»;
- «Disallow:»;
- «Allow:»;
- «Host:»;
- «Sitemap:».
___________________
Другие мастер-классы в плейлисте - • Просто о сложном
Не хватает знаний? ПОДПИШИСЬ НА КАНАЛ или зарегистрируйся на бесплатный семинар в cybermarketing.ru
Сайт нашего канала seopult.tv
~-~~-~~~-~~-~
Обязательно посмотрите: "Как правильно настроить и использовать UTM метки?"
• Как правильно настроит...
~-~~-~~~-~~-~

Пікірлер: 32

@user-iv9zb2zi5p 8 жыл бұрын

вот почему нельзя так просто обо всем рассказать? круто, спасибо!

@proonlinereputationmanagem7641 8 жыл бұрын

Позитивный дядька! Спасибо. )

@noiseless6800 5 жыл бұрын

Вот здесь полезно, спасибо

@user-cg9rx6ei8h 4 жыл бұрын

кое что для себя нашла, спасибо

@kazimcho 6 жыл бұрын

Спасибо, очень просто и понятно рассказано.)

@club50video 3 жыл бұрын

Отлично 👍

@user-cf4dr3wu2x 6 жыл бұрын

Спасибо за информацию!)

@VassiliySmith 3 жыл бұрын

Прикольный чувак

@AndreyKos 8 жыл бұрын

почему нельзя привести пример текста?

@Dvoini 6 жыл бұрын

толку без кода это смотреть, дизлайк

@TheRibachok 7 жыл бұрын

Спасибо!

@ALexanderDolgan 6 жыл бұрын

Спасибо

@user-ec8sj2rv6z 6 жыл бұрын

спасибо!!!

@nikolaydd6219 6 жыл бұрын

Было бы не плохо показывать на примере

@andreykarolik7455 Жыл бұрын

Как быть, если сайт уже полностью в индексе, а движка, который бы генерировал этот файл автоматически, нет? Или можно тогда не думать о нем? И как быть, если структура сайта не меняется, а лишь добавляются статьи в конкретных разделах, к примеру, новости и обзоры. Но на сайте, повторюсь, нет движка, который бы генерировал этот файл автоматически. Спасибо.

@PromoPult Жыл бұрын

создайте robots.txt вручную, залейте его на хостинг по ftp. Также вручную можете его менять и добавлять нужные директивы

@andreykarolik7455 Жыл бұрын

@@PromoPult я параллельно смотрел несколько ваших видео, поэтому вопрос ошибочно написал не под тем видео. Речь про файл sitemap.xml Спасибо

@PromoPult Жыл бұрын

по sitemap посмотрите разнообразные генераторы сторонние, в том числе онлайн. Но если все в индексе и новые страницы нормально заходят в индекс, то, возможно, и нет смысла заморачиваться

@andreykarolik7455 Жыл бұрын

@@PromoPult штучные новые в том же яндекс вебмастере можно через индексирование - переобход страниц. А вот в Гугл Console аналогии не нашел.

@user-jw8cn3py8r 4 жыл бұрын

Одна болталогия без каких либо примеров. не советую время тратить

@user-ys8yt9bv1g 7 жыл бұрын

спасибо за Вашу работу! подскажите пожалуйста, у меня много дублей страниц и я хотел бы их скрыть от выдачи в пс, как мне лучше поступить? как эти страницы необходимо добавлять в robots.txt ?

@PromoPult 7 жыл бұрын

Дубли лучше всего попытаться запретить в самой CMS, потому как при каждой новой странице они будут появляться.

@DonGSO140794 8 жыл бұрын

В host указывать с https? Адрес сайта, иди без https стоит?

@DonGSO140794 8 жыл бұрын

Так как изначально яндекс воспринимает сайт с htttp и https тоже как разные сайты.

@PromoPult 8 жыл бұрын

Директива Host должна содержать: Указание на протокол HTTPS, если зеркало доступно только по защищенному каналу (Host: myhost.ru).

@madmax2872 3 жыл бұрын

стихи отпад сам писал ?

@VetDeMarco 8 жыл бұрын

Как работать с robots.txt в мультивендорном интернет-магазине???

@PromoPult 8 жыл бұрын

А разве есть различия? )) Вы в любом случае закрываете от индексации страницы сортировок, фильтров, поиска и прочее. Страницы же "продавцов" закрывать от индексации не стоит, как и контент, который они генерируют.