Регулярные выражения в Python

В этом курсе вы освоите синтаксис регулярных выражений, научитесь создавать сложные шаблоны для поиска и обработки текста, а также изучите мощные функции модуля re в Python.

Пройти курс

Модуль psycopg2 в Python

Модуль psycopg2 позволяет взаимодействовать с базами данных PostgreSQL в скриптах Python.

Пройти курс

Модуль SQLite3 в Python

Встроенный модуль SQLite3 позволяет работать с базами данных SQLite в ваших приложениях, которые написаны на языке программирования Python.

Пройти курс

Погружение в базы данных PostgreSQL

Данный курс является консолидацией теоретических основ и практических примеров, которые демонстрируют работу операторов и функций SQL в системе управления базами данных PostgreSQL.

Поступить на курс

Погружение в базы данных Oracle

Данная книга является руководством для начинающих специалистов в области анализа и обработки данных. В книге рассматривается язык SQL и его процедурное расширение PL/SQL от компании Oracle.

Купить книгу

SQL без слёз

Цель книги заключается в том, чтобы научить любого человека работать с реляционными базами данных и получать из них необходимую информацию посредством выполнения SQL-запросов.

Скачать книгу

 ›  ›  › Принцип работы Robots.txt

Принцип работы Robots.txt

Принцип работы Robots.txt

Здравствуйте, на связи Артём Санников. И сегодня мы разберемся с файлом Robots.txt, а именно: узнаем, что это такое и познакомимся с принципом работы.

Что такое Robots.txt?

Robots.txt — Файл ограничения доступа к содержимому вашего сайта роботам поисковых систем на http-сервере. Если говорить простым языком, то это файл — который держит в узде роботов поисковых систем и не дает им сделать лишних действий.

Файл Robots.txt должен храниться в корневом каталоге сайта, например:

http://test.ru/robots.txt

Как работает Robots.txt

Robots.txt используется для частичного управления индексирования сайта поисковыми системами. Так же Robots.txt может указать на месторасположение, какого-либо файла, и что нужно проиндексировать поисковому роботу.

Для того чтобы вы понимали о чем я говорю, рассмотрим небольшой пример: У нас есть сайт, у которого нет файла robots.txt, тогда нас ждет следующая ситуация: Пауки (роботы) поисковых систем не обнаруживают на нашем сайте файл robots.txt и начинают индексировать абсолютно весь сайт без каких-либо запретов с нашей стороны.

Зеленые линии – обозначают, что паукам разрешено индексировать файлы.

Сайт без файла Robots.txt

Но как только мы добавим на наш сайт файл Robots.txt, у пауков поисковых систем появятся точные границы, дальше которых они не смогут проползти. Следовательно, пауки будут индексировать только те файлы, которые мы им разрешим.

Красные линии – обозначают, что паукам запрещено индексировать файлы.

Сайт c файлом Robots.txt

Для того, чтобы создать ограничения для пауков необходимо знать синтаксис файла Robots.txt. Изучением синтаксиса мы займемся в следующей статье — Синтаксис файла Robots.txt.

Метки: , .

Записи по теме

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *