Робот AdSense

Поисковый робот, который также называют "пауком", представляет собой программное средство, используемое системой Google для обработки и индексирования содержания веб-страниц. Робот AdSense заходит на ваш сайт и определяет его содержание с целью размещения релевантных объявлений.

Ниже приведены основные сведения о роботе AdSense.

• Отчет робота обновляется еженедельно.
  Сканирование осуществляется автоматически; мы не принимаем запросы на более частое сканирование.
• Робот AdSense отличается от робота Google.
  Эти два робота работают отдельно, но используют общий кэш. Это сделано для того, чтобы избежать ситуаций, когда они одновременно запрашивают одни и те же страницы, и сохранить пропускную способность сайтов издателей. Также существует отдельный робот Search Console.
• Устранение неполадок с роботом AdSense не решит проблемы с роботом Google.
  Устранение проблем, перечисленных на странице Доступ для робота AdSense, не окажет влияния на позицию вашего сайта в результатах Google Поиска.
• Индексирование осуществляется по URL.
  Доступ робота к адресам site.com и www.site.com осуществляется раздельно. Однако робот не рассматривает site.com и site.com/#anchor как две разные страницы.
• Робот не осуществляет доступ к страницам или каталогам, заблокированным в файле robots.txt.
  Роботы Google и AdSense Mediapartners учитывают информацию в файле robots.txt. Если файл robot.txt запрещает доступ к определенным страницам или каталогам, они не будут просканированы.
  Строка User-agent: * не запрещает сканирование страниц с рекламой. Чтобы запретить роботу AdSense доступ на ваши страницы, в файле robots.txt необходимо указать User-agent: Mediapartners-Google.
• Робот пытается получить доступ только к URL с тегами объявлений Google.
  Только те страницы, на которых отображаются объявления Google, будут обращаться к нашим системам и сканироваться.
• Робот пытается получить доступ к страницам, с которых осуществляется переадресация.
  Если с ваших "исходных страниц" выполняется переадресация, роботу необходим доступ к ним, чтобы определить ее наличие. Поэтому в журналах доступа регистрируются посещения роботом исходных страниц.
• Повторное сканирование сайта.
  В настоящее время мы не можем управлять частотой сканирования: наши роботы выполняют его автоматически. Если вы что-то поменяете на странице, может пройти 1 или 2 недели, прежде чем это отразится в нашем индексе.