Быстрое индексирование страницы. Быстрый способ проверить индексацию страниц в Яндексе и Google. Пишем правильное письмо в Яндекс
Из этого материала вы узнаете:
- Что такое индексация
- Как внести сайт в базу
- Как ускорить индексацию
Что такое индексация?
Мы уже рассказывали вам о . Если совсем кратко, это ответы на запросы пользователей, которые они вбивают в поисковик. Забиваешь ты “купить слона” — получи сайты, которые предлагают слоновом оптом и в розницу. Пластиковые окна или девочек по вызову по таким запросам Яндекс или Гугл не покажет. А теперь внимание, вопрос: каждый ли сайт попадает в поисковую выдачу? Нет, не каждый. Как минимум надо, чтобы поисковики знали о существовании этого сайта и о контенте, который на нем размещен. Ведь как можно показывать то, о чем никто не знает? Для этого есть базы данных сайтов. Если кратко, то внесение сайта с его содержимым в эту базу и называется индексацией. Как происходит индексация? Робот Яндекса или Гугла действует по своим алгоритмам: ищет сведения о вашем сайте (в эти сведения входят ключевые статьи, тексты, фото и т. д.- словом, весь контент). Он как рентген, просвечивает каждую страницу сайта, анализирует ее, сканирует и добавляет ваш сайт в базу данных. Теперь он будет отображаться в поисковой выдаче и показываться в ответ на запросы пользователей. А уж на каких позициях — в лидерах или аутсайдерах — зависит от контента, которым он наполнен. Разумеется, индексация сайта просто необходима. Когда ваш сайт начинают видеть поисковики — на него приходят посетители и растетКак внести сайт в базу?
Допустим, создали вы сайт Самыйлучшийсайт.рф. Наполнили его, понятное дело, лучшим контентом и с нетерпением ждете, когда он выйдет в топ. Для того чтобы сайт и контент проиндексировался и был внесен в базу, можно использовать два способа.- Дождаться самостоятельной индексации. Рано или поздно роботы найдут ваш сайт — для этого нужно лишь оставить на него активные ссылки с других ресурсов. Считается, что чем больше ссылок — тем быстрее будет индексация.
- Добавить сайт вручную, заполнив специальную форму в поисковике. Там нужно указать ссылку на сайт и краткую информацию о нем. В Яндексе, например, это делается в сервисе Яндекс Вебмастер на странице Сообщить о новом сайте .
Как ускорить индексацию?
Алгоритмы поисковиков — штука непредсказуемая, и, как уже говорилось, точного рецепта нет. Можем посоветовать проверенные способы (по сути те же самые, которые влияют на продвижение сайта в поисковой выдаче)- Уникальный контент, который так любят поисковики. Один момент: если вы выложили на сайт или в блог статью и она еще не проиндексировалась, любой теоретически может утащить ее и разместить у себя. Если на другом сайте статья проиндексируется раньше — вы в пролете. Ваша статья будет считаться неуникальной, а конкурент останется в шоколаде.
- Понятная структура сайта. Соблюдайте правило трех кликов: на каждую страницу с главной можно попасть не больше чем в три клика. Меньше — хорошо, больше — лучше не надо! Так вы облегчите задачу поисковикам, которые будут индексировать не только главную, но и другие страницы.
- Перелинковка с внутренними страницами — полезно и для посетителей, и для робота.
- Трансляция постов в RSS-каталоги. Все ваши посты будут дублироваться в RSS-каталоги, в которые добавляются RSS-ленты. Это ленты для подписки на обновления блогов или сайтов, чтобы вы получали все самое свежее на свою почту. С их помощью поисковик быстрее найдет ваши новые статьи и проиндексирует.
Приведем пример удачной индексации
Неделю назад на одном из сайтов появилась статья про ружье ВПО-213 . Информации об этом ружье в Сети практически не было — оно еще не появилось в продаже. Была только короткая презентация в видео на Ютубе. Соответственно, текст был полностью уникальным и чуть ли не единственным в интернете на эту тему. В районе полуночи текст был опубликован на сайте (даже не на главной странице!) и в течение короткого времени проиндексирован. В половине десятого утра следующего дня статья была на третьем месте в поисковой выдаче Яндекса. В 9.50 она стала первой и держит эти позиции до сих пор.
По большому счету, если Ваш ресурс хороший, качественно сделанный, то проблем с его индексированием быть не должно. Если сайт, пусть и не на 100%, но отвечает требованиям поисковиков — «для людей», то они с радостью будут заглядывать к Вам на огонек и индексировать все новое, что будет добавлено.
Но как бы там ни было, первым шагом в продвижении сайта является добавление его в индекс ПС. До тех пор, пока ресурс не проиндексируется, по большому счету и продвигать то нечего, ведь поисковики вообще о нем не будут знать. Поэтому, в этой статье я рассмотрю, что такое индексация сайта в Яндексе и как отправить ресурс на индексацию. А также расскажу о том, как проверить попал ли сайт или отдельная страница в индекс Yandex и, что делать для ускорения индексации Яндексом.
Индексирование сайта в Яндексе – это обход роботами поисковой системы yandex Вашего сайта, и внесения всех открытых страниц в базу. Паук русского поисковика добавляет в базу данные о сайте: его страницах, картинках, видео, документах, которые доступны для поиска. Также, поисковой бот занимается индексированием ссылок и других элементов, что не закрыты специальными тегами и файлами.
Основные способы индексации ресурса:
Принудительная - следует отправить сайт на индексацию в Яндекс через специальную форму.
Естественная - поисковому пауку удается самостоятельно найти Ваш сайт, переходя с внешних ресурсов, что ссылаются на вебсайт.
Время индексации сайта в Яндексе для всех разное и может колебаться от пары часов до нескольких недель.
Это зависит от множества факторов: какие значения стоят в Sitemap.xml, как часто наполняется ресурс, как часто упоминание о сайте появляется на других ресурсах. Процесс индексации цикличен, поэтому робот будет приходить к Вам через (практически) равные промежутки времени. А вот с какой периодичностью — зависит от упомянутых выше факторов и конкретного робота.
Паук может проиндексировать веб-сайт полностью (если он маленький) или отдельный раздел (это относиться к интернет-магазинам или СМИ). На часто обновляемых ресурсах, типа СМИ и информационных порталах живут, так называемые, быстро-роботы для быстрой индексации сайта в Яндексе.
Порой на проекте могу возникнуть технические неполадки (или проблемы с сервером), в таком случае yandex индексация сайта не состоится, из-за чего поисковая система может прибегнуть к следующему сценарию:
- сразу выкинуть непроиндексированные страницы с базы;
- провести переиндексацию ресурса через определенное время;
- поставить страницы, что не были проиндексированы, на исключение из базы, и если не обнаружит их при повторной индексации, то выбросит из индекса.
Как ускорить индексацию сайта в Яндексе
Как ускорить индексирование в Яндекс – частый вопрос на различных форумах вебмастеров. Фактически жизнь всего сайта зависит от индексации: позиции ресурса в ПС, количество клиентов с них, популярность проекта, прибыль, в конце концов.
Я подготовил 10 способов, которые, надеюсь, пригодятся Вам. Первые пять – это стандартные для постоянной индексации ресурса, а следующая пятерка поможет Вам ускорить индексацию сайта в Яндексе:
сервисы закладок;
RSS-лента – обеспечит трансляцию новых материалов с Вашего ресурса на почту подписчикам и в RSS-каталоги;
биржи ссылок – обеспечат стабильный прирост dofollow ссылок с качественных доноров, при правильном их отборе (как правильно отбирать );
– если вы еще не регистрировали сайт в каталогах, то советую сделать это. Многие говорят, что каталоги давно умерли или регистрация в них убьет сайт – это не правда. Точнее не полная правда, если регистрироваться во всех подряд каталогах, то действительно Ваш ресурс только пострадает от этого. Но при правильном отборе трастовых и хороших каталогов эффект будет несомненно.
Проверка индексации сайта в Яндексе
- Операторы site и url. Если Вы желаете проверить индексацию сайта в Яндексе, то можете воспользоваться стандартными операторами поисковой системы..biz. (Естественно, вместо моего домена свой)
- RDS bar. Считаю самым лучшим и быстрым способом проверки индексации страницы в Яндексе. Данный плагин можно установить на все популярные браузеры, сразу предоставит подробную информацию о количестве страниц сайта в индексе и о наличии конкретного материала в нем. С помощью этого расширения Вы не будете терять время на ручной ввод урлов в сервисах или поиске. В общем, рекомендую, RDS bar крайне удобен:
- Сервис Серпхант. Многофункциональный ресурс, с помощью которого можно проводить анализ сайта: оценки эффективности и мониторинга сайтов, анализ страниц конкурентов, проверка позиций и индексации сайта. Бесплатно проверить индексацию страниц можно по этой ссылке: https://serphunt.ru/indexing/ . Благодаря пакетной проверке (до 50 адресов) и высокой достоверности результатов, данный сервис входит в тройку лучших по моему мнению.
- Сервис XSEO. Набор инструментов для вебмастеров, в XSEO.in Вы можете посмотреть в Яндексе индексацию сайта. Также получить множество дополнительной полезной информации о своем ресурсе:
- Сервисы PR-CY и CY-PR. Еще пара сервисов, которые предоставят Вам информацию об общем количестве проиндексированных страниц:
- Сервис Sitereport. Отличный сервис, который укажет на все Ваши ошибки в работе над сайтом. Также имеет раздел «Индексация», где будет представлена информация для каждой страницы сайта с указанием проиндексирована она или нет в поисковых системах Yandex и Google. Поэтому, рекомендую использовать данный ресурс для обнаружения проблем на сайте и проверки массовой индексации Яндекса:
Создали сайт, но не можете его найти в поисковиках? Не проблема! В этом материале Вы узнаете, как проиндексировать сайт в Яндекс и Google, за максимально короткий промежуток времени. Наверное, о плюсах быстрого попадания в индекс поисковых систем говорить излишне. Ведь любой понимает, что чем раньше его сайт будет показываться в поисковой выдаче, тем быстрее появятся новые клиенты. И чтобы это всё заработало, необходимо попасть в базу поисковиков.
Кстати говоря, благодаря правильному подходу, новые материалы нашего сайта достаточно хорошо, а самое главное всегда быстро индексируются поисковыми системами. Возможно и Вы попали на эту страницу после обращения соответствующим запросом в поисковой строке. От лирики же перейдём к практике.
Как узнать проиндексирован ли сайт?
Первое, что нужно сделать — узнать проиндексирован ли сайт поисковыми системами. Может быть так, что сайт просто не находится на первой странице поиска по тому запросу, которые Вы вводили. Это могут быть высокочастнотный запросы, чтобы показываться по которым нужно работать над SEO-продвижением , а не просто сделать и запустить сайт.
Итак, для проверки заходим во все поисковые системы, в которые имеет смысл заходить (Яндекс, Гугл, Мэйл, Рамблер ) и в строку поискового запроса вводим адрес сайта.
Если Ваш ресурс ещё не был проиндексирован — в результатах выдачи ничего не будет показано, либо покажутся другие сайты.
Как проиндексировать сайт в Яндексе?
Для начала расскажем, как проиндексировать сайт в Яндексе. Но прежде чем, добавить свой ресурс, проверьте, чтобы он корректно работал, правильно открывался на всех устройствах и содержал только уникальный контент . Например, если добавить сайт на стадии разработки, можно просто угодить под фильтр — с нами один раз такое случалось и пришлось ждать целый месяц, чтобы Яндекс понял, что у нас качественный сайт и снял санкции.
Чтобы сообщить Яндексу о новом сайте, необходимо добавить его в Яндекс Вебмастер и установить Яндекс Метрику , первый инструмент отвечает за дополнительную информацию о ресурсе (регион, структура, быстрые ссылки ) и тот, как сайт выглядит в результатах органической выдачи, второй за сбор данных по сайту (посещаемость, поведение и прочее ), что согласно нашем опыту, так же оказывает влияние на индексацию сайта и его позиции в поиске. А ещё обязательно сделайте карту сайта и укажите её в панели вебмастеров.
Как проиндексировать сайт в Google?
Чаще всего Гугл сам достаточно оперативно находит новые сайты и загоняет их в поиск, но ждать, когда Google придёт и сделает за нам всю работу — слишком самонадеянно, поэтому давайте разберёмся, как проиндексировать сайт в Google.
После того, как сайты добавлены, должно пройти от 3 до 7 дней , прежде чем поисковики обновят данные и проиндексируют сайт.
Всегда хочется, чтобы новые страницы сайта, стали показываться в результатах поиска, как можно быстрее и для этого есть несколько секретных (и очень простых) способов, как ускорить индексацию страниц сайта в поисковых системах.
3. Чтобы проделать манипуляцию описанную во 2-м пункте, только для поисковой системы Google, заходим в Search Console. Выбираем «Сканирование» и «Посмотреть, как Googlebot» -добавляем адрес новой страницы и нажимаем «Сканировать», после этого запрашиваем индексацию.
Анализ индексации сайта
В завершении необходимо отметить, что даже после успешной индексации сайта в поисковых системах, на этом работа не заканчивается. Необходимо периодически делать анализ индексации сайт, а так же снимать позиции по популярным запросам. Это позволит держать руку на пульсе и не оказать в ситуации, когда значительная часть трафика из органической выдаче просто исчезла.
Так случилось со многими старыми сайтами, которые использовали старые методы продвижения, после выхода алгоритма Яндекса Баден-Баден . При этом, Яндекс заранее сообщил о том, что запускает этот алгоритм и переоптимизированные страницы будут исключены из поиска, а тот же Google, никогда не сообщает о выходе новых алгоритмов. Поэтому только неустанный контроль позволит оставаться лидером тематики или стать им!
C Google все очень просто. Вам нужно добавить свой сайт в инструменты вебмастера по адресу https://www.google.com/webmasters/tools/ , после чего выбрать добавленный сайт, таким образом попадая в Search Console своего сайта. Далее в левом меню выбираем раздел «Сканирование», а в нем пункт «Просмотреть как Googlebot».
На открывшейся странице в пустое поле вводим адрес новой страницы, которую хотим быстро проиндексировать (с учетом уже введенного доменного имени сайта) и жмем правее кнопку «Сканировать». Ждем, пока страничка просканируется и появится в верхней части таблицы ранее сканированных подобным образом адресов. Далее жмем на кнопку «Добавить в индекс».
Ура, ваша новая страница моментально проиндексирована Гуглом! Уже через пару минут вы сможете найти ее в гугловской выдаче.
Быстрая индексация страниц в Яндексе
В новой версии инструментов для вебмастера стал доступен аналогичный инструмент для добавления в индекс новых страниц. Соответственно, ваш сайт также предварительно должен быть добавлен в Яндекс Вебмастер. Туда же можно попасть выбрав в вебмастере нужный сайт, далее идем в раздел «Индексирование», выбираем пункт «Переобход страниц». В открывшемся окне вводим адреса новых страниц, которые хотим быстро проиндексировать (по ссылке на одной строке).
В отличие от Гугла, индексация в Яндексе пока не происходит мгновенно, но старается к этому стремиться. Выше произведенными действиями вы сообщите роботу Яндекса о новой странице. А проиндексирована она будет в течение получаса-часа - так показывает лично моя практика. Возможно, скорость индексации страницы в Яндексе зависит от ряда параметров (от репутации вашего домена, аккаунта и/или других). В большинстве случаев, на этом можно остановиться.
Если вы видите, что страницы вашего сайта плохо индексируются Яндексом , то есть несколько общих рекомендаций, как с этим бороться:
- Самая лучшая, но и трудная рекомендация – это поселить быстробот Яндекса на своем сайте. Для этого желательно каждый день добавлять на сайт свежие материалы. Желательно 2-3 и более материалов. Причем добавлять их не сразу все одновременно, а через некоторое время, например, утром, днем и вечером. Еще лучше было бы соблюдать примерно одинаковый график публикаций (примерно выдерживать одно и то же время добавления новых материалов). Также многие рекомендуют создать RSS ленту сайта, чтобы поисковые роботы могли считывать обновления прямо с нее.
- Естественно, далеко не все смогут в таких объемах добавлять новые материалы на сайт – хорошо, если получится добавлять 2-3 материала в неделю. В таком случае о быстроботе Яндекса можно особо не мечтать, а пытаться загонять в индекс новые странички другими способами. Самым эффективным из которых считается постинг ссылки на новые странички в прокаченные Твиттер аккаунты. С помощью специальных программ типа Twidium Accounter можно «прокачать» нужное вам количество твиттер аккунтов и уже с их помощью быстро загонять в индекс поисковых систем новые страницы сайта. Если у вас нет возможности постить ссылки в прокаченные аккаунты Твиттера самостоятельно, можно купить такие посты через специальные биржи. Один пост с вашей ссылкой в среднем будет стоить от 3-4 рублей и выше (в зависимости от крутости выбранного аккаунта). Но этот вариант будет довольно дорогим.
- Третий вариант быстрой индексации – это использование сервиса http://getbot.guru/ , который всего за 3 рубля поможет достигнуть нужного эффекта с гарантией результата. Хорошо подойдет для сайтов с редким графиком добавления новых публикаций. Есть там и более дешевые тарифы. Подробности и отличия их лучше смотреть на сайте самого сервиса. Лично я услугами данного сервиса в качестве ускорителя индексации очень доволен.
Конечно, можно также добавлять новые публикации в социальные закладки, что теоретически также должно способствовать быстрому индексированию сайта. Но эффективность такого добавления также будет зависеть от прокаченности ваших аккаунтов. Если у вас маленькая активность на них и вы используете аккаунты только для подобного спама, то полезного выхлопа практически не будет.
P.S. с большим опытом всегда актуальна - обращайтесь!
Здравствуйте, уважаемые читатели сайта сайт. Сегодня я расскажу вам как найти и исправить возможные проблемы с индексированием вашего сайта. Рассмотрим три основных момента.
- Робот должен индексировать нужные страницы сайта с ;
- Эти страницы должны индексироваться быстро;
- Робот не должен посещать ненужные страницы сайта;
Кажется все довольно просто. Но на самом деле большинство вебмастеров сталкиваются с одними и теми же проблемами при настройке индексирования. Давайте посмотрим на них внимательно.
На текущий момент в большинстве случаев если речь идет о новой странице сайта в поисковую выдачу она появится в течение нескольких десятков минут. Если речь об уже проиндексированных страницах, то это 3-5 дней .
В итоге, чтобы ваш сайт посещался быстро необходимо помнить о трех правилах:
- Во-первых, у вас должен быть корректный и регулярно обновляемый файл sitemap;
- Во-вторых, не использовать директиву Crawl-delay просто если вам хочется. Прямо сейчас обязательно зайдите в ваш robots.txt и проверьте есть ли такая директива. Если она установлена задумайтесь, действительно ли она вам нужна.
- В-третьих, используйте "переобход страниц" для посещения роботом наиболее важных страниц вашего сайта с новой важной страницей.
Избавляем робота от ненужных страниц сайта
Когда робот начинает посещать ваш ресурс, часто это не всегда положительно влияет на индексирование хороших страниц сайта. Представим ситуацию, допустим, робот совершает 5 запросов в секунду к вашему ресурсу. Кажется отличный результат, но какой смысл из этих пяти посещений в секунду если все они относятся к служебным страницам вашего сайта или дублям и робот совсем не уделяет внимания действительно важным страницам. Об этом наш следующий раздел, как не индексировать ненужные страницы.
- Используем раздел Яндекс-вебмастер и статистику обхода
- Получаем адреса страниц, которые робот индексировать не должен
- Составляем корректный файл robots.txt
Давайте посмотрим на инструмент "Статистика обхода", выглядит он следующим образом. Здесь есть также графики. Нас интересует чуть-чуть пролистать вниз страницу кнопочка "все страницы". Вы увидите все, что посещал робот за последние дни.
Среди этих страниц если есть какие-то служебные страницы, то их нужно запрещать в файле robots.txt. Что именно нужно запрещать давайте по пунктам.
- Во первых, как я говорил ранее, страницы фильтрации , подборов товаров, сортировки нужно запрещать в файле robots.txt.
- Во-вторых, обязательно запрещаем страницы различных действий . Например, добавить в сравнение, добавить в избранное, добавить в корзину. Саму страницу с корзиной также запрещаем.
- В-третьих, запрещаем к обходу все служебные разделы такие как поиск по сайту, админку вашего ресурса, разделы с данными пользователей. Например, информация о доставке, номера телефонов и прочее также запрещаем в файле robots.txt.
- И страницы с идентификаторами , например с utm метками также стоит запретить к обходу в файле robots.txt с помощью директивы Clean-param.
Если вы столкнетесь с вопросом, а нужно ли запрещать или нужно ли открывать эту страницу к обходу, ответьте себе на простой вопрос: нужна ли эта страница пользователям поисковой системы? Если эта страница не должна находиться в поиске по запросам, то ее можно запретить.
И небольшой практический кейс, я надеюсь он вас замотивирует. Смотрите, на одном из ресурсов робот совершает практически тысячи обращений в день к страницам с редиректом. На самом деле, страницы перенаправления это были страницы добавления в корзину.
Вносим изменения в файл robots.txt и видно на графике, что обращение к таким страницам практически сошли на нет. При этом, сразу положительная динамика - обход нужных страниц этой странице степи кодом 200 резко возрос.
- Дубли страниц на сайте, как их найти и что с ними делать
И тут вас поджидает другая опасность - это дубли страниц . Под дублями мы понимаем несколько страниц одного сайта, которые доступны по разным адресам, но при этом содержат абсолютно идентичный контент. Основная опасность дублей заключается в том, что при их наличии может смениться в поисковой выдаче. Может попасть страница по ненужному вам адресу, конкурировать с основной страницей, которую вы продвигаете по каким-либо запросам. Плюс ко всему большое количество дублирующих страниц затрудняет обход сайта индексирующим роботом. В общем, проблем они приносят кучу.
Я думаю, что почти все вебмастера уверены, что именно на их ресурсе нет никаких дублирующих страниц. Хочу немножко вас расстроить. На самом деле дубли есть практически на всех сайтах в рунете. ? Об этом у меня есть подробная статья, прочитав которую, у вас не останется ни одного вопроса.
- Проверка кода ответа сервера
Помимо файла robots.txt хочется вам еще рассказать о корректных http кодах ответа. Тоже кажется вещи, которые говорили уже неоднократно. Сам по себе http код ответа это определенный статус страницы для индексирующего робота.
- http-200 - страницу можно индексировать и включать поиск.
- http-404 - значит страница удалена.
- http-301 - страница перенаправлена.
- http-503 - временно недоступна.
В чем плюс использования инструмента корректных http кодов:
- Во-первых, у вас никогда не будет различных битых ссылок на ваш ресурс, то есть тех ссылок, которые ведут на страницы, не отвечающие кодом ответа 200. Если страница не существует значит код ответа 404 это робот поймет.
- Во вторых, поможет роботу с планированием обхода действительно нужных страниц, которые отвечают кодом ответа 200.
- И в-третьих, позволит избежать попадания различного мусора в поисковую выдачу.
Об этом как раз следующий скрин также из практики. Во время недоступности ресурса и проведения технических работ робот получает заглушку с http кодом ответа 200.Вот как раз описание к этой заглушке вы видите в результатах поиска.
Поскольку страница отвечает кодом ответа 200 они попадают выдачу. Естественно, с таким контентом страницы не могут находиться и показывать по каким-либо запросам. В данном случае правильной настройкой будет http ответа 503. При кратковременной недоступности страницы или ресурса этот код ответа позволит избежать исключения страниц из результатов поиска.
Вот ситуации, когда ваши важные и нужные страницы вашего ресурса становятся недоступными для нашего робота, например, отвечают кодом 503 или 404 либо вместо них возвращается в об эту заглушку.
Такие ситуации можно отследить с помощью инструмента «важные страницы» . Добавьте в него те страницы, которые приносят наибольший трафик на ваш ресурс. Настройки уведомления на почту и либо в сервис и вы будете получать информацию о том, что происходит с данной страницей. Какой у нее код ответа, какой у нее заголовок, когда она посещалась и какой статус в поисковой выдаче.
Проверить корректность возврата того или иного кода ответа можно с помощью соответствующего инструмента в Яндекс-вебмастере (тут ). В данном случае проверяем код ответа несуществующих страниц. Я придумал страницу и загнал ее в инструмент, нажал кнопочку проверить и получил 404 ответ.
Здесь все в порядке, так как страница была недоступна она корректно ответила 404 кодом и в поиск она уже не попадет. В результате чего, для того, чтобы ограничить посещение роботам не нужных страниц сайта, активно используйте инструмент статистику обхода, вносите изменения в файл robots.txt и следите, чтобы страницы возвращали корректный http код ответа.
- Подводим итог
Мы с вами отдали роботу корректные странице сайта с контентом. Мы добились того, что это индексируется быстро. Запретили роботу индексировать не нужные страницы. Все эти три большие группы задач связаны между собой . То есть, если не ограничивать роботу индексирование служебных страниц, то, скорее всего, у него останется меньше времени на индексирование нужных страниц сайта.
Если робот будет получать контент нужных страниц не в полном объеме, он не будет включать эти страницы в поисковую выдачу быстро. То есть над индексированием вашего ресурса нужно работать в комплексе, над всеми этими тремя задачами. И в этом случае вы добьетесь определенных успехов для того, чтобы нужные страницы быстро попадали в поисковую выдачу.
Официальные ответы Яндекса
В индекс попали страницы в верхнем регистре при том, что сайт такого рода страниц не содержит. Если страницы попали в верхнем регистре, это скорее всего робот обнаружил ссылки на них где-то в интернете. Проверьте сначала ваш сайт, скорее всего где-то в интернете установлена некорректная ссылка. Робот пришел, увидел ее и начал скачивать страницу в верхнем регистре. Для них, для таких страниц лучше использовать 301 редирект.
Sitemap имеет несколько страниц - это нормально? Если речь едет о sitemap, то есть специальный формат sitemap, в котором можно указывать ссылки на другие файлы sitemap, то конечно нормально.
Если разместить ссылки на все разделы каталога в нижнюю часть сайта, который отображается на всех страницах, это поможет индексации или навредит? На самом деле делать этого совсем не нужно, то есть если это не нужно посетителям вашего сайта, то вносить специально это не нужно. Достаточно просто файла sitemap. Робот узнает о наличии всех этих страниц, добавит их в свою базу.
Нужно ли в sitemap указать периодичность обновления? Файлом sitemap можно передавать дополнительную информацию для индексирующего робота. Помимо самих адресов также наш робот понимает еще несколько тегов. Во-первых, это частота обновления, то есть периодичность обновления. Это приоритет при обходе и дата последнего изменения. Всю эту информацию из файла sitemap он забирает при обработке файла и добавляет в свою базу и использует в дальнейшем для корректировки политик обхода.
Можно ли обойтись без sitemap? Да, следите, чтобы на вашем сайте была прозрачная навигация, чтобы на любую внутреннюю страницу вели доступные ссылки. Но учитывайте, что если это новый ресурс (от автора: о том как запустить новый сайт читайте ) и, например, какая-то страничка находится глубоко на вашем сайте, например, в 5-10 кликов, то роботу потребуется достаточно много времени, чтобы узнать о ее наличии. Сначала скачать главную страницу сайта, достать ссылки, потом опять скачать те страницы, о которых он узнал и так далее. Файл sitemap позволяет передать роботу информацию обо всех страницах сразу.
Робот делает 700 тысяч запросов в сутки по несуществующим страницам. Прежде всего нужно понять откуда появились такие несуществующие страницы. Возможно некорректно используются относительные ссылки на вашем сайте, либо какой-то раздел удалили окончательно с сайта и робот продолжает все равно проверять такие страницы. В таком случае стоит их просто запретить в файле robots.txt. В течение 12 часов робот перестанет обращаться к таким страницам.
Если служебные страницы проиндексированы, как можно убрать их с поиска. Чтобы убрать страницы из результатов поиска также используйте robots.txt. То есть не имеет значение установили вы запрет при создании вашего сайта, либо уже когда запустили ресурс. Страница пропадет из выдачи в течение недели.
Автогенерируемый sitemap это хорошо или нет? В большинстве случаев все sitemap генерации автоматически, поэтому можно сказать, что это наверное хорошо. Вам не нужно делать что-то своими руками и можете уделить внимание чему-то другому.
Как будет индексироваться страница, если ее сделать канонической саму на себя. Если атрибут canonical ведет на саму же страницу? Такая страница считается канонической? Она будет нормально проиндексирована и включена в поисковую выдачу, то есть использовать такой прием вполне корректно.
Что означает статус "неканоническая"? З начит на странице установлен атрибут canonical, который ведет на другую страницу вашего сайта. Поэтому данная страница в поиск попасть не сможет. Откройте исходный код страницы, сделайте поиск, посмотрите куда ведет canonical и проверяйте каноническую страницу в поиске.
Что правильнее для страницы-корзины запрет в robots.txt или noindex? Если страница запрещена с помощью метода noindex, робот периодически будет посещать ее и проверять наличие данного запрета. Чтобы робот этого не делал, лучше используйте запрет в файле robots.txt.
До встречи! Успевайте всё и всегда на страницах блога сайт
Помоги проекту - подпишись на наш Яндекс.Дзен канал!
