Как проверить, сколько страниц в индексе поисковых систем. Количество проиндексированных страниц в Яндексе: как посмотреть, зачем это нужно Массовая проверка индексации

Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало.

Если расхождение не превышает 10%, то на это не все обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) - это потеря дохода.

Поэтому важно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сопоставлять результаты, выявлять, какие страницы отсутствуют в поиске, и принимать меры.

Проблема при мониторинге индексации

Посмотреть проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:

• («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);

Возможности инструмента:

• одновременная проверка проиндексированных страниц в Яндексе и Google (или в одной ПС);
• возможность проверки сразу всех URL сайта по ;
• нет ограничения по количеству URL.

Особенности:

• работа «в облаке» - не нужно скачивать и устанавливать ПО или плагины;
• выгрузка отчетов в формате XLSX;
• уведомление на почту об окончании сбора данных;
• хранение отчетов неограниченное время на сервере PromoPult.

(12)

Если вы хотите узнать, есть ли определенная страница в индексе поисковой системы и сколько в целом страниц вашего сайта участвуют в поиске, вам стоит узнать о четырех самых простых способах поверки индексации сайта, которыми пользуются все SEO-специалисты.

В процессе индексирования портала, поисковый бот сначала сканирует его, то есть, обходит для изучения контента, а затем добавляет информацию о веб-ресурсе в базу данных. Затем поисковая система формирует поиск по этим базам. Не путайте сканирование с индексацией – это разные вещи.

Чтобы понимать, сколько еще страниц вашего проекта не проиндексировано, нужно знать их общее количество. Это позволит понять, как быстро индексируется ваш сайт. Сделать это можно несколькими способами:

1. Посмотреть карту сайта. Ее вы найдете по адресу: название_вашего_сайта.ru/sitemap.xml . Здесь показываются в основном показываются все страницы, размещенные на ресурсе. Но иногда карта сайта может генерироваться не правильно, и часть страниц в ней может не быть.
2. Воспользоваться специальной программой. Эти программы сканируют весь ваш сайт и выдают все страницы вашего сайта, пример таких программ Screaming Frog Seo (платная) иди Xenus Links Sleuth (бесплатная).

Способы проверки индексации сайта

Предлагаем вашему вниманию 4 самых распространенных и простых способа, позволяющие проверить, какие страницы есть в индексе, а какие – нет.

1. Через панель вебмастера

Этим методом владельцы веб-ресурсов проверяют их наличие в поиске чаще всего.

Яндекс

1. Авторизуйтесь в Яндекс.Вебмастер .
2. Перейдите в меню «Индексирование сайта» .
3. Под ним найдите строку «Страницы в поиске» .

Можно пойти и по другому пути:

1. Выберите «Индексирование сайта» .
2. Дальше перейдите в «История» .
3. Затем кликните на вкладку «Страницы в поиске» .

И первым, и вторым способом вы сможете изучить динамику роста или спада числа страниц в поисковой системе.

Google

1. Зайдите в панель управления сервиса Google Webmaster Tools .
2. Кликните на вкладку Search Console .
3. Перейдите в «Индекс Google» .
4. Нажмите на опцию «Статус индексирования» .

2. Через операторов поисковых систем

Они помогают уточнить результаты поиска. Так, применение оператора «site» позволяет увидеть приблизительное число страниц, которые уже находятся в индексе. Чтобы проверить этот параметр, в строке поиска Яндекс либо Google укажите: «site:адрес_вашего_сайта» .

Важно! Если результаты в Google и Яндекс сильно разнятся между собой, то значит ваш сайт имеет какие-то проблемы со структурой сайта, мусорными страницы, индексацией или на него наложены санкции.

Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как изменялась индексация страниц за определенный период времени. Для этого под поисковой строкой нажмите на вкладку «Инструменты поиска» и выберите период, к примеру, «За 24 часа» .

3. Посредством плагинов и расширений

Используя специальные программы, проверка индексации веб-ресурса произойдет автоматически. Это можно сделать с помощью плагинов и расширений, еще известных как букмарклеты. Они представляют собой javascript-программы, которые сохраняются в браузере в виде стандартных закладок.

Преимущество плагинов и расширений в том, что вебмастеру нет необходимости каждый раз по новой заходить в поисковик и вводить там адреса сайтов, операторы и прочее. Скрипты произведут все в автоматическом режиме.

Самым популярным плагином, применяемым в этих целях, является RDS bar , который можно скачать в магазине приложений любого браузера.

Стоит отметить, что в Mozilla Firefox у плагина куда больше возможностей, чем в других браузерах. RDS bar предоставляет информацию относительно и всего веб-сайта, и его отдельных страниц

На заметку. Есть платные и бесплатные плагины. И самый большой минус бесплатных плагинов в том, что в них регулярно нужно вводить капчу.

Нельзя оставить без внимания и букмарклет «Проверка индексации» . Чтобы включить программу, просто перетяните ссылку на панель браузера, а затем запустите свой портал и нажмите на закладку расширения. Так вы откроете новую вкладку с Яндекс или Google, где изучите нужную информацию касательно индексации определенных страниц.

4. С помощью специальных сервисов

Я в основном пользуюсь сторонними сервисами, потому что в них наглядно видно какие страницы в индексе, а какие там отсутствуют.

Бесплатный сервис

https://serphunt.ru/indexing/ - есть проверка, как по Яндекс, так и по Google. Бесплатно можно проверить до 50 страниц в сутки.

Платный сервис

Из платных мне больше всего нравится Topvisor - стоимость 0.024р. за проверку одной страницы.

Вы загружаете в сервис все страницы вашего сайта и он вам покажет, какие находятся в индексе поисковых систем, а какие нет.

Заключение

Главная цель владельца любого веб-ресурса – добиться индексации всех страниц, которые будут доступны поисковым роботам для сканирования и копирования информации в базу данных. Реализовать эту задачу на большом сайте может быть очень непросто.

Но при правильном комплексном подходе, то есть, грамотной SEO-оптимизации, регулярном наполнении сайта качественным контентом и постоянном мониторинге процесса включения страниц в индекс поисковиков, можно добиться положительных результатов. Для этого мы в этой статье и рассказали о четырех методах проверки индексации сайта.

Если вы последовательно читаете мой мануал, то в прошлой статье узнали, как можно ускорить индексацию сайта .

Теперь нам надо это процесс контролировать. Т.е. следить за страницами, какие попадают в индекс, а какие нет. Осуществить проверку индексации сайта не сложно. Для этого есть два решения: ручной метод и специальный seo-софт.

В первую очередь можно воспользоваться системой автоматического продвижения SeoPult . Система конечно платная, НО много информации по своему сайту можно посмотреть бесплатно! В частности, какие страницы проиндексированы, посмотреть релеватные запросы, советы по оптимизации страниц и много другой и полезной информации. Советую по чаще туда заглядывать.

Так же, можно воспользоваться бесплатной программой Site-Auditor от Ашманова. Как я сказал, она бесплатная, периодически обновляется и вполне справляется с этой задачей. Что бы проверить индексацию сайта через программу Site-Auditor, скачиваем ее с официального сайта. Запускаем софт и в меню «экспресс анализ» вбиваем наш урл, жмем «проверить».

Прога выдает нам количество страниц в индексе Яндекс и Google. Нажав на эти цифры мы попадем в выдачу ПС, где и будут наши проиндексированные страницы. Такую же проверку можно сделать, если у вас есть программа Yazzle , которой мы оценивали конкурентов.

Но бывают случаи, когда подобный анализ не совсем удобен или невозможно сделать. Например ПС обновили что-то и софт перестал работать (пока его не обновят), а вам надо срочно проверить. Или, что чаще, надо проверить индексацию конкретной страницы, а в общем списке искать не всегда удобно. Тут и поможет второй (ручной) способ.

Проверка индексации сайта в Яндексе

Проверить индексацию своего сайта в Яндексе можно в панели вебмастера webmaster.yandex.ru/ . Но для этого сайт придется добавить в эту панель и подтвердить права на сайт. Без регистрации, увы, он не покажет все данные по индексации. Вот раздел с данными по индексации в панеле вебмастера.

Там вы сможете посмотреть индексацию страниц за последнюю неделю, за 2 недели и за все время.

Индексацию отдельной страницы в Яндексе проще всего в самом поиске. Тупо вбиваем страницу в строку поиска и жмем найти. Если она в индексе, Яндекс покажет ее сниппет. Если ее нет, соответственно не покажет.

Там же, если нажать зеленую стрелочку рядом с url станицы, мы сможет посмотреть сохраненную копию документа. Это та версия страницы, которая хранится в данный момент в кэше Яндекса. В кеше содержится очень важная информация — дата, когда робот последний раз посещал ваш сайт. Всегда можно глянуть в кэше, учел Яндекс или Гугл ваши последние изменения на странице или нет.

Проверка индексации сайта в Google

Что бы проверить, как ваш сайт проиндексировал Google достаточно в поисковой строке ввести специальную команду

site:имя_сайта.домен

Гугл покажет, сколько страниц в индексе. А по зеленой стрелочке (как и в Яндексе) можно посмотреть сохраненную копию страницы (содержимое кеша). Где вы увидите текущую версию страницы в базе Google. Отдельную страницу также можно глянуть просто вбив ее в поисковую строку.

Проверка индексации сайта в Rambler

Индексацию в Рамблере в данный момент можно проверить только одним путем – вбить урл в строку поиска. Там же можно посмотреть, что находится в кэше. Для этого надо нажать «копия».

Недавно на работе столкнулся с задачей, когда было необходимо проверить большое количество страниц на индексацию в Yandex и Google. Можно без проблем воспользоваться платными сервисами (например, Топвизор), который выдаст всю информацию в красивом виде. Либо какими-то сервисами, которые бесплатно дают проверить только 10 страниц, но страниц таких может быть очень много, а платные сервисы могут обойтись в хорошую сумму. Можно сделать это все бесплатно, но для этого нам понадобиться Кей Коллектор.

В первую очередь нам необходимо будет подготовить ссылки, так как для каждой ПС нам нужны разные команды.

Массовая проверка ссылок в Яндексе

Для проверки в Яндексе необходимо подготовить списком ссылки такого формата:

host :zamal.info/poleznye-seo-servisy/ | url: zamal.info/poleznye-seo-servisy/

host :zamal.info/category/seo/| url :zamal.info/category/seo/

Массовая проверка ссылок в Гугле

В Гугле же будет все немного проще:

site :zamal.info/poleznye-seo-servisy/

site :zamal.info/category/seo/

Для чего эти команды?

Многие могут сказать, а почему бы просто не вбить адрес ссылки, ведь он сразу покажет либо пустой запрос, либо эту ссылку. Увы, так не прокатит. Да, в каких-то случаях это сработает. Но в иных, Яндекс легко может показать другие УРЛы, которые не связаны с тем, который вбили мы. А Кей Коллектор нам выдаст информацию о том, что страница ваша страница в индексе есть, хотя это не так.

Как так массово сделать ссылки?

Проверяем индексацию страниц через Key Collector

Собрав 2 отдельных списка (ну или один для проверки в определенном ПС), открываем Кей Коллектор. Создаем проект. Заходим в настройки – парсинг и в поле «удалять символы» и «заменять на пробельный символ символы» удаляем все, что там есть и сохраняем.

Как долго длиться процесс?

Это уже все зависит от количества проверяемых ссылок. На проверку 10к страниц у меня ушло где-то 12 часов

Настраиваем экспорт

Пока идет процесс проверки, можно сразу настроить экспорт. Заходим в настройки – экспорт. Внизу ставим галочку только над «Фраза» и «Позиция » или «Позиция [G]». После завершения процесса выгружаем все в xls файл (нажимаем на зеленую иконку слева сверху).

Смотрим результат

В итоге у нас получается таблица в две колонки, в которой указана страница и позиция.

1 – в индексе

-1 – не в индексе

Затем мы можем просто отфильтровать непроиндексированные страницы и уже отправить или на переобход страниц (если их немного), либо создать для них отдельную карту сайта и тоже отправить на переобход (добавив ее в вебмастер).

То очень важно, чтобы все страницы вашего сайта были проиндексированы в поисковых системах (Яндекс, Google и т.п.).

• Во первых, если страницы нет в индексе, значит люди не смогут ее найти и вы зря потратили время (и возможно деньги) на ее создание, наполнение и оформление. Каждая страница в индексе — это источник посетителей.
• Во вторых, если страницы нет в индексе, это может свидетельствовать о технических проблемах на сайте, например дублирование контента, глюки сайта или хостинга.
• В третьих, эта страница может играть техническую роль, например, участвовать в схеме перелинковки (или содержать платные ссылки, за которые вы не получите деньги, если страницы нет в индексе).

Работая с клиентами я не раз сталкивался с тем, что из-за проблем с индексацией были плохие позиции. Эта техническая проблема, которую я обычно исправляю в первый месяц сотрудничества, за счет чего уже со 2-го месяца бывает заметный рост посетителей и позиций.

Ниже я рассмотрю ручные и автоматизированные способы проверки индексации страниц в Яндекс и Google. Покажу, как проверить индексацию сайта в целом и каждой страницы в отдельности.

Как узнать количество страниц на сайте

Это можно сделать несколькими путями:

Теперь, когда мы знаем фактическое количество страниц, надо проверить сколько из них проиндексированы в Яндексе и Google

Смотрим индексацию сайта в целом

В данном случае мы узнаем сколько всего страниц сайта проиндексировано в поисковой системе . Что нам это дает? Зная фактическое количество страниц на сайте, мы можем сравнить соответствует ли оно количеству проиндексированных страниц. И если соответствует, значит всё в порядке, а если нет, то нужно разобраться с проблемой и выяснить каких именно страниц не хватает (или какие страницы имеют дубли).

Индексация сайта в Яндексе

Несколько способов.

Как видите данные немного отличаются. Это из-за того, что конструкция url:ваш-сайт показывает не только страницы, но другие типы файлов (doc, xls, jpg и т.п.). Вебмастер же показывает именно количество страниц.

Индексация сайта в Google

Здесь аналогично с Яндексом есть 2 способа:

• Вручную с помощью конструкции site:ваш сайт. Эффект будет примерно такой же, как с Яндексом.
• Используя инструменты Google для Вебмастеров https://www.google.com/webmasters/ (аналог Яндекс.Вебмастер)

автоматические способы

Что дальше

Теперь когда мы знаем, сколько страниц от фактического количества проиндексированы, может быть 3 ситуации:

1. Количество страниц в поисковиках и на сайте совпадает. Это идеальный вариант, значит с сайтом всё впорядке.
2. Количество проиндексированных страниц меньше. Значит с сайтом проблемы (наиболее популярная проблема — малоинформативный или неуникальный контент)
3. Количество проиндексированных страниц больше. Скорей всего у вас проблема с дублированием страниц, т.е. одна страница может быть доступна по нескольким адресам. Это плохо для продвижения, т.к. статический вес страницы размывается и кроме-того получается много страниц с повторяющимся контентом.

Для дальнейшей диагностики сайта, нам понадобится узнать какие страницы точно проиндексированы, а какие не входят в индекс.

Как проверить индексацию одной страницы

Это нам может понадобится, когда мы хотим проверить конкретную страницу на своем сайте (например, недавно опубликованную) или страницу на чужом сайте (например, где мы купили ссылку и ждем, когда она проиндексируется)

Как проверить индексацию всех страниц по отдельности

В данном случае мы будем проверять на проиндексированность сразу все страницы сайта и в результате узнаем какие конкретно страницы не проиндексированы в поисковике .

Здесь нам понадобится не просто знать количество фактических страниц на сайте, но и список адресов этих страниц (их url). Это наверно самое сложное в этой статье. Список страниц мы вроде бы получили, когда генерировали карту сайта, но там адреса содержатся не в чистом виде и нужно уметь работать с какой-нибудь программой по обработке данных, чтобы извлечь их. Поэтому будем использовать еще одну программу.

Как получить список всех страниц сайта

Перед сбором ссылок нужно настроить параметр Exclude Patterns. Это делается, чтобы исключить при сборе ненужные ссылки, например, в моем случае при сборе собирается очень много адресов вида: https://сайт/prodvizhenie/kak-prodvigayut-sajjty.html?replytocom =324#respond, которые указывают на комментарий на странице. А мне нужен только адрес страницы. Поэтому, я настроил исключение адресов по маске *replytocom*:

Дальше, запускаем сбор url и когда программа закончит их собирать, переходим на вкладку Yahoo Map / Text и копируем адреса оттуда (Кнопка сохранить не работает, т.к. мы используем бесплатную версию программы)

Теперь у нас есть адреса всех страниц.

Как проверить индексацию страниц автоматически

Здесь всё просто. После запуска программы добавляем собранный на прошлом шаге список url вашего сайта и добавляем в список исходных url. Программа позволяет проверять индексацию в Яндекс, Гугл и Rambler, выбираем нужную нам поисковую систему и запускаем проверку:

После того, как получили список страниц, которые не попали в индекс, нужно понять почему это произошло. Если со страницей всё впорядке, то чтобы она зашла в индекс, можно закупить на нее ссылок или несколько ретвитов с прокаченных аккаунтов.

Заключение

Умение проверить индексацию страниц своего сайта позволит вам продуктивней работать с поисковыми системами, а так же вычислить существующие проблемы с сайтом.