Инструкция

Проверьте, проиндексирован ли сайт поисковой системой Google при помощи анализа страниц поисковой выдачи. Откройте в URL вида: www.google.com/search?&q=allinurl:<адрес_сайта>/+site:<адрес_сайта>, где вместо заполнителя <адрес_сайта> необходимо подставить доменное имя, указывающее на ваш сайт. Например, если доменное codeguru.ru, то URL будет иметь вид: www.google.com/search?&q=allinurl:codeguru.ru/+site:codeguru.ru . Поисковая выдача в данном случае будет содержать все страницы указанного , присутствующие в индексе Google. Общее число страниц будет указано вверху страницы поисковой выдачи. Сравнивая известное количество с количеством страниц в выдаче, можно вывод о степени сайта.

Проверьте индексацию сайта в Google при помощи инструментов для web-мастеров. Зарегистрируйтесь в Google Webmaster Tools по адресу www.google.com/webmasters/tools/ . Войдите в панель управления сервиса. Добавьте сайт в систему и подтвердите права на . Зайдите по адресу https://www.google.com/webmasters/tools/dashboard .

Определите, проиндексирован ли сайт Yandex при помощи анализа поисковой выдачи. Откройте в браузере страницу с адресом вида http://yandex.ru/yandsearch?surl=<адрес_сайта>. Вместо маркера <адрес_сайта> в строку необходимо подставить доменное имя анализируемого сайта. Вверху страницы поисковой выдачи будет указано общее количество страниц сайта, известных поисковику. Сравните его с количеством страниц сайта.

Индекс поисковых систем - специальная база данных, в которую заносится информация, собираемая поисковыми роботами со страниц сайтов. При этом учитывается текстовое наполнение, внутренние и внешние ссылки, графические и некоторые другие объекты. Когда пользователь задает запрос поисковой системе, происходит обращение к базе данных. После этого выполняется ранжирование по релевантности - формирование списка сайтов по мере убывания их значимости.

Что такое индексация

Процесс добавления роботами собранной информации в базу называется индексацией. Затем данные определенным образом обрабатываются и создается индекс - выжимка из документов. Процесс заполнения индекса осуществляется одним из двух способов: вручную или автоматически. В первом случае владелец ресурса должен самостоятельно добавить URL веб-ресурса в специальную форму, которая есть у «Яндекса», Google и других поисковых систем. Во втором робот сам находит сайт, планомерно переходя по внешним ссылкам с других площадок или сканируя файл-карту sitemap.xml.

Первые попытки индексировать веб-ресурсы были сделаны еще в середине 90-х годов прошлого столетия. Тогда база данных была похожа на обычный предметный указатель, в котором содержались ключевые слова, найденные роботами на посещенных ими сайтах. Почти за 30 лет этот алгоритм был значительно усовершенствован и усложнен. Например, сегодня информация перед попаданием в индекс обрабатывается по сложнейшим вычислительным алгоритмам с привлечением искусственного интеллекта.

Зачем индекс поисковым системам

Индексация страниц сайта - неотъемлемая часть работы поисковых систем (не только Google и «Яндекса», но и всех остальных). База, полученная в процессе сканирования веб-ресурсов, используется для формирования релевантной выдачи. Основные роботы поисковых систем:

• основной - сканирует весь контент на сайте и его отдельных страницах;
• быстрый - индексирует только новую информацию, которая была добавлена после очередного обновления.

Также существуют роботы для индексации rss-ленты, картинок и др.

При первом посещении в базу попадают все новые сайты, если они подходят под требования поисковой системы. Во время повторного визита информация лишь дополняется деталями.

Скорость индексации страниц

Чем быстрее происходит добавление страницы в индекс, тем лучше для веб-ресурса. Однако поисковые роботы не могут выполнять такой большой объем работы так же часто, как обновляется наполнение сайтов. Индексация в «Яндекс» в среднем занимает одну-две недели, а в Google - несколько дней. С целью ускорения индексации ресурсов, для которых очень важно быстрое попадание информации в базу (новостные порталы и т. д.), применяется специальный робот, посещающий такие сайты от одного до нескольких раз в день.

Как проверить индексацию в «Яндексе» и Google

Воспользоваться информацией из панели веб-мастеров . В списке сервисов Google откройте Search Console, а затем перейдите в раздел «Индекс Google». Нужная информация будет находиться в блоке «Статус индексирования». В «Яндекс.Вебмастер» необходимо перейти по следующей цепочке: «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске».

Задать поиск по сайту с использованием специальных операторов . Для этого используйте запрос с конструкцией «site:», указав далее адрес вашего ресурса в полном формате. Так вы узнаете количество проиндексированных страниц. Серьезные расхождения в значениях (до 80 %), полученных в разных поисковых системах, говорят о наличии проблем (например, веб-ресурс может находиться под фильтром).

Установить специальные плагины и букмарклеты . Это небольшие дополнения для браузера, которые позволяют выполнить проверку индексации страниц сайта. Одним из самых популярных среди них является RDS Bar.

Как ускорить индексацию

На скорость индексации сайта прямо влияют несколько факторов:

• отсутствие ошибок, замедляющих процесс сбора информации поисковым роботом;
• авторитетность ресурса;
• частота обновления контента на сайте;
• частота добавления нового контента на сайт;
• уровень вложенности страниц;
• корректно заполненный файл sitemap.xml;
• ограничения в robots.txt.

Чтобы ускорить индексацию сайта, выполните ряд правил:

• выберите быстрый и надежный хостинг;
• настройте robots.txt, установив правила индексации и сняв ненужные запреты;
• избавьтесь от дублей и ошибок в коде страниц;
• создайте карту сайта sitemap.xml и сохраните файл в корневой папке;
• по возможности организуйте навигацию таким образом, чтобы все страницы были в 3 кликах от главной;
• добавьте ресурс в панели веб-мастеров «Яндекса» и Google;
• сделайте внутреннюю перелинковку страниц;
• зарегистрируйте сайт в авторитетных рейтингах;
• регулярно обновляйте контент.

Дополнительно рекомендуем оценить объем flash-элементов с точки зрения их влияния на продвижение. Наличие визуальных объектов этого типа значительно снижает долю поискового трафика, так как не дает роботам выполнить индексацию в полной мере. Также не желательно размещения ключевой информации в PDF-файлах, сохраненных определенным образом (сканироваться может только текстовое содержимое документа).

Рассмотрим вопрос как определить количество проиндексированных страниц в поисковых системах. Сделать это можно разными путями. Что такое индекс можете прочитать в статье индекс поисковой машины .

Информация о количестве страниц в индексе является открытой и доступной для всех. Так что любой вебмастер может проверить абсолютно любой сайт.

1. Сколько страниц проиндексировано Яндексом

1.1. Через запросы в Яндексе

Заходим на главную страницу Яндекса (yandex.ru или ya.ru) и вбиваем в поиске запрос:

site : www.site.ru | url:site.ru или host : www.site.ru | url:site.ru

В ответе Яндекс выдаст количество проиндексированных страниц:

1.2. Через панель Яндекс Вебмастер

В панели webmaster.yandex.ru есть специальная вкладка проиндексированные страницы:

Здесь же можно посмотреть количество страниц известных роботу, количество исключенных страниц и дату последнего посещения роботом сайта. Однако стоит отметить, что воспользоваться Яндекс Вебмастером могут только владельцы сайтов, поскольку это "частная" информация.

2. Сколько страниц проиндексировано Google

2.1. Через запросы в Гугле

Как и в Яндексе, в Google есть специальный запрос, который выводит все известные страницы сайта. Заходим на главную страницу google.ru и вводим:

site :site.ru

Такой запрос отобразит все известные страницы. Чтобы узнать какие страницы попали в так называемый "основной индекс" в конце запроса нужно дописать амперсант:

site :site.ru/&

2.2. Через панель Google Webmaster

В панели google.com/webmaster есть специальная вкладка "Индекс Google" -> "Статус индексирования":

Помимо рассмотренных способов так же есть универсальные методы.

3. Универсальные методы

3.1. Узнать индексацию через специальные сервисы

Специальными сервисами я называю множество различных систем аналитики. Например, самими популярными являются:

Здесь можно получить информацию об количестве проиндексированных страниц сразу в несколько поисковых системах.

Недавно на работе столкнулся с задачей, когда было необходимо проверить большое количество страниц на индексацию в Yandex и Google. Можно без проблем воспользоваться платными сервисами (например, Топвизор), который выдаст всю информацию в красивом виде. Либо какими-то сервисами, которые бесплатно дают проверить только 10 страниц, но страниц таких может быть очень много, а платные сервисы могут обойтись в хорошую сумму. Можно сделать это все бесплатно, но для этого нам понадобиться Кей Коллектор.

В первую очередь нам необходимо будет подготовить ссылки, так как для каждой ПС нам нужны разные команды.

Массовая проверка ссылок в Яндексе

Для проверки в Яндексе необходимо подготовить списком ссылки такого формата:

host:zamal.info/poleznye-seo-servisy/ | url:zamal.info/poleznye-seo-servisy/

host: zamal.info/category/seo/| url: zamal.info/category/seo/

Массовая проверка ссылок в Гугле

В Гугле же будет все немного проще:

site:zamal.info/poleznye-seo-servisy/

site:zamal.info/category/seo/

Для чего эти команды?

Многие могут сказать, а почему бы просто не вбить адрес ссылки, ведь он сразу покажет либо пустой запрос, либо эту ссылку. Увы, так не прокатит. Да, в каких-то случаях это сработает. Но в иных, Яндекс легко может показать другие УРЛы, которые не связаны с тем, который вбили мы. А Кей Коллектор нам выдаст информацию о том, что страница ваша страница в индексе есть, хотя это не так.

Как так массово сделать ссылки?

Проверяем индексацию страниц через Key Collector

Собрав 2 отдельных списка (ну или один для проверки в определенном ПС), открываем Кей Коллектор. Создаем проект. Заходим в настройки – парсинг и в поле «удалять символы» и «заменять на пробельный символ символы» удаляем все, что там есть и сохраняем.

Как долго длиться процесс?

Это уже все зависит от количества проверяемых ссылок. На проверку 10к страниц у меня ушло где-то 12 часов

Настраиваем экспорт

Пока идет процесс проверки, можно сразу настроить экспорт. Заходим в настройки – экспорт. Внизу ставим галочку только над «Фраза» и «Позиция » или «Позиция [G]». После завершения процесса выгружаем все в xls файл (нажимаем на зеленую иконку слева сверху).

Смотрим результат

В итоге у нас получается таблица в две колонки, в которой указана страница и позиция.

1 – в индексе

-1 – не в индексе

Затем мы можем просто отфильтровать непроиндексированные страницы и уже отправить или на переобход страниц (если их немного), либо создать для них отдельную карту сайта и тоже отправить на переобход (добавив ее в вебмастер).

Для Гугла действует ровно такая же схема, отличается лишь командами, о которых писал выше.

Итог

Таким простым способом можно практически бесплатно проверить массово нужные страницы на наличие индексации в поисковиках. Почему практически бесплатно? Немного съест антикапча, ну это мелочи.