Пошуковий робот, як правило, працює поетапно: спочатку він отримує і сканує сайт, потім індексує і додає дані сайту в свою індексну базу, а потім вже забезпечує знайомий кожному користувачеві процес – приймає пошуковий запит і генерує пошукову видачу з відповідями на нього.
Індексування – це процес додавання відомостей про сайті в базу даних (індекс) пошукових систем.
Далі ми розберемо, як можна швидко перевірити додалися чи сторінки сайту в індекс.
Розберемо на прикладах панелей Google і Яндекс.
На вкладці «Обзор» можна подивитися графік «Покриття», на якому відразу видно співвідношення кількості сторінок, які успішно потрапили в індекс (відзначені зеленим кольором) і тих, на яких під час індексації були знайдені помилки.
Якщо відкрити цей звіт, то можна побачити більш докладні дані про помилки, попередження, виключених сторінках.
Якщо вас цікавить не весь сайт відразу, а тільки конкретна сторінка, то можна перевірити дані і по ній.
Для цього вгорі панелі вебмайстрів існує рядок пошуку «Перевірка всіх URL на ресурсі». Вставте потрібний URL в це поле, і в підсумку вам відобразитися вся доступна інформація про сторінку.
На стартовій сторінці «Зведення» доступний швидкий перегляд звіту «Сторінки в Пошуку», де доступна статистика доданих і видалених сторінок за останній час.
У розгорнутому звіті можна побачити графік зміни статусу сторінок в декількох виставах, причини виключення сторінок з індексу, дату останнього відвідування і заголовки цих сторінок. Можна налаштувати розсилку повідомлень на пошту, викачувати дані у вигляді таблиці.
Також в розділі «Індексування» є інструмент перевірки статусу окремої сторінки.
У пошукових системах ще з давніх часів залишилася така зручна фішка, як пошукові оператори, які дозволяють уточнювати запит. Більшість підходить і для Гугла і для Яндекса, але бувають і відмінності.
Офіційну довідку від Google можна подивитися тут.
За допомогою оператора «site:" + URL можна дізнатися приблизну кількість сторінок у пошуку, які починаються з вказаного URL. Так можна перевірити весь домен, розділ сайту або конкретну сторінку.
Приклади пошукових запитів:
site:https://para.school site:para.school site:https://para.school/blog site:https://para.school/internet-marketing.htm
inurl для Google, а url його аналог в Яндексі. За допомогою цього оператора можна знайти точне входження тексту запиту в текст url. В даному випадку ми в запиті вказуємо URL і пошуковик видасть всі відомі йому адреси сторінок, в яких є збіг із запитуваним URL.
Цей оператор допоможе в тому випадку, якщо сторінка або сайт потрапили під санкції пошукових систем і сторінки немає в результатах при пошуку через site.
inurl:https://para.school
Процес перевірки можна автоматизувати. Спеціально для таких завдань існують плагіни для браузера, які в одному інтерфейсі збирають корисні дані про сторінку і сайті в цілому, в тому числі і дані про індексацію.
Один з найвідоміших – RDS Bar. Він є практично у кожного сеошника. Потрібно встановити плагін в браузері (є версії для Chrome, Opera, Firefox), потім на цікавій для вас сторінці активувати RDS Bar і дочекатися завантаження даних. Якщо клікнути на текст статусу індексації, то відкриється вікно пошукача з уже сформованим запитом через оператор site.
Також можна використовувати bookmarklet. З його допомогою буде автоматично сформовано посилання з пошуковим запитом через оператор site або url.
Букмарклет – це невелика JavaScript-програма, оформлена як javascript: URL, який потрібно зберегти як браузерную закладку.
Відмінний список букмарклетів зібраний на цьому сайті. Вам просто потрібно затиснути кнопку цікавого вам букмарклета і перетягнути її на панель закладок браузера. Потім, перебуваючи на потрібній вам сторінці сайту, натисніть закладку і вона перекине вас в браузер з уже сформованим запитом.
Тут вибір ще різноманітніший і основна перевага в тому, що можна зробити масову перевірку url, які вас цікавлять. Далі вже вибір за тим, який сервіс вам більше подобається, скільки url за раз може перевірити, платний він або безкоштовний.
На платних тарифах сервісу seranking.com можна масово перевіряти індексацію списку URL.
Якщо ви плануєте займатися SEO самостійно, всерйоз і надовго, то є велика ймовірність, що ви купите Netpeak Spider і Netpeak Checker. Так ось за допомогою Netpeak Spider можна просканувати і завантажити список всіх сторінок сайту, потім передати їх в Netpeak Checker, в якому перевірити індексацію. Тут обмежень на кількість URL вже не буде, знадобиться тільки час на сканування сторінок.
Через панелі вебмайстрів можна запросити індексацію окремих сторінок, але робити це регулярно для великої кількості сторінок вельми незручно.
Пошуковий робот за раз індексує тільки обмежену кількість сторінок, цей ліміт називають краулінговим бюджетом. Він розраховується для кожного сайту індивідуально. Якщо сайт маленький, то можна про нього не турбуватися, а от якщо великий, то варто приділяти йому увагу.
Якщо на сайті багато помилок, низькоякісних сторінок, дублів тощо, то вони мало того, що уповільнюють індексацію, так ще й витрачають краулінговий бюджет. В результаті пошукова система може довго обходити неякісні сторінки і розбиратися з помилками, замість того, щоб приділяти увагу важливих сторінок, які можуть принести вам дохід.
Так що для успіху потрібно:
