Crawling (сканування)

Crawling (сканування) в SEO — це процес, під час якого пошукові роботи, або краулери, переходять за посиланнями та переглядають сторінки сайту, щоб знайти новий або оновлений вміст. Саме так пошукова система дізнається, що є на сайті, які сторінки існують і які з них варто додати до індексу. Англійська назва — crawling.

Як відбувається сканування

Пошуковий робот починає з відомих йому адрес або з URL, які він отримав із зовнішніх і внутрішніх посилань, карти сайту чи попередніх обходів. Далі він послідовно відкриває сторінки, читає їхній HTML-код, переходить за доступними посиланнями й збирає сигнали про структуру ресурсу. Якщо сторінка недоступна для робота, закрита в robots.txt або потребує надто багато переходів, вона може бути пропущена або перевірена пізніше.

Що саме шукає робот

• нові сторінки, яких ще не було в базі пошуковика;
• зміни в тексті, метаданих, внутрішніх посиланнях чи статусі сторінки;
• ознаки дублювання, редиректи, помилки відповіді сервера;
• взаємозв’язки між сторінками, які допомагають зрозуміти структуру сайту.

Чим crawling відрізняється від індексації

Сканування і індексація — не одне й те саме. Під час crawling сторінку лише знаходять і зчитують, а під час індексації її зміст обробляють і, за наявності підстав, зберігають у пошуковій базі для показу в результатах. Тому сторінка може бути просканована, але не потрапити до індексу: завадити можуть дубльований контент, технічні обмеження, слабка якість або директива noindex.

Що впливає на якість сканування

На роботу краулера впливають технічний стан сайту, логіка внутрішньої перелінковки, швидкість відповіді сервера та наявність чіткої структури URL. Якщо важливі сторінки погано пов’язані з іншими розділами, робот може знаходити їх рідше. Надмірна кількість однакових або малокорисних адрес, а також цикли перенаправлень і биті посилання витрачають краулінговий бюджет і знижують ефективність обходу.

Практичні орієнтири для сайту

• підтримувати зрозумілу внутрішню навігацію;
• закривати від обходу технічні та службові сторінки, якщо це доречно;
• усувати помилки 404, зайві редиректи й ланцюжки перенаправлень;
• оновлювати sitemap, щоб робот швидше знаходив важливі URL.

У SEO crawling розглядають як перший етап взаємодії сайту з пошуковою системою: без нього сторінка може залишитися непоміченою, навіть якщо вона має корисний зміст. Саме тому для фахівця важливо не лише створювати контент, а й робити його технічно доступним для сканування.