Crawlability
Crawlability (доступность для сканирования) - это способность бота поисковой системы получить доступ к веб-странице и собрать ее контент. Если сканирование (crawling) - это сам процесс сбора, то crawlability - это состояние, при котором контент может быть собран. Этот параметр находится в основании пирамиды потребностей технического SEO.
Crawlability (доступность для сканирования) - это способность бота поисковой системы получить доступ к веб-странице и собрать ее контент. Если сканирование (crawling) - это сам процесс сбора, то crawlability - это состояние, при котором контент может быть собран. Этот параметр находится в основании пирамиды потребностей технического SEO.
Почему это важно
Если поисковые системы не могут получить доступ к вашему контенту, он не появится в результатах поиска независимо от качества. Crawlability - это первый барьер в SEO: проблемы здесь обесценивают всю последующую оптимизацию (on-page, контент, обратные ссылки).
Распространенные препятствия для сканирования
Блокировки в robots.txt: важные страницы случайно закрыты от сканирования.
Битые ссылки и циклы переадресации: пути, которые расходуют краулинговый бюджет, не приводя к цели.
Медленный отклик сервера: долгое время отклика снижает количество страниц, которые Googlebot может просканировать за сессию.
Страницы-сироты: страницы без внутренних ссылок, которые краулеры не могут обнаружить.
Контент, зависящий от JavaScript: контент, отрисовываемый только через JS, может столкнуться с задержками сканирования и индексации.
Как улучшить
- Структура внутренних ссылок: убедитесь, что все важные страницы достижимы в пределах 3 кликов
- XML-карта сайта (sitemap): отправьте краулерам полный список важных страниц
- Аудит robots.txt: проверьте, что важные страницы не заблокированы случайно
- Исправление битых ссылок: оперативно устраняйте ошибки 404 и цепочки переадресаций
- Скорость сервера: более быстрый отклик повышает эффективность сканирования
- Удаление малоценных страниц: сфокусируйте краулинговый бюджет на действительно важных страницах
Crawlability и индексируемость
| Этап | Crawlability | Индексируемость |
|---|---|---|
| Вопрос | Может ли поисковая система получить доступ к этой странице? | Будет ли доступная страница включена в индекс? |
| Препятствия | robots.txt, ошибки сервера, недоступность | Тег noindex, дублирующийся контент, низкое качество |
| Связь | Предварительное условие | Оценивается после подтверждения crawlability |
Источники: