Сканирование не начинается, зависает или находит 0 страниц

SEOAsist начинает работу с вашей главной страницы и карты сайта (sitemap), а затем переходит по ссылкам в пределах того же домена. Краулер идентифицирует себя как SEOAsistBot и учитывает правила robots.txt; группа User-agent: SEOAsistBot в robots.txt применяется непосредственно к нему. Каждый сайт сканируется автоматически каждую неделю, также вы можете запустить сканирование вручную в любое время.

Пока идет сканирование, карточка сайта, страница сайта и приложение отображают его статус в реальном времени: «Crawl queued…» (Сканирование в очереди…), пока оно ожидает, и «Crawling… N pages» (Сканирование… N страниц), пока оно выполняется.

#Симптомы

• Предупреждение «Could not start crawl»: «You don’t have permission or crawling is disabled.» (У вас нет разрешения или сканирование отключено).
• Предупреждение «A crawl is already in progress», но при этом сканирование визуально не выполняется.
• Сканирование завершается, найдя всего 0 или 1 страницу.
• На странице Здоровье отображается множество ошибок вида «Page unreachable (timeout / connection error)», «Crawler blocked (firewall / bot protection)» или «Redirect loop».

#Как исправить

1. Включено ли сканирование? Откройте сайт из раздела Сайты. В Основные настройки на вкладке Общие отметьте галочкой Weekly automatic crawl enabled и нажмите «Сохранить». Если этот чекбокс снят, ручные сканирования также не будут запускаться.
2. Есть ли у вас права доступа? Владельцы (Owners), Администраторы (Admins) и Участники (Members) могут запускать сканирование. Наблюдатели (Viewers) не могут.
3. Не исчерпана ли квота? Проверьте счетчик Monthly crawl quota в левом меню. Когда месячная квота страниц исчерпана, вы не сможете запускать новые сканирования вручную, а панель может показывать сообщение «A crawl is already in progress». Квота сбрасывается в начале месяца, либо вы можете повысить тарифный план.
4. Правильно ли указан URL сайта? Поле URL сайта должно содержать конечный адрес сайта (корректный https, правильный домен). Если главная страница перенаправляет на другой домен, сканирование останавливается, так как проверяются только страницы на том же домене.
5. Не блокирует ли robots.txt? Если в example.com/robots.txt есть правило Disallow: /, закрывающее доступ для SEOAsistBot или всех ботов (User-agent: *), заблокированные страницы будут пропущены. Если заблокирована главная страница, вы получите 0 страниц. Разрешите доступ с помощью группы User-agent: SEOAsistBot.
6. Не блокирует ли защита от ботов? Брандмауэр или система защиты от ботов (WAF, режимы «bot fight») могут блокировать user-agent SEOAsistBot; в этом случае на странице «Здоровье» появится ошибка «Crawler blocked». Добавьте SEOAsistBot в список разрешенных (allow list).
7. Не слишком ли мал лимит страниц? Crawl page limit — это максимальное количество страниц, которое краулер посещает за один проход. Ограничение на стороне сервера составляет 500.
8. После устранения проблемы нажмите «Crawl now» на странице сайта или «Crawl this site» на странице Здоровье.

#Все еще не работает?

#Сканирование долгое время находится в статусе «running». Что делать?

Вы не можете запустить новое сканирование для того же сайта, пока не завершится текущее. Сканирование, которое прервалось на середине (например, из-за перезапуска системы), закрывается проверкой, запускаемой каждые 15 минут, и автоматически перезапускается один раз; если повторный запуск также прерывается, оно больше не перезапускается. Сканирование, находящееся в очереди более суток без запуска, также закрывается. После этого вы сможете запустить новое сканирование вручную. Если проблема сохраняется, напишите на support@seoasist.com.

#Почему проблема noindex на странице «Здоровье» иногда имеет статус Critical, а иногда Info?

Тег noindex является проблемой только в двух случаях: на главной странице (Critical: сайт выпадает из индекса Google) и на странице, отправленной в карте сайта sitemap (Serious: Google получает противоречивые сигналы). Страницы с noindex, которых нет в sitemap (например, страницы с незначительными тегами или городами), считаются намеренно исключенными и отмечаются как Info. Страницы с noindex не учитываются при подсчете дубликатов заголовков Title и описаний Description, а их тег H1 не проверяется.

#Отличаются ли пороговые значения для сайтов на японском, китайском, корейском или тайском языках?

Да. В этих языках объем контента считается в символах (пересчитывается в эквивалент слов). Для японских, китайских и корейских страниц используется Title от 15 до 35 символов и meta description не более 120 символов; для тайских страниц сохраняются стандартные пороговые значения для Title и Description.

#Мой сайт отображается как «read-only» (только для чтения) и не сканируется. Почему?

Это происходит только в организациях с оплатой через CoSuite: сайты, выходящие за рамки лимита сайтов CoSuite, переводятся в режим «только для чтения»; сканирование и автоматизация не работают, при этом данные остаются видимыми. Увеличьте лимит сайтов в CoSuite или удалите другой сайт. У организаций, оплачивающих собственный тарифный план напрямую, такого ограничения нет.

#Могу ли я получать уведомления о завершении сканирования?

Да. В разделе Settings → Notifications выберите событие Crawl finished. По умолчанию оно отключено.

#Когда запускается автоматическое сканирование?

Еженедельное сканирование запускается каждое утро воскресенья (в 03:00 UTC). Сайты с отключенным чекбоксом пропускаются.