Что такое анализ журнальных файлов и почему он важен для SEO?

Что такое анализ журнальных файлов и почему он важен для SEO?

Анализ журнальных файлов SEO помогает понять поведение краулеров на сайте и определить потенциальные возможности технической SEO-оптимизации. SEO без анализа поведения краулеров подобно полету вслепую. Возможно, вы представили сайт на консоли поиска Google и проиндексировали его, но без изучения лог-файлов вы не сможете понять, правильно ли ваш сайт просматривают или читают боты поисковых систем или нет. Именно поэтому я собрал все, что вам нужно знать, чтобы проанализировать файлы журналов SEO и определить по ним проблемы и SEO-возможности.  

Что такое анализ файлов журналов?

Анализ лог-файлов SEO — это процесс распознавания схемы взаимодействия ботов поисковых систем с веб-сайтом. Анализ лог-файлов является частью технического SEO. Аудит файлов журналов важен для SEO-специалистов, чтобы распознать и решить проблемы, связанные с ползанием, индексированием, кодами состояния.

Что такое файлы журналов?

Файлы журналов отслеживают, кто посещает веб-сайт и какое содержимое он просматривает. Они содержат информацию о том, кто запросил доступ к сайту (также известный как «Клиент»).  Воспринимаемая информация может быть связана с ботами поисковых систем, таких как Google или Bing, или с посетителем сайта. Как правило, записи лог-файлов собираются и поддерживаются веб-сервером сайта, и обычно они хранятся в течение определенного времени.

Что содержит файл журнала?

Прежде чем понять важность лог-файлов для SEO, необходимо узнать, что находится внутри этого файла. Файл журнала содержит следующие данные:-

  • URL страницы, которую запрашивает посетитель сайта
  • Код состояния HTTP страницы
  • IP-адрес запрашиваемого сервера
  • Дата и время удара
  • Данные агента пользователя (бота поисковой системы), делающего запрос
  • Метод запроса (GET/POST)

Файлы журналов могут показаться вам сложными, если вы посмотрите на них в первый раз. Тем не менее, как только вы узнаете цель и важность лог-файлов для SEO, вы будете эффективно использовать их для получения ценных SEO-инсайтов.  Анализ лог-файлов помогает решить некоторые важные технические SEO-проблемы, что позволяет создать эффективную SEO-стратегию для оптимизации сайта. Вот некоторые проблемы SEO, которые можно проанализировать с помощью лог-файлов:

Частота посещения сайта роботом Googlebot

Боты поисковых систем или краулеры должны часто просматривать ваши важные страницы, чтобы поисковая система знала об обновлениях вашего сайта или новом контенте. Все ваши важные страницы, посвященные продуктам или информации, должны появляться в журналах Google. Страница продукта, который вы больше не продаете, а также отсутствие страниц наиболее важных категорий — это признаки проблемы, которую можно распознать по лог-файлам.

Как бот поисковой системы использует бюджет на ползание?

Каждый раз, когда поисковый робот посещает ваш сайт, он имеет ограниченный «бюджет посещения». Google определяет бюджет ползания как сумму скорости ползания сайта и потребности в ползании. Ползание и индексирование сайта может быть затруднено, если на нем много малозначимых URL-адресов или URL-адресов, которые неправильно представлены в карте сайта. Ползание и индексирование ключевых страниц облегчается, если бюджет на ползание оптимизирован. Анализ журнальных файлов помогает оптимизировать бюджет на переползание, что ускоряет SEO-усилия.

Проблемы и статус первой мобильной индексации

Mobile-first индексация теперь важна для всех сайтов, и Google отдает ей предпочтение. Анализ лог-файлов покажет вам частоту, с которой смартфон Googlebot ползает по вашему сайту. Этот анализ поможет веб-мастерам оптимизировать веб-страницы для мобильных версий, если страницы неправильно просматриваются смартфоном Googlebot.

Код состояния HTTP, возвращаемый веб-страницами при запросе

Последние коды ответов, которые получают наши веб-страницы, можно узнать либо по лог-файлам, либо с помощью опции fetch and render request в Google Search Console. Анализаторы журнальных файлов могут найти страницы с кодами 3xx, 4xx и 5xx. Вы можете решить эти проблемы, предприняв соответствующие действия, например, перенаправить URL-адреса на правильные адреса или изменить код 302 на 301.

Анализ действий ползания, таких как глубина ползания или внутренние ссылки

Google оценивает структуру сайта по глубине проползания и внутренним ссылкам. Причинами неправильного ползания по сайту могут быть плохая структура внутренних ссылок и глубина ползания. Если у вас возникли трудности с иерархией или структурой сайта, или структурой взаимосвязей, вы можете использовать анализ лог-файлов для их поиска. Анализ журнальных файлов помогает оптимизировать архитектуру сайта и структуру взаимосвязей.

Обнаружение осиротевших страниц

Сиротские страницы — это веб-страницы на сайте, которые не связаны ни с одной другой страницей. Таким страницам трудно попасть в индекс или появиться в поисковых системах, поскольку их нелегко обнаружить ботам. Сиротские страницы могут быть легко обнаружены краулерами, такими как Screaming Frog, и эта проблема может быть решена путем связывания этих страниц с другими страницами на сайте.

Аудит страниц на скорость и удобство работы

Опыт страницы и основные показатели сайта теперь официально являются факторами ранжирования, и теперь важно, чтобы веб-страницы соответствовали рекомендациям Google по скорости страниц. Медленные или большие страницы можно обнаружить с помощью анализаторов лог-файлов, и эти страницы можно оптимизировать для скорости страниц, что поможет общему ранжированию в SERP. Анализ файлов журналов поможет вам получить контроль над тем, как ваш сайт просматривается и как поисковые системы обрабатывают ваш сайт. Теперь, когда мы разобрались с основами журнальных файлов и их анализа, давайте рассмотрим процесс аудита журнальных файлов для SEO

Как проводить анализ файлов журналов

Мы уже рассмотрели различные аспекты лог-файлов и их важность для SEO. Теперь пришло время изучить процесс анализа файлов и лучшие инструменты для анализа лог-файлов. Для доступа к файлу журнала вам понадобится доступ к файлу журнала сервера веб-сайта. Файлы можно анализировать следующими способами:

  • Ручное использование Excel или других инструментов визуализации данных
  • Использование инструментов анализа файлов журнала

Для получения доступа к файлам журнала вручную необходимо выполнить несколько шагов.

  • Соберите или экспортируйте данные журнала с веб-сервера, при этом данные должны быть отфильтрованы для ботов поисковых систем или краулеров.
  • Преобразуйте загруженный файл в удобочитаемый формат с помощью инструментов анализа данных.
  • Ручной анализ данных с помощью excel или других инструментов визуализации для поиска пробелов и возможностей SEO.
  • Вы также можете использовать программы фильтрации и командные строки, чтобы облегчить себе работу

Вручную работать с данными файлов непросто, поскольку это требует знания Excel и привлечения команды разработчиков. Тем не менее, инструменты для анализа лог-файлов облегчают работу SEO-специалистам. Давайте рассмотрим лучшие инструменты для аудита лог-файлов и поймем, как эти инструменты помогают нам анализировать лог-файлы.

Анализатор файлов журналов Screaming Frog

 

Вашу рекламу скликивают конкуренты?

Подключите защиту по ссылке и экономьте ваш рекламный бюджет!

Screaming frog report for log file analysis

Технические проблемы SEO можно определить с помощью загруженных данных лог-файлов и проверки ботов поисковых систем с помощью Screaming Frog Log File Analyzer. Вы также можете поступить следующим образом:

  • Активность ботов поисковых систем и данные для поисковой оптимизации.
  • Узнайте частоту посещения сайта ботами поисковых систем
  • Узнайте обо всех технических SEO-проблемах, внешних и внутренних неработающих ссылках
  • Анализ URL-адресов, которые были пройдены наименее и наиболее часто, для сокращения потерь и повышения эффективности.
  • Обнаружение страниц, которые не просматриваются поисковыми системами.
  • Любые данные можно сравнивать и комбинировать, включая данные внешних ссылок, директивы и другую информацию.
  • Просмотр данных об URL-адресах рефереров

Инструмент анализатора файлов журналов Screaming Frog совершенно бесплатен для использования в рамках одного проекта с ограничением в 1000 событий линейного журнала. Вам необходимо перейти на платную версию, если вы хотите получить неограниченный доступ и техническую помощь.

JetOctopus

JetOctopus Log File Analyzer

Если речь идет о доступных инструментах анализатора журналов, JetOctopus является лучшим. Он имеет семидневную бесплатную пробную версию, не требует кредитной карты и подключается в два клика. С помощью анализатора журналов JetOctopus можно определить частоту переползания, бюджет переползания, наиболее популярные страницы и многое другое, как и с помощью других инструментов в нашем списке. С помощью этого инструмента вы можете интегрировать данные журнальных файлов с данными Google Search Console, что дает вам явное преимущество перед конкурентами. С помощью этой комбинации вы сможете увидеть, как Googlebot взаимодействует с вашим сайтом и что можно улучшить.

On Crawl Log Analyzer

oncrawl Log File Analyzer Report showing SEO status

Более 500 миллионов журнальных строк в день обрабатывает Oncrawl Log Analyzer, инструмент, предназначенный для средних и крупных веб-сайтов. Он следит за логами вашего веб-сервера в режиме реального времени, чтобы убедиться, что ваши страницы правильно индексируются и просматриваются. Oncrawl Log Analyzer соответствует требованиям GDPR и отличается высокой степенью безопасности. Вместо IP-адресов программа хранит все файлы журналов в безопасном и изолированном FTP-облаке. Помимо JetOctopus и Screaming Frog Log File Analyzer, Oncrawl имеет еще несколько функций, таких как:

  • Поддерживает множество форматов журналов, таких как IIS, Apache и Nginx.
  • Инструмент легко адаптируется к вашим требованиям к обработке и хранению данных по мере их изменения
  • Динамическая сегментация — это мощный инструмент для выявления закономерностей и связей в ваших данных путем группировки URL-адресов и внутренних ссылок на основе различных критериев.
  • Используйте данные из необработанных файлов журналов для создания действенных SEO-отчетов.
  • Файлы журналов, передаваемые в ваше FTP-пространство, могут быть автоматизированы с помощью технического персонала.
  • Можно отслеживать все популярные браузеры, включая краулеры Google, Bing, Yandex и Baidu.

OnCrawl Log Analyzer имеет еще два важных инструмента:

  • Oncrawl SEO Crawler: С помощью Oncrawl SEO Crawler вы можете осуществлять сканирование вашего сайта на высокой скорости и с минимальными ресурсами. Улучшает понимание пользователем того, как критерии ранжирования влияют на поисковую оптимизацию (SEO).
  • Данные Oncrawl: Данные Oncrawl анализируют все факторы SEO, объединяя данные, полученные в результате переползания и аналитики. Он извлекает данные из ползания и лог-файлов, чтобы понять поведение ползания и рекомендовать бюджет ползания для приоритетного контента или ранжируемых страниц.

Анализатор файлов журналов SEMrush

Semrush Log File Analyzer

SEMrush Log File Analyzer — это разумный выбор простого инструмента анализа журналов на основе браузера. Этот анализатор не требует загрузки и может использоваться в онлайн-версии.  SEMrush представляет вам два отчета:

Pages’ Hits: Pages’ Hits сообщает о взаимодействии веб-краулеров с содержимым вашего сайта. Он предоставляет вам данные о страницах, папках и URL с максимальным и минимальным взаимодействием с ботами.

Активность бота Googlebot: Отчет об активности Googlebot предоставляет ежедневные сведения о сайте, такие как:

  • Типы просматриваемых файлов
  • Общий код состояния HTTP
  • Количество запросов, сделанных к вашему сайту различными ботами

Loggly от SolarWinds

svg%3E

Loggly от SolarWinds изучает журналы доступа и ошибок вашего веб-сервера, а также еженедельные показатели сайта. Вы можете просматривать данные журналов в любой момент времени, и он имеет функции, упрощающие поиск по журналам.  Надежный инструмент анализа журналов, такой как SolarWinds Loggly, необходим для эффективного анализа журналов веб-сервера в поисках информации об успешности или неуспешности запросов ресурсов от клиентов. Loggly может предоставить графики, отображающие наименее часто просматриваемые страницы, а также рассчитать среднюю, минимальную и максимальную скорость загрузки страниц, чтобы помочь вам в оптимизации поисковой оптимизации вашего сайта.

Google Search Console Crawl Stats

Google Search Console for

Google Search Console облегчила жизнь пользователям, предоставив полезный обзор своей практики. Работа консоли проста. Ваши статистические данные будут разделены на три категории:

  • Килобайты, загруженные в день: Указывает на килобайты, загружаемые ботами Google при посещении сайта. В основном это указывает на два важных момента: Если на графике показаны высокие средние значения, это означает, что сайт посещается чаще, или это может также указывать на то, что боту требуется много времени, чтобы просмотреть сайт, и он не является легким.
  • Страницы, пройденные за день:  Здесь указано количество страниц, которые Googlebot просматривает каждый день. Здесь также указывается статус активности ползания: низкий, высокий или средний. Низкий уровень ползания указывает на то, что Googlebot не проползает сайт должным образом.
  • Время, затраченное на загрузку страницы (в миллисекундах): Указывает время, затрачиваемое Googlebot на выполнение HTTP-запросов при просмотре сайта. Меньше времени Googlebot тратит на выполнение запросов и загрузку страницы — лучше, так как индексация будет происходить быстрее.

Заключение

Надеюсь, вы многое почерпнули из этого руководства по анализу лог-файлов и инструментов, используемых для аудита лог-файлов в целях SEO. Аудит файлов журналов может быть очень эффективным для улучшения технических SEO-аспектов сайта.  Google Search Console и SEMrush Log File Analyzer — два варианта бесплатного и базового инструмента анализа. В качестве альтернативы проверьте Screaming Frog Log File Analyzer, JetOctopus или Oncrawl Log Analyzer, чтобы лучше понять, как боты поисковых систем взаимодействуют с вашим сайтом; вы можете использовать смешанные премиум и бесплатные инструменты анализа файлов журналов для SEO.

Наш проект поддержало государство в виде гранта на развитие алгоритмов!
This is default text for notification bar

Конкуренты скликивают рекламу?

Подключите защиту бесплатно и проверьте, сколько ботов кликают на вашу контекстную рекламу Яндекс.Директ и оцените потери вашего бюджета. Никаких финансовых обязательств.