Zkoumání logů serveru hraje klíčovou roli v pochopení toho, jak roboti vyhledávačů interagují s webem, a umožňuje identifikovat klíčové body pro technickou optimalizaci SEO.
Optimalizace pro vyhledávače bez analýzy aktivity crawlerů je jako navigace bez mapy. I když jste web zaregistrovali v Google Search Console a ten byl zaindexován, bez důkladného prozkoumání logů nemáte představu, zda roboti vyhledávačů správně procházejí a čtou vaše stránky.
Proto jsem sepsal vše důležité, co potřebujete vědět o analýze logů pro SEO, abyste mohli z těchto dat získat cenné informace a identifikovat příležitosti i problémy spojené s optimalizací.
Co je analýza logů?
Analýza logů serveru pro SEO představuje proces, který odhaluje vzorce interakcí robotů vyhledávačů s vaším webem. Je to zásadní prvek technického SEO.
Důkladná analýza logů je nezbytná pro identifikaci a řešení problémů souvisejících s procházením webu, indexováním obsahu a stavovými kódy.
Co jsou soubory protokolu (logy)?
Logy zaznamenávají informace o tom, kdo a jak prohlíží webové stránky. Obsahují data o entitách (tzv. „klientech“), které o přístup k webu žádají.
Mezi žadateli mohou být roboti vyhledávačů (např. Google nebo Bing) i běžní návštěvníci webu. Záznamy logů se typicky shromažďují a uchovávají na webovém serveru po určitou dobu.
Co najdeme v souboru protokolu?
Předtím, než se podíváme na důležitost logů pro SEO, je nezbytné pochopit, co se v takovém souboru nachází. Obsahuje následující klíčové datové body:
- URL stránky, o kterou návštěvník webu žádá
- HTTP stavový kód stránky
- IP adresa serveru, ke které se žádost vztahuje
- Datum a čas požadavku
- Data user-agenta (robota vyhledávače), který požadavek odeslal
- Metoda požadavku (GET/POST)
Na první pohled se vám logy mohou zdát komplikované. Nicméně, jakmile pochopíte jejich význam a účel pro SEO, budete je moci efektivně využívat k získávání cenných SEO dat.
Účel analýzy logů pro SEO
Analýza logů pomáhá řešit klíčové technické SEO problémy, a tím umožňuje vytvořit efektivní strategii optimalizace vašeho webu.
Zde jsou některé SEO problémy, které lze identifikovat pomocí logů:
#1. Frekvence procházení webu robotem Googlebot
Klíčové stránky by měly být roboty procházeny pravidelně, aby vyhledávače měly přehled o aktualizacích vašeho webu a novém obsahu.
V logu byste měli najít všechny důležité produktové stránky nebo informativní sekce. Pokud se v logu neobjevuje produkt, který už nemáte v nabídce, nebo pokud chybí některé z vašich nejdůležitějších kategorií, je to signál problému, který lze odhalit pomocí logů.
Jak robot vyhledávače využívá rozpočet na procházení?
Pokaždé, když robot vyhledávače navštíví váš web, má k dispozici omezený „rozpočet na procházení“. Google definuje rozpočet procházení jako kombinaci rychlosti procházení webu a poptávky po procházení.
Procházení a indexování webu se může zkomplikovat, pokud máte velké množství URL s nízkou hodnotou nebo URL, které nejsou správně uvedeny v mapě webu. Pokud je váš rozpočet na procházení optimalizován, je procházení a indexování klíčových stránek snazší.
Analýza logů pomáhá optimalizovat rozpočet procházení, což urychluje SEO úsilí.
#2. Problémy a stav indexování Mobile-First
Mobilní indexování je pro všechny webové stránky zásadní a Google mu dává přednost. Analýza logů vám ukáže, jak často Googlebot pro smartphony prochází vaše stránky.
Tato analýza pomáhá webmasterům optimalizovat webové stránky pro mobilní zobrazení v případě, že Googlebot pro smartphony stránky správně neprochází.
#3. HTTP stavové kódy vracené webovými stránkami na vyžádání
Aktuální kódy odezvy, které webové stránky vrací, lze získat z logů nebo prostřednictvím nástroje pro načtení a vykreslení v Google Search Console.
Analyzátory logů dokážou odhalit stránky s kódy 3xx, 4xx a 5xx. Tyto problémy pak můžete řešit různými způsoby, například přesměrováním URL na správné cíle nebo změnou stavového kódu 302 na 301.
#4. Analýza aktivit procházení, jako je hloubka procházení nebo interní odkazy
Google bere v potaz strukturu webu na základě hloubky procházení a interního propojování. Důvodem nesprávného procházení může být špatná struktura prolinkování a hloubka procházení.
Pokud máte problémy s hierarchií, strukturou webu nebo prolinkováním, analýza logů vám s jejich nalezením pomůže.
Analýza logů pomáhá optimalizovat architekturu webu a strukturu interních odkazů.
#4. Odhalení osiřelých stránek
Osiřelé stránky jsou takové, na které nevede žádný odkaz z jiných stránek webu. Pro takové stránky je obtížné se dostat do indexu a zobrazit ve vyhledávačích, protože jsou pro roboty těžko objevitelné.
Osiřelé stránky lze snadno identifikovat pomocí crawlerů, jako je Screaming Frog, a problém vyřešit prolinkováním těchto stránek s ostatními.
#5. Audit stránek z hlediska rychlosti a uživatelské zkušenosti
Uživatelská zkušenost a Core Web Vitals jsou faktory, které mají oficiálně vliv na hodnocení webu. Proto je důležité, aby webové stránky splňovaly pokyny Google pro rychlost stránek.
Pomalé a objemné stránky lze identifikovat pomocí analyzátorů logů a následně optimalizovat z hlediska rychlosti, což přispívá k celkovému hodnocení na SERP.
Analýza logů vám pomůže získat přehled o tom, jak jsou vaše stránky procházeny a jak s nimi vyhledávače zacházejí.
Nyní, když jsme si vyjasnili základy logů a jejich analýzy, podívejme se na to, jak audit logů pro SEO probíhá.
Jak provést analýzu logů
Už jsme si prošli různé aspekty logů a jejich význam pro SEO. Nyní je na čase naučit se proces analýzy logů a podívat se na nejlepší nástroje pro tuto práci.
Pro přístup k logům potřebujete přístup k log souborům serveru. Způsoby analýzy jsou následující:
Ruční přístup k logům zahrnuje několik kroků.
- Shromažďování nebo export dat z webového serveru s tím, že je nutné data filtrovat na roboty vyhledávačů.
- Převod staženého souboru do čitelného formátu pomocí nástrojů pro analýzu dat.
- Ruční analýza dat pomocí Excelu nebo jiných vizualizačních nástrojů k odhalení problémů a příležitostí v SEO.
- Pro zjednodušení práce lze použít i filtrovací programy a příkazovou řádku.
Ruční zpracování dat z logů není jednoduché, protože vyžaduje znalost Excelu a zapojení vývojářského týmu. Nástroje pro analýzu logů však tuto práci pro SEO specialisty usnadňují.
Pojďme se podívat na nejlepší nástroje pro analýzu logů a vysvětlit, jak nám tyto nástroje s analýzou logů pomáhají.
Screaming Frog Log File Analyzer
Technické SEO problémy lze identifikovat pomocí importovaných logů a ověřených robotů vyhledávačů v nástroji Screaming Frog Log File Analyzer. Dále můžete zjišťovat:
- Aktivitu vyhledávačů a data potřebná pro optimalizaci.
- Frekvenci procházení stránek roboty vyhledávačů
- Technické SEO problémy, nefunkční externí a interní odkazy
- Analýzu URL, které byly procházeny nejméně a nejvíce, pro minimalizaci ztrát a zvýšení efektivity.
- Stránky, které vyhledávače neprochází.
- Data je možné porovnávat a kombinovat, včetně dat externích odkazů a dalších informací.
- Zobrazení údajů o odkazujících URL
Screaming Frog Log File Analyzer je zdarma pro jeden projekt s limitem 1000 událostí v logu. Pro neomezený přístup a technickou pomoc je nutné přejít na placenou verzi.
JetOctopus
Pokud hledáte cenově dostupný nástroj pro analýzu logů, JetOctopus je dobrá volba. Nabízí 7denní zkušební verzi zdarma, bez nutnosti zadávat kreditní kartu a s připojením na dvě kliknutí. Analyzátor logů JetOctopus vám stejně jako ostatní nástroje z našeho seznamu pomůže identifikovat frekvenci procházení, rozpočet procházení, nejoblíbenější stránky a další.
Tento nástroj umožňuje integrovat data z logů s daty z Google Search Console, což vám dává výraznou výhodu nad konkurencí. Díky této kombinaci můžete sledovat, jak Googlebot s vaším webem interaguje a kde se můžete zlepšit.
Oncrawl Log Analyzer
Oncrawl Log Analyzer je nástroj pro střední až velké weby, který denně zpracovává přes 500 milionů řádků logů. Sleduje logy vašeho webového serveru v reálném čase, aby bylo zajištěno správné indexování a procházení vašich stránek.
Oncrawl Log Analyzer je v souladu s GDPR a je vysoce bezpečný. Namísto IP adres ukládá všechny logy do zabezpečeného a odděleného FTP cloudu.
Kromě funkcí, které nabízí JetOctopus a Screaming Frog Log File Analyzer, má Oncrawl i další specifika, jako například:
- Podpora mnoha formátů logů, jako je IIS, Apache a Nginx.
- Snadná adaptace nástroje na měnící se požadavky na zpracování a skladování
- Dynamická segmentace, která je mocným nástrojem pro odhalování vzorců a spojení v datech seskupováním URL a interních odkazů na základě různých kritérií.
- Vytváření praktických SEO reportů z nezpracovaných dat v logech.
- Automatizace importu logů do vašeho FTP prostoru s pomocí technického personálu.
- Monitoring všech oblíbených robotů vyhledávačů, včetně Google, Bing, Yandex a Baidu.
OnCrawl Log Analyzer má také dva další důležité nástroje:
Oncrawl SEO Crawler: S Oncrawl SEO Crawler můžete svůj web procházet vysokou rychlostí a s minimálními prostředky. Zlepšuje uživatelské porozumění vlivu hodnotících kritérií na optimalizaci pro vyhledávače (SEO).
Data Oncrawl: Data Oncrawl analyzují všechny SEO faktory pomocí kombinace dat z procházení a logů. Načítá data z procházení a logů a analyzuje chování robotů a doporučuje, na který obsah se má soustředit rozpočet procházení, nebo upřednostňuje hodnocení stránek.
SEMrush Log File Analyzer
SEMrush Log File Analyzer je rozumná volba pro přímočarý, webový analyzátor logů. Tento analyzátor nevyžaduje instalaci a je k dispozici online.
SEMrush vám nabízí dva typy reportů:
Návštěvy stránek: Reportuje interakce robotů s obsahem vašeho webu. Poskytuje data stránek, složek a URL s maximální i minimální interakcí s roboty.
Aktivita Googlebota: Přehled aktivity Googlebota denně poskytuje data o webu, například:
- Typy procházených souborů
- Celkové stavové kódy HTTP
- Počet požadavků odeslaných na váš web různými roboty
Loggly od SolarWinds
Loggly od SolarWinds analyzuje logy přístupu a chyb vašeho webového serveru, stejně jako týdenní metriky webu. Data z logů můžete kdykoli zobrazit a má funkce, které usnadňují vyhledávání v log souborech.
Pro efektivní analýzu logů na vašem serveru je zapotřebí robustní nástroj, jako je SolarWinds Loggly. Ten dokáže odhalit úspěšné i neúspěšné požadavky klientů na různé zdroje.
Loggly umí zobrazit grafy s nejméně zobrazovanými stránkami a vypočítat průměrnou, minimální a maximální rychlost načítání stránek, což vám pomáhá optimalizovat váš web pro vyhledávače.
Statistiky procházení v Google Search Console
Google Search Console usnadnila uživatelům práci poskytnutím užitečného přehledu o svých aktivitách. Ovládání konzole je jednoduché. Statistiky procházení jsou rozděleny do tří kategorií:
- Kilobajty stažené za den: Ukazuje, kolik kilobajtů robot Google stáhl při návštěvě webu. Má to dva zásadní významy: pokud jsou v grafu vysoké průměry, web je procházen častěji nebo robotovi procházení trvá dlouho a není to snadné.
- Stránky procházené za den: Ukazuje počet stránek, které robot Google každý den prochází. Zaznamenává se také stav aktivity procházení (nízká, vysoká nebo průměrná). Nízká rychlost procházení znamená, že robot web neprochází správně.
- Čas strávený stahováním stránky (v milisekundách): Ukazuje dobu, kterou Google robot strávil odesíláním HTTP požadavků při procházení webu. Čím méně času robot potřebuje na vytváření požadavků, tím lépe se stránky stahují, a indexování bude rychlejší.
Závěr
Věřím, že tento průvodce analýzou logů a nástroji, které se k auditu logů pro SEO používají, vám poskytl cenné informace. Audit logů může být velmi účinný pro vylepšení technického SEO vašeho webu.
Google Search Console a SEMrush Log File Analyzer jsou dvě možnosti pro bezplatné základní analytické nástroje. Alternativně se podívejte na Screaming Frog Log File Analyzer, JetOctopus nebo Oncrawl Log Analyzer, abyste lépe pochopili, jak vyhledávače s vaším webem interagují. Pro analýzu logů pro SEO můžete použít kombinaci placených i bezplatných nástrojů.
Pro zlepšení SEO můžete také prozkoumat pokročilé nástroje pro procházení webů.