Hai un sito ben fatto – o almeno questo è quello che pensi – ma nonostante ti sembra di avere lavorato bene dal punto di vista SEO, dei contenuti e della user experience, non va come dovrebbe. A cosa è dovuto? Se te lo stai chiedendo da un po’, una parola che ti potrebbe aprire un mondo è crawlability.
Sì, lo so, pronunciarla è peggio che dire uno scioglilingua, ma in realtà con questa parola ci riferiamo a un aspetto importante dei motori di ricerca ossia la capacità dei bot di Google di esplorare un sito web e di accedere ai contenuti.
Se il tuo sito non è facilmente scansionabile, anche il miglior contenuto possibile rischia di restare invisibile.
Dal punto di vista SEO, lavorare sulla crawlability è il primo passo per dare vita a una strategia che funzioni.
Se, però, non sai da dove iniziare o magari questo concetto non ti è nuovo, ma non l’hai fatto tuo fino in fondo, è arrivato il momento di capire meglio cos’è la crawlability, perché conta per la SEO, quali sono i fattori che la influenzano, quali, invece, la ostacolano e tanto altro.
Consiglio: leggi fino alla fine perché ti daremo anche dei suggerimenti pratici.
Che cos’è la crawlability e perché conta per la SEO
Quando parliamo di crawlability, ci riferiamo, come dicevamo, alla capacità di Googlebot (e degli altri crawler) di esplorare un sito web e di accedere ai suoi contenuti. Il crawling di Google è il processo con cui lo spider scansiona e analizza le pagine del tuo sito, Sostanzialmente, senza il crawling di Google non può esserci nessun posizionamento.
Qual è la differenza tra crawling e indexing?
Arrivati a questo punto, però, è importante differenziare due concetti: con crawling si intende la scansione delle pagine da parte di Google mentre con indexing o indicizzazione l’inserimento di quelle pagine nell’indice di Google.
Cosa significa questo? Che sicuramente non ci può essere indicizzazione senza scansione, ma anche quando la scansione c’è stata – ossia Google si è accorto del tuo sito – non è detto che questo venga indicizzato. Pertanto la scansionabilità è una condizione necessaria, anche se non sufficiente, per ottenere visibilità organica.
Visto che siamo nell’ambito dei chiarimenti, ne faccio un altro importante, anche se successivo a queste due fasi: una volta che è avvenuta la scansione e che c’è stata l’indicizzazione, solo allora può avvenire il posizionamento. Che altro non è altro che la posizione che il tuo sito, il contenuto di un blog ecc… hanno in SERP rispetto a una determinata ricerca organica.
Cos’è Googlebot?
Googlebot è lo spider di Google, un software che esegue il crawling del web per aggiornare l’indice del motore di ricerca. Scansiona i siti seguendo i link e leggendo le istruzioni contenute in file come robots.txt o sitemap.xml. Il crawling di Google è, cioè, il meccanismo che permette a nuove pagine di entrare nel radar del motore di ricerca.
Da sapere: come si legge su Google Search Central, Googlebot è il nome generico di due tipi di web crawler utilizzati dalla ricerca Google che sono:
- Googlebot Smartphone: un crawler mobile che simula un utente che usa un dispositivo mobile;
- Googlebot Desktop: un crawler desktop che simula un utente che usa un computer desktop.
Come funziona il crawling di Google: le 4 fasi
Il “lavoro” del crawling di Google si esplica attraverso 4 fasi. Vediamole insieme.
La prima è la scoperta: Googlebot parte da un elenco di URL conosciuti, che visita periodicamente per capire se ci sono nuovi contenuti o aggiornamenti. È il primo passo con cui i crawler iniziano a esplorare il tuo sito.
A seguire c’è la navigazione: una volta che è su una pagina, Googlebot ne “legge” il contenuto e segue tutti i link interni ed esterni che trova. Si tratta di un meccanismo che si ripete di continuo, creando una rete sempre più ampia di pagine scoperte.
Poi si passa all’analisi: durante il crawling, Googlebot raccoglie informazioni fondamentali come titoli, meta description, tag e contenuto testuale. Questi dati vengono quindi inviati al motore di ricerca, che li utilizza per valutare la pertinenza e l’autorevolezza del sito.
Infine, l’indicizzazione: dopo l’analisi, Google archivia le pagine ritenute utili nel suo indice, cioè il grande database dei risultati di ricerca. Solo a questo punto una pagina può essere mostrata quando un utente cerca qualcosa di pertinente e si può “posizionare”.
Ma si parla anche di crawl budget: cos’è?
Un altro concetto importante, legato al crawling di Google, è il crawl budget. Hai presente quando ti dicono che per organizzare un evento in azienda o avviare una campagna c’è un certo budget e devi restare in quel perimetro? La stessa cosa – anche se non si tratta di soldi, in questo caso – vale per il crawl budget che è la quantità di risorse che Google dedica al crawling di un sito in un determinato periodo di tempo.
Non è infinito, pertanto va gestito con attenzione. Magari potrai pensare: “Ok, non dipende da me”. E invece no: se hai un sito con migliaia di pagine duplicate, redirect infiniti o contenuti di scarso valore, rischi di sprecare prezioso crawl budget e di ridurre la frequenza del crawling di Google.
Un esempio pratico? Se nel file robots.txt blocchi per errore la cartella “/blog/”, Googlebot non potrà mai scansionare i tuoi articoli, anche se sono di qualità. Di conseguenza, per quante ricerche tu possa fare su Google, per quanto gli articoli possano essere ben “confezionati”, non li troverai mai in SERP.
Un aspetto tutt’altro che trascurabile non trovi? Ma non è il solo. Ci sono diversi fattori che possono influenzare la scansionabilità di un sito, interferendo con il crawling di Google e la sua crawlability.
Vuoi saperne di più sul crawling di Google? Guarda questo video!
I fattori che influenzano la scansionabilità di un sito
Quali sono i fattori che favoriscono quindi il crawling di Google?
Eccone alcuni.
Struttura logica e gerarchica delle pagine
Uno dei primi fattori è la struttura del sito che, ammettiamolo, spesso viene trascurata. Organizzarlo in modo gerarchico significa renderlo più comprensibile sia per gli utenti che per il crawler. Come farlo? Rendendo le pagine principali raggiungibili in pochi click dalla home page. Per capirci, un percorso chiaro e coerente può essere: Homepage > Categoria > Sottocategoria > Pagina prodotto oppure Homepage > blog > categoria del blog.
Agire in questo modo evita “vicoli ciechi” e rende più fluido il percorso del crawling di Google. E, come detto, anche degli utenti.
Presenza di sitemap XML
Cosa succede quando devi andare in un locale per incontrare un amico e non sai come spostarti? Chiedi a Google Maps. Lo stesso vale per il sito: è importante che abbia una mappa, simile a quella stradale, che indichi la direzione a Google. La sitemap XML infatti mostra al motore di ricerca quali pagine sono davvero importanti e devono essere scansionate.
Va aggiornata ogni volta che si aggiungono, modificano o eliminano contenuti.
File robots.txt
Collegato alla sitemap è il file robots.txt, attraverso cui si danno istruzioni ai crawler su cosa possono o non possono visitare. Una configurazione errata rischia di bloccare sezioni cruciali del sito (per esempio il blog, come dicevo prima, o le schede prodotto), compromettendo la visibilità.
Link interni
Anche i link interni vogliono la loro parte: chi si occupa di SEO e di contenuto, lo sa bene. Un link a un altro articolo o una pagina del sito indica all’utente che di quell’argomento si è già parlato o gli suggerisce dove fare un approfondimento.
Lato SEO, i link interni sono i “binari” su cui viaggia Googlebot durante il crawling. Collegare in modo intelligente le pagine, tramite anchor text corretti (gli anchor text sono i testi cliccabili che puntano ad altre pagine tramite link), permette di distribuire valore dal punto di vista SEO. Una buona link building interna riduce il rischio che alcune pagine restino isolate (le cosiddette “pagine orfane”), difficili da raggiungere per i crawler.
Per esempio: puoi inserire link a schede prodotto pertinenti all’interno di articoli del blog o creare collegamenti tra contenuti correlati.
Fattori che ostacolano il crawling di Google
E cosa invece ostacola il crawling di Google? Ecco alcuni errori cui rimediare il prima possibile.
Pagine duplicate e contenuti ridondanti
Avviene più spesso di quanto si possa pensare, specie nel caso di blog aziendali ma non solo. Di cosa parlo? Delle pagine duplicate.
Articoli che sono stati fatti da persone diverse, pagine di categorie doppie ecc…al Googlebot non piacciono! Perché? Perché in questo modo spreca tempo e risorse (ricordi il crawl budget?) per scansionare contenuti identici anziché concentrarsi su quelli davvero importanti.
Ecco, anche il bot percepisce quella sensazione di “fastidio”. Ok, non è umano, ma l’effetto che ha sul sito è lo stesso che hai tu di fronte alle persone ripetitive.
In questo ti può aiutare Il tag canonical che altro non è che un’indicazione HTML che segnala a Google qual è la versione principale (o “ufficiale”) di una pagina web, quando esistono più URL con contenuti identici o molto simili.
Nel caso delle pagine duplicate, invece, oltre al canonical, potresti scegliere la pagina che funziona meglio e fare redirect 301 dall’altra oppure metterne una delle due in noindex. Sono valutazioni da fare con il professionista SEO e tutt’altro che banali. Anzi, scansionare le pagine con gli strumenti che ti dirò dopo, e farlo periodicamente, è fondamentale, come un check-up annuale per la propria salute.
Errori tecnici come 404, catene di redirect troppo lunghe, risorse bloccate
Ogni errore tecnico sottrae tempo e risorse al crawling di Google. Pagine non trovate (404), redirect multipli o file bloccati impediscono allo spider di arrivare ai contenuti utili e non aumentano la crawlability del tuo sito. Quindi, anche quando si sceglie di fare dei redirect, questi vanno fatti con criterio.
Un consiglio: oltre a evitare che ci siano troppe pagine 404, ricordati sempre di personalizzare questo tipo di pagina con un messaggio carino e dando la possibilità agli utenti di arrivare ad altre pagine che per te sono importanti. In questo modo la pagina 404 su cui atterra l’utente, può fare da “landing page” per altre.
Quella di seguito è la pagina 404 di Airbnb.
Velocità di caricamento lenta e problemi di performance
Se il sito è lento, Googlebot riesce a scansionare meno pagine nello stesso tempo. In cosa si traduce tutto ciò? Nel fatto che alcune aree del sito potrebbero essere trascurate. Pertanto, per evitare di incappare in una situazione simile, è molto importante affidarsi alle metriche Core Web Vitals e verificare velocità, tempo di caricamento, stabilità visiva della pagina in modo da capire cosa succede al bot di Google quando passa a “trovarti” sul sito.
Anche la qualità dei contenuti influisce sul crawling di Google
Facilitare la scansione non riguarda solo la parte tecnica. Googlebot, durante il crawling, dà priorità a contenuti utili, freschi e pertinenti. Pubblicare pagine di bassa qualità non solo spreca crawl budget, ma riduce anche le possibilità di posizionamento. Quindi, è importante aggiornare costantemente il blog aziendale con nuovi contenuti, ma anche verificare lo stato dei vecchi articoli per vedere se hanno dei 404 all’interno, ma anche delle informazioni non più adatte al momento attuale.
Ma non solo: rivolgiti a copywriter che scrivono in modo chiaro, informativo, puntando su rilevanza e pertinenza con il search intent e, oggi, con quello che gli utenti chiedono alle AI.
Scrivere dei buoni contenuti significa anche privilegiare la user experience, “dando aria” ai testi che devono essere belli e piacevoli da leggere, possibilmente formattati con titoli H2, H3 – come questo articolo – ma anche con grassetti e link al posto giusto, oltre ad avere call to action che performano. Come dire: al crawling di Google piace il… SEO copywriting!
Comunque sia, bisogna ricordare che il motore di ricerca ha sempre un obiettivo tra tutti: fornire il migliore risultato ai propri utenti.
L’importanza dell’ottimizzazione tecnica
Non solo contenuti, ma anche l’ottimizzazione tecnica fa la sua nella gara per raggiungere la “scansionabilità perfetta”. Oltre ai Core Web Vitals, HTTPS, architettura mobile-friendly e un sito veloce sono fattori che aiutano sia gli utenti sia i bot di Google nel processo di crawling.
Da sapere: un sito non ottimizzato per mobile può venire scansionato meno frequentemente, dato che Google privilegia il mobile-first indexing.
Strumenti per audit e monitoraggio della crawlability
Quali strumenti utilizzare per monitorare come sta andando il sito e come viene visto dai crawling di Google?
Eccone alcuni:
- Google Search Console: per monitorare errori di scansione, sitemap e copertura dell’indice;
- Screaming Frog: software di crawling che simula il comportamento di Googlebot.
- SEOZoom, Semrush, Sistrix: suite SEO che forniscono report su scansionabilità e crawling di Google.
Azioni pratiche per aiutare il crawling di Google e migliorare la crawlability del sito
Oltre agli strumenti, ecco alcune azioni che puoi mettere in campo oggi stesso.
Innanzitutto effettua un audit tecnico, che deve essere in realtà svolto periodicamente, per rilevare problemi e sprechi di crawl budget.
Cerca poi di ottimizzare la navigazione interna e ridurre il più possibile le pagine “orfane”. Per capire quali sono, puoi affidarti a un tool come SEOZoom o Semrush e individuarle. Vale lo stesso per link rotti ecc…
Altrettanto importante è mantenere aggiornata e pulita la sitemap XML, così da guidare meglio il crawling di Google.
Dal punto di vista dei contenuti, inizia con l’eliminare o gestire i contenuti datati o duplicati e organizza tutta la produzione con piano e un calendario editoriale, in modo da vedere cosa è già stato scritto e cosa no.
Un suggerimento: se ti trovi a lavorare con copywriter esterni o con persone che occasionalmente scrivono sul sito, cerca di fornire loro un elenco aggiornato con tutti i contenuti finora prodotti. Questo li aiuterà a organizzare meglio la scrittura per inserire i link interni nei contenuti che producono e a evitare di insistere troppo su alcuni concetti.
Per fare un esempio: se il tuo è un blog in cui si parla di selezione del personale e un articolista sta parlando di recruiting con l’AI, al momento di citare la fase dell’onboarding, non avrà bisogno di scrivere troppo per spiegare di cosa si tratta, gli basterà linkare all’articolo dedicato a quell’argomento.
Tutte azioni doverose perché molto spesso, nella SEO, si guarda alle keyword research, ai contenuti, ai nuovi trend, ma ci si dimentica che la crawlability è fondamentale per essere visti da Google.
Trascurare la SEO tecnica è come lamentarsi perché Google non ti nota, quando non gli hai nemmeno dato modo di trovarti.Il crawling è semplice logica: se non rendi la strada accessibile, Google non si prenderà mai la briga di arrivare da te.