Seleziona una pagina
  • Rating Lettori
  • Votato 4.9 stelle
    4.9 / 5 (26 )
  • Vota!


Crawl budget è una parola molto utilizzata dagli addetti ai lavori in ambito Seo che sta diventando di uso comune anche nel digital marketing. Questo perché il crawl budget, o budget di scansione, definisce la quantità di risorse che il motore di ricerca è disposto a spendere per la scansione del tuo sito ed è quindi una sorta di indice di gradimento che influenzerà il suo posizionamento

Lo scopo finale di chi ha un sito web è quello di aumentarne la visibilità, per cui cerchiamo di capire come si forma il crawl budget e come funziona per imparare alcune strategie per aumentarlo.

 

crawl budget come si calcola

 

 

Crawl Budget: una definizione

Partiamo dall’inizio: una volta che un sito web viene messo on-line deve essere scansionato dai bot di Google con una certa frequenza per essere indicizzato. I Googlebot infatti, una volta individuate nuove URL, viaggiano sulle pagine del sito simulando una sorta di user experience al fine di dare un voto sulla fruibilità e sull’interesse del sito e lo classificano in base ad alcuni parametri.

Il crawl budget è il budget che reputano spendibile in termini di tempo di scansione in base a questa classifica. Nello specifico è quindi definibile come il numero di pagine di un sito che i Googlebot scansionano in un arco di tempo.

Si tratta di un termine coniato dagli esperti Seo per indicare i sistemi utilizzati dai motori di ricerca al momento di decidere quante e quali pagine del tuo sito web varrà la pena sottoporre a scansione e per quanto tempo. Ed è molto interessante poiché è fondamentalmente l’attenzione che i motori di ricerca daranno al tuo sito per poterlo indicizzare.

 

Perché i motori di ricerca assegnano il crawl budget?

I motori di ricerca assegnano questa sorta di budget, perché non hanno risorse illimitate e scansione, indicizzazione e ranking sono processi che hanno un costo in termini di tempo e memoria. Scansionare in continuazione ogni pagina di ogni sito web sarebbe un enorme spreco di risorse, per questo devono decidere dove indirizzare le proprie forze tra milioni di siti on-line. Per farlo hanno bisogno di una classificazione che sia in grado di dare priorità al loro sforzo di scansione. Assegnare un budget, che è una sorta di punteggio, a ciascun sito web li aiuta a farlo.

 

Perché è importante per il tuo sito?

Il crawl budget è quindi un parametro, o meglio un valore, che i motori di ricerca assegnano al tuo sito per quantificare appunto il budget che i bot di Google mettono a disposizione per scansionare le pagine. Più alto sarà il valore, più alta sarà l’importanza che avrà il tuo sito per il motore di ricerca.
Questo significa che i Googlebot si soffermeranno di più sulle tue pagine, perché considereranno per esempio i contenuti di valorerispondenti all’intenzioni di ricerca dell’utente e riterranno buona la user experience di quelle pagine.

Il crawl budget è in termini tecnici la stima che determina quanto spesso il bot di Google tornerà nel tuo sito al fine di verificare l’esistenza di pagine o nuove informazioni da indicizzare

 

 

 

 

Crawl Budget, com’è composto?

Principalmente i valori da tenere in considerazione per la formazione del crawl budget sono due:

  1. il numero di pagine che Google scansiona ogni giorno
  2. il tempo di scansione di ogni pagina

Numero di pagine scansionate

Si tratta del numero di pagine del tuo sito che gli spider di Googlebot scansionano giornalmente. Per essere buono deve essere alto.
Se il numero delle pagine scansionate è più alto del numero delle pagine esistenti sul sito, il valore sarà addirittura ottimale. Si può dire che il valore sarà molto buono anche quando il numero delle pagine scansionate corrisponderà a quelle effettive

Tempo di scansione

Il tempo di scansione del tuo sito da parte dei Googlebot deve essere basso. Ai fini di ottenere un buon crawl budget consigliamo quindi di lavorare sulla velocità del sito web in modo da aumentarla.
Questo influirà sul numero di kb che il motore di ricerca andrà a scaricare dalle nostre pagine.

 

 

Come usare Google Search console

Per conoscere il crawl budget del tuo sito utilizza le statistiche di scansione di Google Search Console. Aprire un account è facile. Attraverso questo strumento di Google puoi consultare le statistiche di scansione degli ultimi 90 giorni e verificare quanto tempo il motore di ricerca dedica al tuo sito.

Per monitorare l’attività del bot seleziona prima “statistiche” e poi “statistiche di scansione”, poi verifica:

  • Pagine sottoposte a scansione giornalmente
  • Kilobyte scaricati giornalmente
  • Tempo trascorso per il download di una pagina (in millisecondi)

In questo modo è possibile capire quanti file, pagine e immagini vengono scaricate e scansionate ogni giorno dal motore di ricerca. Se hai un numero di scansioni superiore a quello delle pagine, come già accennato, significa che Google ti tiene in grande considerazione

Ma come possiamo utilizzare questi dati concretamente per capire se il nostro crawl budget è buono?

 

crawl budget come ottimizzarlo

 

Come si calcola la percentuale di scansione?

Il crawl budget offre informazioni su quante volte viene scansionato il nostro sito durante un giorno. Ma per capire se per il nostro sito è buona bisogna calcolare la percentuale di scansione con una semplice operazione.

Dividi il numero medio di pagine sottoposte a scansione in un giorno per il numero di pagine del sito e moltiplicando per 100.  In questo modo otteniamo la percentuale di contenuti che Google visita ogni giorno.

Per esempio se avessimo un sito di 1500 pagine, con una statistica di scansione media giornaliera di 375 pagine, la percentuale di scansione sarebbe:

(375/1500) x 100 = 25%

In questo caso significa che Google scansiona giornalmente un quarto delle pagine del nostro sito e si presuppone che in una settimana o poco più tutte le pagine riceveranno un passaggio del crawler. In questo caso la percentuale di scansione è buona.

Al contrario se la scansione media giornaliera si limitasse a 30 pagine, avremmo  una percentuale molto più bassa: (30/1500) x 100 = 2%.
In questo caso è necessario individuare se c’è un problema e vedere come risolverlo.

 

Cosa influenza il crawl budget?

 

Quali sono i paramenti che influenzano il crawl budget e quindi l’interesse e il soggiorno dei Googlebot sul nostro sito?

Ecco a quali prestare attenzione:

  • Link in ingresso: più link in ingresso al tuo sito, soprattutto se autorevoli, daranno un segnale di rilevanza al tuo sito per Google invitandolo a passare con più frequenza.
  • Autorevolezza del sito: se i contenuti sono importanti e richiesti dagli utenti, Google lo noterà e ti terrà d’occhio. Farà il contrario nel caso di contenuti poco ricercati e di scarsa qualità
  • Errori nel sito: a volte chi realizza o gestisce il sito tralascia errori che possono inibire Google, perché forniscono una cattiva comunicazione. E’ il caso dei noindex, o dell’errore 404 per i quali è necessaria una pulizia costante.

    crawl budget importante per la seo

 

 

Perché è importante per la SEO?

Controllare il tuo crawl budget è importante per posizionare il tuo sito, e quindi deve essere tenuto in considerazioni ai fini della Seo come fattore di ranking indiretto.

Se il crawl budget è alto vuol dire infatti che:

  • quando eseguirai modifiche alle tue pagine, verranno visualizzate più in fretta e indicizzate in tempi brevi
  • le pagine più recenti avranno maggior possibilità di posizionarsi bene nei risultati di ricerca. Al contrario le pagine che non ricevono scansioni da molto tempo tenderanno a perdere posizioni

Quindi è indispensabile tenere d’occhio il crawl budget soprattutto se il sito ha numerose pagine e la pubblicazione di contenuto è costante e giornaliera, come può capitare nel caso di testate giornalistche o di portali di informazione
In questo caso il bot deve passare in tempi brevi e scansionare senza intoppi le pagine per farle comparire subito nei risultati di ricerca.

 

 

 

 

Come migliorare il crawl budget?

Sono sia gli aspetti contenutistici che tecnici ad influenzare il crawl budget del tuo sito, senza dimenticare l‘importanza che hanno i link in ingresso per aumentare l’attività di crawling. Indubbiamente si dovrà lavorare molto su tutti gli aspetti e controllare periodicamente quale reazione ci sarà da parte di Google.

Vediamo quali attività sono consigliate.

crawl budget sitemap

 

Pubblica contenuti rilevanti

Scrivi e pubblica testi originali e interessanti. So che non sempre è facile, che alcune pagine del tuo sito sono istituzionali e che le news che pubblichi non sono sempre tra le più interessanti e magari replicano il tono di tante altre. Il classico esempio di un testo poco efficace in rete è la pagina “Chi Siamo”, tanto più se è autocelebrativa e non dice nulla di interessante al tuo pubblico. In questo caso, se proprio non la vuoi modificare, ti consigliamo di evitare di mettere il link dal menu e di bloccarla su robots.txt, scegliendo la funzione no index. In questo modo l’attività di crawling si concentrerà sulle pagine davvero importanti.

Se vuoi invece puntare su testi funzionali all’obiettivo di farti trovare e di fidelizzare utenti e non hai tempo, ti consigliamo di rivolgerti a chi lo fa di professione ed è esperto di content marketing. I testi formulati in questa maniera saranno sicuramente più interessanti per i bot.

 

Link interni

Si parla poco dei link interni al sito e invece sono una grande risorsa, soprattutto se costituiscono un percorso guidato verso quelli che noi sappiamo essere i contenuti più importanti, quindi linkali e usali.
Sono importanti anche le voci che inserisci nel menu, poiché costituiscono una delle vie che lo spider seguirà. Se vuoi dare quindi risalto alla pagina prodotti, inserisci nel menu sia i prodotti che le loro sottocategorie.

 

Qualità e frequenza

I siti in cui si pubblicano testi con maggior frequenza sono preferiti da Google, quindi fai un piano editoriale che preveda la pubblicazione costante di contenuti, senza però fare l’errore di pubblicare contenuti scadenti o duplicati. Questo sarebbe un errore che pagheresti sin da subito, perché i contenuti non rilevanti vengono scansati.
Piuttosto ti consigliamo di attendere che i contenuti siano affinati, oppure di aggiornare i contenuti vecchi, perché anche questa ultima pratica è molto apprezzata.

 

Ottimizzazione

Per evitare che il bot entri in percorsi fuorvianti o addirittura dannosi, ti consigliamo di sviarlo dalle pagine poco interessanti o errate e di escludere le pagine con contenuti duplicati, errori 404, spam o pagine hackerate. Immagina di dover pulire la strada su cui viaggia lo spider e di indirizzarlo su una via senza intoppi. Anche in questo caso puoi utilizzare il file robots.txt scegliendo le pagine che Google non dovrà seguire.

 

Gestione della sitemap

Inserisci nella mappa del sito solo ed esclusivamente i contenuti che devono essere indicizzati, evitando percorsi inutili o lunghi. Questa operazione è importante proprio perché Google utilizza la site map per essere guidato all’interno del sito e hai la possibilità di dirigerlo verso i contenuti più interessanti e nuovi. Evitagli pagine poco interessanti, o reindirizzate o bloccate.
Non sottovalutare questo passaggio, la quantità se è inutile appesantisce ed è dannosa.

 

crawl budget sitemap

 

Parametri URL

Accade soprattutto negli e-commerce che la possibilità di ordinare la lista prodotti sul nostro shop on-line, e di gestire le varianti di pagina tramite parametri, per esempio in “prezzo decrescente” o in “data più recente” o in “nome crescente”, faccia incappare i bot in contenuti duplicati e che vengano scansionate le stesse pagine più volte. Per questo esiste uno strumento su Search Console che permette di indicare al bot come gestire tali parametri URL, evitando un inutile speco di risorse.

 

Broken link

La pulizia dei link rotti è indispensabile. Consiste nell’eliminare dal nostro sito tutti quei link a cui le nostre pagine rimandano anche se non esistono più.
Questo avviene quando per esempio rinominiamo alcune pagine o cambiamo delle directory. Importante farlo perché altrimenti i bot continueranno ad entrare in queste pagine incontrando errori 404, con un ulteriore spreco di tempo.

 

Link in entrata

Lo abbiamo tenuto per ultimo, ma come abbiamo detto, rimane uno dei fattori più rilevanti per renderci appetibili a Google. Questi link ti aiuteranno ad acquisire credibilità sulla rete e questo porterà un aumento indiretto di crawl budget. 

Per poterli ottenere suggeriamo un lavoro fatto sul campo con contenuti di qualità, implementazione delle relazioni e costruzione di un network nella tua nicchia. Puoi creare contatti anche al di fuori del tuo campo specifico, trovando punti di contatto con altri settori che siano inerenti in qualche modo al tuo.
Se lavorerai in questo modo è probabile che gli utenti e i webmaster avranno buone ragioni per linkarti.

 

crawl budget sheet

 

Crawl budget senza Google Search Console

Abbiamo parlato di Google Search Console come strumento utile per controllare il crawl budget del tuo sito, ma nel caso in cui volessimo scoprire se un sito terzo sta piacendo o meno ad un motore di ricerca, cosa dobbiamo fare?

In questo caso è possibile utilizzare la Zoom Authority di SEOZoom che ci darà una stima di quanto è rilevante un sito per Google.

 

Se hai trovato questo articolo interessante e vuoi diventare un vero esperto Seo, ti consigliamo di frequentare il corso Seo Advanced. Potrai seguirlo on demand come e quando vuoi e avrai l’opportunità di approfondire le tecniche più avanzate dell’ambito Seo, per avere risultati garantiti.

 

ARTICOLI CORRELATI

Link sculpting

Featured Snippet

meme marketing copertina

 

Carmen Santi on FacebookCarmen Santi on LinkedinCarmen Santi on Twitter
Carmen Santi
Giornalista, lavoro nell'ambito della comunicazione aziendale e istituzionale e ho svolto recentemente un'esperienza come responsabile commerciale di una PMI. Sono appassionata di content e digital marketing e ho deciso di trasformare questa mia passione in una professione, studiando Content Marketing presso Digital Coach.