In seguito alla registrazione di pagine web su Google, molti webmaster hanno la necessità di spingere il motore di ricerca a tornare frequentemente sul sito per individuare eventuali variazioni nei contenuti.

Con la finalità di aggiornare con maggiore frequenza i contenuti del proprio archivio di siti web, Google ha dunque attivato un nuovo "spider" (soprannominato "Freshbot"), il cui compito è quello di visitare giornalmente le pagine web dei siti considerati più "rilevanti".

Per decidere se una pagina sia o meno rilevante, Google adotta alcuni criteri, che si basano principalmente sul valore di PageRank (PR) delle pagine e sulla loro frequenza di aggiornamento.

In linea di massima, lo spider giornaliero di Google visita e attribuisce un'importanza maggiore

• le pagine i cui contenuti cambiano spesso (diverse volte al mese o più frequentemente)
• le pagine "nuove", ovvero create da pochi giorni
• le pagine con un valore di PR medio/alto (da 5 in su)
• le pagine direttamente linkate dalle pagine descritte nei tre punti precedenti

In conclusione, aggiungere spesso nuove pagine ad un sito e aggiornare frequentemente i contenuti testuali delle pagine già esistenti è un buon modo per "invitare" lo spider a visitare più spesso il sito web.

Inoltre, le pagine nuove e quelle i cui cambiamenti risultano corposi ricevono una "spinta in più" nei risultati delle ricerche, apparendo in posizioni più alte.