Su24Bot e robots.txt

Il nostro crawler si chiama Su24Bot. Legge i siti approvati a piccoli lotti, per non appesantire il tuo server, e rispetta il file robots.txt.

• Per escludere una cartella: User-agent: Su24Bot e Disallow: /privato/.
• Per non far comparire una pagina: usa il meta tag robots con noindex oppure l'intestazione X-Robots-Tag: noindex.
• I collegamenti con rel="nofollow" non vengono seguiti.
• Se due pagine hanno lo stesso contenuto, ne teniamo una: indica quella giusta con il tag canonical.