Google robots.txt

Sveiki. Kaip robots.txt failiuke nurodyt, kad googlas neindeksuotu kai kuriu puslapiu?

User-agent: *

Disallow: /katalogo_pavadinimas/

User-agent: *

Disallow: /katalogo_pavadinimas/

Dekui. O tuos kuriuos turi indeksuot nurodyt reikia?

Taip pat sitemape reikia ta robots.txt nurodyt?

Labas,

Sitemap'e robots.txt nurodyti nereikia. Bet gali nurodyti sitemap'ą robots.txt, tiesiog jame parašyk:

Sitemap: http://url/iki/sitemap.xml

Jeigu svetainė turi kelis sitemapus arba sitemap indexus gali ir keletą nurodyt:

Sitemap: http://url/iki/sitemap1.xml

Sitemap: http://url/iki/sitemap2.xml

Puslapius, kuriuos nori kad indeksuotų gali nurodyti su Allow, tipo taip:

Allow: /katalogas/

Šiaip tiek Allow, tiek Disallow gali naudot su *, kas atitinka bet ką, pvz:

Disallow: /*pictureID=

Šitas uždraus indeksuot visus url, kur yra nurodytas "pictureID=".

Kad būtų aiškiau kaip pavyzdį gali pasižiūrėt kad ir delfio robots.txt: http://www.delfi.lt/robots.txt

Ir dar patarčiau užsiregistruot Google WMT, neseniai jie atnaujino robots.txt skiltį, kurioje parodo visas klaidas, statistiką kas liečia robots.txt: http://www.google.com/webmasters/

Nu tai tiek. Sėkmės! :)