Robots.txt arba pirmoji mano pamokele apie butina SEO optimizavima

Jei esate patyres programuotojas tuomet galite praleisti si straipsni arba prideti savo minciu ir taip maziau patyrusiems suteikti daugiau ziniu. Kas yra robots.txt? tai failas kuri galite sukurti su bet kokiu teksto redagavimo irankiu svarbu kad pavadinimas butu butent robots.txt . sis failas indikuoja ir nurodo paieskos sistemoms kokius failus indexuoti ir kokius ne. tai yra butina jei norite isvengti kad nereikalinga informacija atsirastu pieskos sistemose ir tai gadintu jusu Seo optimizavima ir mazintu reitinga jusu puslapio.Nuo ko pradeti ?

Pateiksiu labai paprasta pradini taska:

User-agent: *

Disallow: /cgi-bin/

Disallow:/kazkas ko nenorite

Disallow:/ dar kazkas ko nenorite ir t.t

pateiktas pavyzdys virsuje sako jog jus draudziate arba nenorite kad paieskos "voras" atejes is google yahoo bing ar kitur jusu failuose narsytu cgi-bin folderi. si sarasa galite testi iki begalybes tarkime noredami paziureti ko delfi .lt nenori kad paieskos sistemos aptiktu ju puslapyje eikite i delfi .lt/robots.txt ir pamatysite.

svarbu tai kad robots.txt turi buti jusu root serveri tai yra failai einantys iskart po domaino pvz google.lt/robots.txt arba uzdarbis .lt/robots.txt ir t.t

Tai tiek siam kartui :)

Dar apie sitemaps galėjai dadėt, jis lyg ir irgi robots.txt faile nurodomas

Dar apie sitemaps galėjai dadėt, jis lyg ir irgi robots.txt faile nurodomas

Tai, tiesiog ji gali irasyt

sitemap domenas.lt/sitemap.xml 

Dar apie sitemaps galėjai dadėt, jis lyg ir irgi robots.txt faile nurodomas

sitemap.xml failas yra atskiras dalykas , bet teisingai pastebeta ji taip pat galima irasyti i robots.tx. sitemap.xml galima susigeneruoti paciam svetaineje www .xml-sitemaps. com/ . kaip integruoti sitemap?

Sitemap: http://www.jusuvardas.lt/sitemap.xml

User-Agent: *

Disallow: /bla bla bla

Disallow: /

Disallow: /

sitemap.xml yra jusu svetaines strukturoje esantys linkai sudarydami savo svetaines sitemapa jus padedate paieskos sistemoms greiciau indeksuoti jusu puslapius

sitemap tiesiog galite ikelti savo google website tools paskyroje

na cia kaip ir atskira tema apie ja galima placiau kalbeti bet trumpai ir aiskiai:)

Prie sitemap temos: ką naudot, kad sugeneruotų sitemap, jei yra daugiau negu 500 psl.?

Ar tai reikalinga kiekvienam tinklapiui? Ar jei yra sitemapas to užtenka?

Taip pat įdomu, kaip sužinoti ar svetainėje yra sitemap, robots.txt?

Prie sitemap temos: ką naudot, kad sugeneruotų sitemap, jei yra daugiau negu 500 psl.?

jei yra daugiau nei 500psl tuomet galima skaidyti ir daryti atskirus sitemapsus kuriuos veliau sujungti i viena pagrindini pvz:

alfa. lt /sitemap.xml turi viena sitemap taciau i ji itraukia kitus :

http://www.alfa.lt/naujienos_sitemap.xml 2010-06-16 http://www.alfa.lt/lietuvoje_sitemap.xml 2010-06-16 http://www.alfa.lt/verslas_sitemap.xml 2010-06-16 http://www.alfa.lt/pasaulyje_sitemap.xml 2010-06-16 http://www.alfa.lt/kriminalai_sitemap.xml 2010-06-16 http://www.alfa.lt/sportas_sitemap.xml 2010-06-16 http://www.alfa.lt/technologijos_sitemap.xml 2010-06-16 http://www.alfa.lt/gyvenimas_sitemap.xml 2010-12-13 it taip toliau

Ar tai reikalinga kiekvienam tinklapiui? Ar jei yra sitemapas to užtenka?

Taip pat įdomu, kaip sužinoti ar svetainėje yra sitemap, robots.txt?

na apie robots.txt tai jis reikalingas jei tikrai puslapyje yra daug info kurios jusu nuomone nereikia kad butu indeksuojama. geram seo tai tikrai labai rekomenduojama nes tarkim tikrai neverta googlui ieskoti jusu skripte nes ten nieko nera, o pieskos sitemoms laikas kainuoja ir tai atsizvelgiama jusu reitingavime ir kaip daznai google crowlins jusu puslapi. sitemap i svetaine galite ikelti tik jus ir niekas kitas. taigi jei nesukurete sitemap jo ir nebus. o suzinoti galima labai paprastai i iveskite www.betkoksadresas.lt ar com ar dar kas ir /sitemap.xml arba /robots.txt

Ar tai reikalinga kiekvienam tinklapiui? Ar jei yra sitemapas to užtenka?

Taip pat įdomu, kaip sužinoti ar svetainėje yra sitemap, robots.txt?

vedi url:

domenas.**/sitemap.xml

domenas.**/sitemap.xml.gz

domenas.**/robots.txt

Prie sitemap temos: ką naudot, kad sugeneruotų sitemap, jei yra daugiau negu 500 psl.?

jei yra daugiau nei 500psl tuomet galima skaidyti ir daryti atskirus sitemapsus kuriuos veliau sujungti i viena pagrindini pvz:alfa. lt /sitemap.xml turi viena sitemap taciau i ji itraukia kitus :http://www.alfa.lt/naujienos_sitemap.xml 2010-06-16 http://www.alfa.lt/lietuvoje_sitemap.xml 2010-06-16 http://www.alfa.lt/verslas_sitemap.xml 2010-06-16 http://www.alfa.lt/pasaulyje_sitemap.xml 2010-06-16 http://www.alfa.lt/kriminalai_sitemap.xml 2010-06-16 http://www.alfa.lt/sportas_sitemap.xml 2010-06-16 http://www.alfa.lt/technologijos_sitemap.xml 2010-06-16 http://www.alfa.lt/gyvenimas_sitemap.xml 2010-12-13 it taip toliauna apie robots.txt tai jis reikalingas jei tikrai puslapyje yra daug info kurios jusu nuomone nereikia kad butu indeksuojama. geram seo tai tikrai labai rekomenduojama nes tarkim tikrai neverta googlui ieskoti jusu skripte nes ten nieko nera, o pieskos sitemoms laikas kainuoja ir tai atsizvelgiama jusu reitingavime ir kaip daznai google crowlins jusu puslapi. sitemap i svetaine galite ikelti tik jus ir niekas kitas. taigi jei nesukurete sitemap jo ir nebus. o suzinoti galima labai paprastai i iveskite www.betkoksadresas.lt ar com ar dar kas ir /sitemap.xml arba /robots.txt

Max url'ų 50000 sitemape gali būti.

Internete yra svetainių, kurios generuoja. Vienos mokamai, kitos ne. Jei nerandat, ar randat su limitais, galit sau nedidelį crawlerį pasirašyti, kuris išrinks linkus jūsų svetainėj :)

Čia delfio robots.txt, ką reiškia

šita vieta? Disallow: /~

User-agent: *

Disallow: /~

Disallow: /comments/

Disallow: /includes/

Disallow: /poll/

Disallow: /scripts/

Disallow: /search/

Disallow: /cgi-bin/

Disallow: /servlet/

Disallow: /archive/

Disallow: /note.php

ačiū

Čia delfio robots.txt, ką reiškia

 

 

šita vieta? Disallow: /~

 

 

 

ačiū

Na tai žinoma, kad neleisti indeksuoti to, kas po /~ path'u. Senesni web hostai turėdavo url kazkas.com/~username/, bet nemanau, kad delfi web hostingu kada užsiiminėjo. Nors gal... :)

Na tai žinoma, kad neleisti indeksuoti to, kas po /~ path'u. Senesni web hostai turėdavo url kazkas.com/~username/, bet nemanau, kad delfi web hostingu kada užsiiminėjo. Nors gal... :)

Čia gali būti el. paštas delfio

 

na apie robots.txt tai jis reikalingas jei tikrai puslapyje yra daug info kurios jusu nuomone nereikia kad butu indeksuojama. geram seo tai tikrai labai rekomenduojama

Tai jis tik reikalingas, bet ne butinas?

Pavyzdiui as pakuriaiu saita ir webmaster tools rodo error, kad googlebotas negalejo crawlinti puslapio, nes nerado robots.txt

Is to darau isvada, kad jsi yra butinas betkada (o ne tik "jei puslapyje yra daug info, kurios..."), nes kitaip google bot necrawlins puslapio.

Kas kitaip manot?

Tai jis tik reikalingas, bet ne butinas?

Pavyzdiui as pakuriaiu saita ir webmaster tools rodo error, kad googlebotas negalejo crawlinti puslapio, nes nerado robots.txt

 

Is to darau isvada, kad jsi yra butinas betkada (o ne tik "jei puslapyje yra daug info, kurios..."), nes kitaip google bot necrawlins puslapio.

 

Kas kitaip manot?

Gali Googlas crawlint ir be robots.txt. Baisiau, jei būna robots, o jame uždrausta visai :)

Gali Googlas crawlint ir be robots.txt. Baisiau, jei būna robots, o jame uždrausta visai :)

Over the last 24 hours, Googlebot encountered 4 errors while attempting to access your robots.txt. To ensure that we didn't crawl any pages listed in that file, we postponed our crawl. Your site's overall robots.txt error rate is 100.0%.

Nesu tikras kaip tiksliai interpretuot (ne versti) paryskinta teksta.

Cia pas mane nera to robots.txt isvis

Over the last 24 hours, Googlebot encountered 4 errors while attempting to access your robots.txt. To ensure that we didn't crawl any pages listed in that file, we postponed our crawl. Your site's overall robots.txt error rate is 100.0%.

 

Nesu tikras kaip tiksliai interpretuot (ne versti) paryskinta teksta.

 

Cia pas mane nera to robots.txt isvis

Hm, na sako, kadangi nenorim nieko sucrawlint, kas jame galėtų būt parašyta, atidėjom tą reikalą. Bet tada gal tavo robots.txt grąžina kažką visiškai ne to, ne 404, o kitokį statusą? Arba pasidaryk tuščią robots.txt – toks neturėtų pakenkti.