|
||
| Sitenizin arama motorlarında üst sıralarda çıkmasını ve sitenizin içerisinin daha iyi indexlenmesi için ana dizininize siteniz.com/ robots.txt dosyası oluşturun ve içine şu kodu yazın: Kod: User-agent: * allow: / Bu kod bütün siteyi indexler.Buradaki Kod: User-agent: * parametresi bütün arama örümcekleri sitemi indexlesin demek. Benim sitemi google indexlesin yeter derseniz Kod: User-agent:Googlebot yapmanız gerekmektedir. Arama motorlarında çıkmasın dediğiniz dizin varsa Disallow yapmanızgerekmektedir.Örneğin admin klasörü yada cgi-bin klasörü gibi dizinleriçin iyinet in kodunu inceleyebilirsiniz. http://www.iyinet.com/robots.txt aşağıdaki kodu kullanan google.com içeriğinin başka arama motorları tarafından indexlenmemesi için o şu kodu kullanıyor http://www.google.com/robots.txt Kod: User-agent: * Disallow: /search Disallow: /groups Disallow: /images Disallow: /catalogs Disallow: /catalog_list Disallow: /news Disallow: /pagead/ Disallow: /imgres Disallow: /keyword/ Disallow: /u/ Disallow: /univ/ Disallow: /cobrand Disallow: /custom Disallow: /advanced_group_search Disallow: /advanced_search Disallow: /googlesite Disallow: /preferences Disallow: /setprefs Disallow: /swr Disallow: /url Disallow: /wml Disallow: /hws Disallow: /bsd? Disallow: /linux? Disallow: /mac? Disallow: /microsoft? |
||