robots.txt for Blog.Suthima.com

หลังจากที่อ่านบทความของพี่ ๆ บล็อกเกอร์หลายท่าน
ได้เวลาเสียทีกับการเขียนไฟล์ robots.txt เพื่อบอกให้บอทรู้ว่าหน้าไหนควรไม่ควรเข้าไป
นี่เลย ไฟล์ robots.txt ของเรา

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

# Does anyone care I love Google Apache htaccess

Sitemap: http://blog.suthima.com/sitemap.xml
Sitemap: http://blog.suthima.com/sitemap.xml.gz

หรือจะเข้าไปดูไฟล์เองก็ได้นะ อยู่ที่  http://blog.suthima.com/robots.txt

อย่าลืมนะ ถ้าบล็อกเราอยู่ใน sub domain เราก็วาง robots ตัวนี้ไว้ที่ตำแหน่ง sub ของเรา

ดังนั้นถ้าโดเมนของเรามีหลาย sub เราก็สามารถเขียนไฟล์ robots.txt ได้หลายตัว ^^
กว่าจะอัพได้ เราก็สับสนตั้งนานว่าจะเอาไว้ที่ไหนดี เลยไปอ่านบทความของคุณตั้มเห็นเขาวางใน sub เลยไม่สับสนละ

สงสัยจัง ว่าทำไมใน sitemap มันไม่สวยอย่างที่คิด ลิงค์ภาษาไทยยึกยือ ไม่สวยอ่ะ ของคนอื่นเป็นแบบนั้นรึเปล่าหนอ อยากได้แบบของพี่ต๊องซ์จังไม่เห็นมีไฟล์ sitemap แต่มีหน้าเพจที่แสดง sitemap สวยดี แบบสารบัญเลยอ่ะ

หารูปของพี่ต๊องก่อน หา หา หา เจอละ หยิบยืมเป็นตัวอย่างหน่อยนะครับพี่ต๊องซ์

ตัวอย่าง sitemap Sep. 20 00.38

ราจะดูผลว่าทำ robots จะมีประโยชน์จริงหรือเปล่า ทดสอบไงดีหว่า ????

Tags: , ,

บทความที่เกี่ยวข้อง

Tags: , ,

MaDigg  MonoJung  VoteJung  SiamSocialBookmark  SiamDigg  Digg in Thai  Voyage  FollowADD  ThaiSB  ThaiZad  Techkr  DiggSa  DoogDigg  DukeDig  NungLub  KraDigg  
GoodDigg  socialbookmark in Thai  

Leave a Reply