robots.txt for Blog.Suthima.com
หลังจากที่อ่านบทความของพี่ ๆ บล็อกเกอร์หลายท่าน
ได้เวลาเสียทีกับการเขียนไฟล์ robots.txt เพื่อบอกให้บอทรู้ว่าหน้าไหนควรไม่ควรเข้าไป
นี่เลย ไฟล์ robots.txt ของเรา
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /# digg mirror
User-agent: duggmirror
Disallow: /# Does anyone care I love Google Apache htaccess
Sitemap: http://blog.suthima.com/sitemap.xml
Sitemap: http://blog.suthima.com/sitemap.xml.gz
หรือจะเข้าไปดูไฟล์เองก็ได้นะ อยู่ที่ http://blog.suthima.com/robots.txt
อย่าลืมนะ ถ้าบล็อกเราอยู่ใน sub domain เราก็วาง robots ตัวนี้ไว้ที่ตำแหน่ง sub ของเรา
ดังนั้นถ้าโดเมนของเรามีหลาย sub เราก็สามารถเขียนไฟล์ robots.txt ได้หลายตัว ^^
กว่าจะอัพได้ เราก็สับสนตั้งนานว่าจะเอาไว้ที่ไหนดี เลยไปอ่านบทความของคุณตั้มเห็นเขาวางใน sub เลยไม่สับสนละ
สงสัยจัง ว่าทำไมใน sitemap มันไม่สวยอย่างที่คิด ลิงค์ภาษาไทยยึกยือ ไม่สวยอ่ะ ของคนอื่นเป็นแบบนั้นรึเปล่าหนอ อยากได้แบบของพี่ต๊องซ์จังไม่เห็นมีไฟล์ sitemap แต่มีหน้าเพจที่แสดง sitemap สวยดี แบบสารบัญเลยอ่ะ
หารูปของพี่ต๊องก่อน หา หา หา เจอละ หยิบยืมเป็นตัวอย่างหน่อยนะครับพี่ต๊องซ์

ราจะดูผลว่าทำ robots จะมีประโยชน์จริงหรือเปล่า ทดสอบไงดีหว่า ????
Tags: robots, sub-domain, suthima
Results

















