robot.txtかrobots.txtか？
robot.txtを置いてインデックスさせないよう記述しているのに、某検索エンジンでキャッシュされていた。
ん？robot.txt？
それともrobots.txtが正しいの？
正解は･･･
http://www.robotstxt.org/
robots.txtが正しいらしい。
RFCでもない紳士協定的なもんだけど、まっとうな検索エンジンのbotには効果的なので間違えないように覚えておきたい。
Diary of a Macsan
音楽・カメラ・WebProgなど雑食系ブログ
Photos
コメントはまだありません。