2ch.sc観察スレ

623 ：名無しさん：2014/12/04(木) 22:53:56.71

c.2ch.scを検索サイトのクローラにさらってもらいたいかどうか、そこはどうなんでしょ
Yahoo! Slurpなんかはrobots.txt読んでるようだし、各サーバで望むとこだけ許可にしてみても
いいんじゃないすかね

言うこと聞いてくれないクローラやそもそもrobots.txtを見ないのもあるけど
そしてMJ12botがrobots.txtを読んでるのにいま気づいた