雑談専用スレッド　★18

512 ：名無しさん：2014/04/21(月) 01:26:19.53 ID:UMiF1UIyh

>>502
それなら繋がらなくなってから公開すればいい
まるで事前に「突然繋げなくする」ことが分かっているかのようだったから心象を悪くした

>>503
クローラ自体は悪じゃない
しかし一般的なクローラはrobots.txtのポリシーに従ってクロールしてる
バーボン送りになっても人間を証明してデータ収集をし続けるクローラはDOS攻撃と大差ない