サクサク読めて、アプリ限定の機能も多数！
SNSや銀行のサイトに設置されているrobots.txtを並べて見ている。負荷に弱い箇所も羅列するので『ある意味でセキュリティホールを自ら晒すことでもあります』というのは、なるほど。
ginpei のブックマーク 2013/12/30 15:34
このブックマークにはスターがありません。 最初のスターをつけてみよう！
www.geek.sc2013/04/10
robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメイ...
272 人がブックマーク・29 件のコメント
＼ コメントが サクサク読める アプリです ／
SNSや銀行のサイトに設置されているrobots.txtを並べて見ている。負荷に弱い箇所も羅列するので『ある意味でセキュリティホールを自ら晒すことでもあります』というのは、なるほど。
このブックマークにはスターがありません。
最初のスターをつけてみよう！