大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴

テクノロジーカテゴリーの変更を依頼記事元:

www.geek.sc

272 usersがブックマークコメント

コメント

29

記事へのコメント29件

注目コメント
新着コメント

yohichidate これは面白い記事。robots.txtを見るという発想があまり無かったので気にもとめてなかったけど、場合によってはセキュリティホールにもなりうるというのは注目すべきだと思う。

2013/04/11 リンク

kirte robots.txtにも個性あるんだなぁ / みずほのとか見るとDisallow集められたら困るところもありそうな予感

2013/04/10 リンク

hamichamp 面白い。

2013/04/11 リンク

nakakzs なかなかおもしろい視点。たしかにrobot.txtからサイトの個性が読み取れるね。

web

2013/04/10 リンク

deep_one wikipediaのは自動生成ページだからという面もありそうだ。

2013/04/11 リンク

ryoopendaily おもしろい

2013/04/10 リンク

su_zu_ki_1010 普段意識しない部分だけど、覚えておくとよさそうだな。

2013/04/11 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴

robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロー... robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメインの最上位ディレクトリに設置されたrobotst.txtを最初に読み込んで、クロールするべきページとクロールするべきでないページを取得し、それに基づいて巡回します。ただ、一部のクローラーには、このrobots.txtを無視するものもあります。 robots.txtの書き方はおよそ以下の通りです。 User-agent:（ここにbotのユーザーエージェントを記述。ワイルドカード指定も可能） Crawl-Delay:（クロールの時間間隔を指定） Disallow:（クロールされたくないページやディレクトリを指定） Allow:（Disallowで指定されたディレクトリの小階層で

ブックマークしたユーザー

RyotaTakimoto2019/07/16
moegg2019/01/07
mieki2562018/09/15
chlono2018/07/19
tetsu9taro252018/05/08
shirayukiari2017/05/25
bootstraploader2017/02/15
theband2016/05/06
kiyo_hiko2016/02/03
hundaraban2015/11/11
larker2015/06/25
slumber20152015/05/26
jir_o2015/02/19
taka2222015/02/04
n_knuu2014/11/22
ING402014/10/26
itochan2014/10/06
miguse2014/05/06

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx