wikipediaのは自動生成ページだからという面もありそうだ。

deep_onedeep_one のブックマーク 2013/04/11 15:07

その他

このブックマークにはスターがありません。
最初のスターをつけてみよう!

大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴

    robots.txtとは robots.txtは、検索エンジンのクローラー(bot)に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメイ...

    \ コメントが サクサク読める アプリです /

    • App Storeからダウンロード
    • Google Playで手に入れよう