気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
robots.txt とは？ - とほほのWWW入門
106 users
www.tohoho-web.com
www.tohoho-web.com
www.tohoho-web.com
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
robots.txt とは、goo、Google、Lycos などのロボット型検索エンジンに対する命令を記述するためのファ... robots.txt とは、goo、Google、Lycos などのロボット型検索エンジンに対する命令を記述するためのファイルです。自分のページが、検索エンジンのデータベースに登録されないように指示します。 ただ、この指定は強制的なものではなく、この指定を行っても検索してしまう検索エンジンはあるかもしれません。goo、Google、Lycos は大丈夫のようです。 robots.txt ファイルは、そのサイトのトップに置かなくてはなりません。 ○ http://www.xxx.zzz/robots.txt × http://www.xxx.zzz/~tohoho/robots.txt robots.txt の中には次のように記述します。これは、すべて（*）のロボットに対して、/ ではじまるファイル（つまりはすべてのファイル）を検索データベースに登録することを禁止するものです。 User-a
www.tohoho-web.com
www.tohoho-web.com
www.tohoho-web.com
www.tohoho-web.com
president.jp
togetter.com
qiita.com
note.com/aki0309
zenn.dev/p0n
note.com/hirokivv
hatenanews.com
courrier.jp
zenn.dev/falcon_tech
www.cs.cmu.edu/~pavlo
www.do-core.com
www.rakuten.co.jp
www.sankei.co.jp
2013/02/21 リンク