The Web Robots Pages
Web Robots (also known as Web Wanderers, Crawlers, or Spiders), are programs that traverse the Web automatically. Search engines such as Google use them to index the web content, spammers use them to scan for email addresses, and they have many other uses. On this site you can learn more about web robots. About /robots.txt explains what /robots.txt is, and how to use it. The FAQ answers many frequ
robots.txtã¨ã¯ï¼Ÿè¨ç½®ã™ã‚‹ç†ç”±ãƒ»SEO効果・書ã方を解説
robots.txtã¨ã¯ã€Googleãªã©ã®æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã®ã‚¯ãƒãƒ¼ãƒ©ãƒ¼ã«å¯¾ã—ã¦ã€ã€Œã©ã®URLã«ã‚¢ã‚¯ã‚»ã‚¹ã—ã¦ã„ã„ã‹ã€ã‚’ä¼ãˆã‚‹ã‚‚ã®ã§ã‚る。 ã“れを使ãˆã°ã€ç‰¹å®šã®ãƒšãƒ¼ã‚¸ã‚„フォルダã®ã‚¯ãƒãƒ¼ãƒ«ã‚’æ‹’å¦ã§ãる（クãƒãƒ¼ãƒ«ã•ã›ãªã„）ã“ã¨ãŒã§ãる。クãƒãƒ¼ãƒ©ãƒ¼ã®å‹•ãを最é©åŒ–ã™ã‚‹ã“ã¨ã§ã€SEOã®è¦³ç‚¹ã‹ã‚‰ã‚‚良ã„影響を得られるå¯èƒ½æ€§ãŒã‚る。
ãƒãƒœãƒƒãƒˆæŽ’除プãƒãƒˆã‚³ãƒ«ï¼ˆREP）ã¨ã¯ï¼Ÿâ€•â€•ãƒ¡ã‚¿ã‚¿ã‚°ã‚„robots.txtã®åŸºç¤Ž | Web担当者Forum
HTTPヘッダーã¨ã¯ã€ã‚¦ã‚§ãƒ–サーãƒãƒ¼ãŒã‚¦ã‚§ãƒ–ブラウザãªã©ã®ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆã«å¯¾ã—ã¦ãƒ‡ãƒ¼ã‚¿ã‚’é€ã‚‹å‰ã«é€ä¿¡ã™ã‚‹æƒ…å ±ã®ã“ã¨ã§ã€é€šå¸¸ã¯ãƒ–ラウザã«ã¯è¡¨ç¤ºã•ã‚Œãªã„。 多ãã®å ´åˆã€HTTPレスãƒãƒ³ã‚¹ã‚³ãƒ¼ãƒ‰ã€ã‚³ãƒ³ãƒ†ãƒ³ãƒ„ã®ç¨®é¡žï¼ˆHTMLãªã®ã‹PDFãªã®ã‹ãªã©ï¼‰ã€ã‚³ãƒ³ãƒ†ãƒ³ãƒ„ã®ã‚µã‚¤ã‚ºã€æœ€çµ‚更新日付ãªã©ã®æƒ…å ±ãŒå«ã¾ã‚Œã¦ã„る。 HTTPヘッダーã®å†…容ã¯åŸºæœ¬çš„ã«HTMLページã®è¨˜è¿°ãªã©ã§ã¯å¤‰æ›´ã§ããšã€ã‚µãƒ¼ãƒãƒ¼ã®è¨å®šã‚„出力プãƒã‚°ãƒ©ãƒ ã®è¨å®šã«ã‚ˆã£ã¦å¤‰æ›´ã§ãる。ãŸã ã—ã€HTMLページ内ã®ã€Œmeta http-equivã€ã®ã‚¿ã‚°ã«ã‚ˆã£ã¦ã€HTTPヘッダーã§æŒ‡å®šã™ã‚‹æƒ…å ±ã‚’è¨˜è¿°ã§ãã€ã»ã¨ã‚“ã©ã®ã‚¦ã‚§ãƒ–ブラウザãŒmeta http-equivã®æƒ…å ±ã‚’è§£é‡ˆã™ã‚‹ã€‚ ãã—ã¦2005å¹´ã«ç™»å ´ã—ãŸã‚µã‚¤ãƒˆãƒžãƒƒãƒ—プãƒãƒˆã‚³ãƒ«ã§ã¯ã€ï¼ˆXML）サイトマップを通ã˜ã¦å¤§é‡ã®ã‚³ãƒ³ãƒ†ãƒ³ãƒ„を検索エンジンã«ç™»éŒ²ã™ã‚‹æ‰‹ç¶šããŒå®šç¾©ã•ã‚Œã¦ã„る。 ã¾ãŸ2005å¹´ã«ã¯ã€Œrel=
ãƒãƒœãƒƒãƒˆã®ã‚¢ã‚¯ã‚»ã‚¹ã‚„インデックスを制御ã™ã‚‹ãƒ†ã‚¯ãƒ‹ãƒƒã‚¯ï¼š 基本ã®ãŠã•ã‚‰ã„（å‰ç·¨ï¼‰ | Moz - SEOã¨ã‚¤ãƒ³ãƒã‚¦ãƒ³ãƒ‰ãƒžãƒ¼ã‚±ãƒ†ã‚£ãƒ³ã‚°ã®å®Ÿè·µæƒ…å ±
ã“ã®è¨˜äº‹ã®å†…容ã¯ã™ã¹ã¦ç†è€…自身ã®è¦‹è§£ã§ã‚り（ã‚ã‚Šãã†ã‚‚ãªã„ã“ã¨ã ãŒã€ç†è€…ãŒå‚¬çœ 状態ã«ã‚ã‚‹å ´åˆã‚’除ã）ã€SEOmozã®è¦‹è§£ã‚’åæ˜ ã—ã¦ã„ã‚‹ã¨ã¯é™ã‚‰ãªã„。 ã™ã§ã«ã”å˜çŸ¥ã ã¨æ€ã†ãŒã€æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã®ã‚¹ãƒ‘イダーã¯ã€ã‚¦ã‚§ãƒ–サイトを訪れã¦ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹åŒ–ã™ã‚‹éš›ã€å¸¸ã«åŠ¹æžœçš„ãªåƒãã‚’ã—ã¦ãれるã‚ã‘ã§ã¯ãªã„。å„検索エンジンã®ãƒãƒœãƒƒãƒˆã«ä»»ã›ã¦ãŠãã¨ã€è¤‡è£½ã‚³ãƒ³ãƒ†ãƒ³ãƒ„å•é¡Œã‚’生ã¿å‡ºã™ã€é‡è¦ãªãƒšãƒ¼ã‚¸ã‚’ジャンクページã¨è¦‹ãªã™ã€ãƒ¦ãƒ¼ã‚¶ãƒ¼ãŒæœ€åˆã«è¦‹ã‚‹ã¹ãã§ã¯ãªã„コンテンツをインデックスã™ã‚‹ãªã©ã€ã•ã¾ã–ã¾ãªå•é¡ŒãŒç”Ÿã˜ã‚‹å¯èƒ½æ€§ãŒã‚る。 ãŸã ã—ã€ç§ãŸã¡ãŒè‡ªç”±ã«ä½¿ãˆã¦ã€ã‚¦ã‚§ãƒ–サイト上ã§ã®ãƒãƒœãƒƒãƒˆã®æ´»å‹•ã‚’ã§ãã‚‹ã ã‘効果的ãªã‚‚ã®ã«ã™ã‚‹é“å…·ç«‹ã¦ã¯ãŸãã•ã‚“ã‚る。ãŸã¨ãˆã°ã€æ¬¡ã®ã‚ˆã†ãªã‚‚ã®ã 。 meta robotsã‚¿ã‚°URLæ£è¦åŒ–タグ（rel="canonical"）X-Robots-Tagrobots.txt ãれをè¸ã¾ãˆã¦ã€ã“ã®è¨˜äº‹ã§ã¯ã€ãƒãƒœ
WordPressã§ä½œã£ãŸã‚µã‚¤ãƒˆã‚’最é©åŒ–ã™ã‚‹ãŸã‚ã®robots.txt
WordPressã§æ§‹ç¯‰ã—ã¦ã„る当サイトã®robots.txtを見直ãã†ã¨æ€ã„ã€å‚考ã«ã—ãŸè¨˜äº‹ã‚’ã„ãã¤ã‹ç´¹ä»‹ã—ã¾ã™ã€‚ How to Write WordPress robots.txt for SEO robots.txtファイルã¯ã€ã‚¦ã‚§ãƒ–を探ã—回る検索エンジンã®ãƒãƒœãƒƒãƒˆã«åˆ¶é™ã‚’与ãˆã‚‹ã‚‚ã®ã§ã™ã€‚ å‚考：A Standard for Robot Exclusion ãƒãƒœãƒƒãƒˆã¯è‡ªå‹•åŒ–ã•ã‚Œã¦ãŠã‚Šã€ã‚µã‚¤ãƒˆã®ãƒšãƒ¼ã‚¸ã«ã‚¢ã‚¯ã‚»ã‚¹ã™ã‚‹å‰ã«ã€ãã®ã‚µã‚¤ãƒˆã«robots.txtファイルã®å˜åœ¨ã‚’確èªã—ã¾ã™ã€‚ WordPressã«ã¨ã£ã¦ã¯ã€ãŸã¨ãˆã°ç®¡ç†ç³»ã®ãƒ•ã‚¡ã‚¤ãƒ«ãªã©æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã«ã¯å¿…è¦ã§ã¯ãªã„コンテンツをもã£ã¦ã„ã‚‹ãŸã‚ã€robots.txtã®è¨ç½®ã¯å¤§åˆ‡ã§ã™ã€‚ã¾ãŸã€WordPressã§ç”Ÿæˆã—ãŸãƒšãƒ¼ã‚¸ã¯ã‚«ãƒ†ã‚´ãƒªãƒ•ã‚©ãƒ«ãƒ€ã€æ¯Žæœˆã®ã‚¢ãƒ¼ã‚«ã‚¤ãƒ–ã€ã‚¿ã‚°ä¸€è¦§ãªã©è¤‡æ•°ã®ãƒšãƒ¼ã‚¸ã‹ã‚‰åŒã˜ãƒšãƒ¼ã‚¸ã‚’見ã¤ã‘ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚Googleã¯ã‚³
ウェブサイトã®ãƒ¡ãƒ³ãƒ†ãƒŠãƒ³ã‚¹æ™‚やサービスåœæ¢æ™‚ã«ã‚„ã‚‹ã¹ãã“ã¨ãƒ»ã‚„ã£ã¦ã¯ã„ã‘ãªã„ã“ã¨
[対象: ä¸ã€œä¸Šç´š] サイトã®ãƒ¡ãƒ³ãƒ†ãƒŠãƒ³ã‚¹ãªã©ã®ç†ç”±ã§ä¸€æ™‚çš„ã«ã‚µãƒ¼ãƒ“スをåœæ¢ã—ユーザーã®ã‚¢ã‚¯ã‚»ã‚¹ã‚’é®æ–ã—ãŸã„ã¨ããŒã‚ã‚Šã¾ã™ã€‚ ã“ã®ã‚±ãƒ¼ã‚¹ã§ã‚„ã‚‹ã¹ãã“ã¨ã¨ã‚„ã£ã¦ã„ã¯ã„ã‘ãªã„ã“ã¨ã‚’ã€Googleã®Pierre Far(ピエール・ファー)æ°ãŒGoogle+ã§èª¬æ˜Žã—ã¾ã—ãŸã€‚ 米連邦政府è°ä¼šã§æ案ã•ã‚Œã¦ã„ã‚‹ã‚る法案ã«å¯¾ã—ã¦æŠ—è°ã™ã‚‹äººãŸã¡ã¸ã®æ´åŠ©ã®ç›®çš„も背景ã«ã‚るよã†ã§ã™ãŒã€é–¢ã‚ã‚Šã®ãªã„僕ãŸã¡ã«ã¨ã£ã¦ã‚‚éžå¸¸ã«æœ‰ç›Šãªå†…容ãªã®ã§ç´¹ä»‹ã—ã¾ã™ã€‚ 以下ã§èª¬æ˜Žã™ã‚‹ã“ã¨ã¯ã€ã€Œãƒ¡ãƒ³ãƒ†ãƒŠãƒ³ã‚¹ä¸ã€ã®ã‚ˆã†ãªé€šçŸ¥ãƒšãƒ¼ã‚¸ã‚’元々ã®ãƒšãƒ¼ã‚¸ã¨ç½®ãæ›ãˆã¦è¨ªå•è€…ã«è¦‹ã›ã‚‹çŠ¶æ³ã«ã‚‚当ã¦ã¯ã¾ã‚Šã¾ã™ã€‚ 1. サイトã®ä¸€éƒ¨ã§ã‚ã£ã¦ã‚‚サイト全体ã§ã‚ã£ã¦ã‚‚ã€åœæ¢ã™ã‚‹URLã¯ã™ã¹ã¦503ã®HTTPステータスコードを返ã™ã€‚ 次ã®2ã¤ã®ç‚¹ã«ãŠã„ã¦å½¹ã«ç«‹ã¤ã€‚ 通知ページãŒæœ¬å½“ã®ã‚³ãƒ³ãƒ†ãƒ³ãƒ„ã§ã¯ãªã„ã“ã¨ã‚’Googleã«ä¼ãˆã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã•ã‚Œãªã„。 ã™ã¹ã¦ã®ãƒšãƒ¼ã‚¸ã§
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}