Googleã€Yahoo!ã€MSãŒRobots.txtãªã©REP共通/独自内容公開 | エンタープライズ | マイコミジャーナル主è¦ãªæ¤œç´¢ã‚µãƒ¼ãƒ“スをæä¾›ã—ã¦ã„ã‚‹Googleã€Yahoo!ã€Microsoftã®3社ã¯3æ—¥(米国時間)ã€Robots Exclusion Protocol (REP)ã®ç¾çŠ¶ã‚’説明ã™ã‚‹ã¨ã¨ã‚‚ã«ã€ãã‚Œãžã‚ŒãŒç‹¬è‡ªã«æä¾›ã—ã¦ã„るディレクティブã®èª¬æ˜Žã‚’公開ã—ãŸã€‚ コンテンツホルダãŒæ±‚ã‚ã‚‹ã®ã¯ã©ã†ã™ã‚Œã°æ¤œç´¢çµæžœã«ã‚³ãƒ³ãƒ†ãƒ³ãƒ„ãŒæœ‰åˆ©ã«ç™»å ´ã™ã‚‹ã‹ã ãŒã€é€†ã«ç‰¹å®šã®ã‚³ãƒ³ãƒ†ãƒ³ãƒ„ã‚’ã©ã†ã™ã‚Œã°æ¤œç´¢å¯¾è±¡ã‹ã‚‰é™¤å¤–ã§ãã‚‹ã‹ã‚‚求ã‚られã¦ã„る。ã“ã®å ´åˆã«ä½¿ã‚れるã®ãŒRobots Exclusion Protocol(REP)ã 。robots.txtファイルã«æŒ‡å®šã™ã‚‹æ–¹æ³•ã‚„METAã‚¿ã‚°ã§æŒ‡å®šã™ã‚‹æ–¹æ³•ãªã©ãŒã‚る。ã“れら方法ã¯Googleã€Yahoo!ã€Microsoftãªã©ä¸»è¦ãªæ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã‚µãƒ¼ãƒ“スã§ã‚µãƒãƒ¼ãƒˆã•ã‚Œã¦ãŠã‚Šã€æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã‚¢ã‚¯ã‚»ã‚¹åˆ¶å¾¡æ–¹æ³•ã®ãƒ‡ãƒ•ã‚¡ã‚¯ãƒˆã‚¹ã‚¿ãƒ³ãƒ€ãƒ¼ãƒ‰ã¨ãªã£ã¦ã„る。 ã“ã“æ•°å¹´ã€Googleã€Yahoo!ã€Mic
Yahoo! Slurpã‚‚X-Robots-Tagをサãƒãƒ¼ãƒˆ - F.Ko-Jiã®ã€Œä¸€ç§’後ã¯æœªæ¥ã€
WWW-RobotRules-DBIC-0.01
https://del.icio.us/robots.txt
{{#tags}}- {{label}}
{{/tags}}