大手サイトã®robots.txtã§ã‚ã‹ã‚‹ã€Œæ¤œç´¢ã§ãƒ’ットã•ã‚ŒãŸããªã„ページã€ã®ç‰¹å¾´robots.txtã¨ã¯ robots.txtã¯ã€æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã®ã‚¯ãƒãƒ¼ãƒ©ãƒ¼ï¼ˆbot）ã«ã€ã‚¯ãƒãƒ¼ãƒ«ã•ã‚ŒãŸã„ページやã€ã‚¯ãƒãƒ¼ãƒ«ã•ã‚ŒãŸããªã„ページを教ãˆã‚‹ãƒ†ã‚ストファイルã®ã“ã¨ã§ã™ã€‚多ãã®æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã®ã‚¯ãƒãƒ¼ãƒ©ãƒ¼ã¯ã€ãã®ãƒ‰ãƒ¡ã‚¤ãƒ³ã®æœ€ä¸Šä½ãƒ‡ã‚£ãƒ¬ã‚¯ãƒˆãƒªã«è¨ç½®ã•ã‚ŒãŸrobotst.txtを最åˆã«èªã¿è¾¼ã‚“ã§ã€ã‚¯ãƒãƒ¼ãƒ«ã™ã‚‹ã¹ãページã¨ã‚¯ãƒãƒ¼ãƒ«ã™ã‚‹ã¹ãã§ãªã„ページをå–å¾—ã—ã€ãã‚Œã«åŸºã¥ã„ã¦å·¡å›žã—ã¾ã™ã€‚ãŸã ã€ä¸€éƒ¨ã®ã‚¯ãƒãƒ¼ãƒ©ãƒ¼ã«ã¯ã€ã“ã®robots.txtを無視ã™ã‚‹ã‚‚ã®ã‚‚ã‚ã‚Šã¾ã™ã€‚ robots.txtã®æ›¸ãæ–¹ã¯ãŠã‚ˆã以下ã®é€šã‚Šã§ã™ã€‚ User-agent:（ã“ã“ã«botã®ãƒ¦ãƒ¼ã‚¶ãƒ¼ã‚¨ãƒ¼ã‚¸ã‚§ãƒ³ãƒˆã‚’記述。ワイルドカード指定もå¯èƒ½ï¼‰ Crawl-Delay:（クãƒãƒ¼ãƒ«ã®æ™‚間間隔を指定） Disallow:（クãƒãƒ¼ãƒ«ã•ã‚ŒãŸããªã„ページやディレクトリを指定） Allow:（Disallowã§æŒ‡å®šã•ã‚ŒãŸãƒ‡ã‚£ãƒ¬ã‚¯ãƒˆãƒªã®å°éšŽå±¤ã§
Google アプリ - Android ã‚„ iPhone ã§ã‚¢ãƒ—リをダウンãƒãƒ¼ãƒ‰
Apache Nutchâ„¢
{{#tags}}- {{label}}
{{/tags}}