ヘッドレスブラウザ(Chrome)を使ã£ã¦SPAをスクレイピングã™ã‚‹ - Qiita一般的ãªã‚¹ã‚¯ãƒ¬ã‚¤ãƒ”ング手法ã¨ãã®å•é¡Œç‚¹ スクレイピングã¨ã„ã†ã¨ã€HTTPクライアントライブラリを用ã„ã¦HTMLå–å¾—ã—ã€HTML/XMLパーサーã§è§£æžã™ã‚‹ã¨ã„ã†ã®ãŒä¸€èˆ¬çš„ã ã¨æ€ã„ã¾ã™ã€‚ ã“ã®æ‰‹æ³•ã®å ´åˆã€ä»¥ä¸‹ã®å ´åˆã«ã†ã¾ã処ç†ã§ãã¾ã›ã‚“。 ターゲットã®ãƒšãƒ¼ã‚¸ãŒJavaScriptã«ã‚ˆã‚Šå‹•çš„ã«DOMã‚’æ“作ã™ã‚‹å ´åˆ HTML/XMLパーサーãŒå–å¾—ã—ãŸHTMLã‚’æ£ã—ã解釈ã§ããªã„å ´åˆ(æ£ã—ããªã„HTMLã§ã‚‚ブラウザã¯ãªã‚“ã¨ã‹å‡¦ç†ã™ã‚‹ãŒã€ãƒ‘ーサーライブラリã¯æ£ç¢ºãªHTMLã§ãªã„ã¨å‡¦ç†ã§ããªã„ã“ã¨ãŒã‚ã‚‹) 特ã«å•é¡Œã«ãªã‚‹ã®ã¯å‰è€…ã§ã—ょã†ã€‚最近ã®Webサイトã§ã¯JavaScriptã§DOMã‚’æ“作ã™ã‚‹ã“ã¨ã¯çã—ããªããªã£ã¦ãã¦ã„ã¾ã™ã€‚SPAã§ã‚ã‚Œã°ãªãŠã•ã‚‰é›£ã—ãã€ã‚‚ã¯ã‚„ã“ã†ã„ã£ãŸæ‰‹æ³•ã«ã‚ˆã‚‹ã‚¹ã‚¯ãƒ¬ã‚¤ãƒ”ングã¯ä¸å¯èƒ½ã§ã—ょã†ã€‚ ヘッドレスブラウザã«ã‚ˆã‚‹ã‚¹ã‚¯ãƒ¬ã‚¤ãƒ”ング å‹•çš„ãªDOMやパーサーãŒã†ã¾ã解釈ã§ããªã„ã¨ã„
Pythonã§Webスクレイピングã™ã‚‹æ™‚ã®çŸ¥è¦‹ã‚’ã¾ã¨ã‚ã¦ãŠã - Stimulator
{{#tags}}- {{label}}
{{/tags}}