エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
まずは一人目の発表者から、Seleniumを使って、スクレイピングをしてみたという事例を紹介していました... まずは一人目の発表者から、Seleniumを使って、スクレイピングをしてみたという事例を紹介していました。 私自身、SeleniumというツールはE2Rテストなどに利用する感覚でいましたので、このアイデアは面白いなと思いました。 システムの概要は以下とのことです。 作成するシステム ECサイトを定期的にWebスクレイピングし、最新商品を通知する 使用技術 Python(Selenium, Beautifulsoup4, boto3) Docker AWS Lambda Amazon SNS そして、以下のような流れで進めていたとのことです。 スクレイピング対象のスクレイピング可否(利用規約やrobots.txt )の確認 SNSトピックの作成 Python+Dockerfileコーディング ビルドしたDockerイメージをECRにpush Lambda関数の作成・テスト EventBrid