検索対象

並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 299件

新着順 人気順

スクレイピングの検索結果1 - 40 件 / 299件

スクレイピングに関するエントリは299件あります。 webサービス、 プログラミング、 web などが関連タグです。 人気エントリには 『ちいさな Web ブラウザを作ってみよう』などがあります。

スクレイピングの関連エントリー

  • ちいさな Web ブラウザを作ってみよう

      ちいさな Web ブラウザを作ってみよう

    • 個人開発で「Excel専用のWebAPI」を作りました

      どういうもの？ このように関数を使ってデータを取り込めます。 背景 元々は「インターネット上のWebAPIのデータをExcelに取り込みたい」と思ったのがきっかけです。 VBAマクロを使えば簡単ではありますが、マクロは使いたくないという方も多いのではないでしょうか。かくいう私も勤務先が属人化を防ぐためにマクロの使用を推奨していません。 そこで、関数を使用する方法を選択しました。 ExcelにはWEBSERVICE 関数という指定したURLの応答データを取り込む関数があります。 しかし、この関数は大変便利な関数ですが、ExcelはHTMLやJSONのパーサーを用意していません。結局取り込んだHTMLやJSONの処理にはVBAマクロが必要になります。 また、欲しいWebAPIが存在しない問題もありました。 そこで、Excelでデータを編集するのではなく、元々のWebAPIをExcel用に作れば

        個人開発で「Excel専用のWebAPI」を作りました

      • 「私はロボットではありません」はワンクリックでなぜ人間を判別できる？ 仕組みとその限界を聞いてきた

        2021.02.16 「私はロボットではありません」はワンクリックでなぜ人間を判別できる？ 仕組みとその限界を聞いてきた WebサイトにIDとパスワードを入力するとき、ときどき「私はロボットではありません」にチェックを求められることがあります。 僕はロボットではないので、当然チェックを入れて認証を進めるわけですが……。でもちょっと待ってください。なぜクリックひとつで、人間かロボットかを判断できるんでしょう。 これはきっと、人間ではないなんらかの不正アクセスを防ぐ仕組みのはず。でもチェックを入れるくらい、プログラムを作ってなんやかんやすれば、シュッとできるのでは？ 「私はロボットではありません」は、どんな仕組みで人間とロボットを判別しているのか。もっといい方法はないのか。これまでの歴史的経緯も含め、情報セキュリティ大学院大学の大久保隆夫教授に聞きました。 気づかないうちに「人間かロボットか」

          「私はロボットではありません」はワンクリックでなぜ人間を判別できる？ 仕組みとその限界を聞いてきた

        • 日付、住所、文字列、辞書、翻訳……なんでもござれの「ExcelAPI」がスゴい／「Excel 2013」以降で利用できる「WEBSERVICE」関数と組み合わせて使う無料のWeb API【やじうまの杜】

            日付、住所、文字列、辞書、翻訳……なんでもござれの「ExcelAPI」がスゴい／「Excel 2013」以降で利用できる「WEBSERVICE」関数と組み合わせて使う無料のWeb API【やじうまの杜】

            • スクレイピングの関連エントリー

          • ベテランエンジニアがクラウドワークスで5,000円の案件を受けてみた｜ebiebi_pg

            最近は営業力なくてもクラウドワークスのような便利なサイトで案件が受けれるようだ。 いざチャレンジ! １．まずは実績作りクラウドワークスデビューを果たしたいのだが、自分は実績が1件もないので料金は度外視して「何でもいいから1件実績を作る」という作戦に出てみた。 申し込みが少ない案件を探していると下記のような案件が見つかった 「自社のオリジナル販売サイトの商品ページを解析し、某大手ショッピングモールサイト3社に自動でアップロードするロボットプログラムの作成依頼」 （10,000円） ほう… 相場を分かっていないのか けっこうな難易度のシステムを1万円ぽっきりで依頼するとはなかなかの猛者だ。 だれも申し込みしていない案件かと思いきや、他にも数名の申し込みがあった。 大丈夫か？？こいつら？ ２．案件獲得交渉さっそく申し込んでみるのだが、1件実績を作るという目的を達成するためになるべく案件の獲得率を

              ベテランエンジニアがクラウドワークスで5,000円の案件を受けてみた｜ebiebi_pg

            • browser-use やばいです - Qiita

              はじめに 語彙力なくてすみません、 browser-use は、「AI エージェントがウェブブラウザを操作できるようにする」ためのライブラリです。 プロンプトで与えられた指示どおりに動き、ほかの技術と比較しても精度が抜群に高いです。 早速試してみます。 実践 複数のECサイトから特定の商品価格を取得することを目標とする。 Python は 3.11 以上が必要です。

              • 「ひっ迫した状況が一目瞭然」新型コロナ病床数まとめサイト、大反響に「バグを疑った」と開発者仰天　“医療現場の声”励みにスピード公開

                「ひっ迫した状況が一目瞭然」新型コロナ病床数まとめサイト、大反響に「バグを疑った」と開発者仰天　“医療現場の声”励みにスピード公開 新型コロナウイルス感染症の患者数や、感染者用の病床数などを都道府県ごとに表示した「新型コロナウイルス対策ダッシュボード」が、ネットで話題を呼んでいる。Twitterでは「病床の使用率が一目瞭然」「都市部の病床数がギリギリなのが分かる」と好評だ。Facebook上のシェア数は4000近くあり、開発者の福野泰介さんは「バグを疑ったくらいです」と驚く。 福野さんは、福井県鯖江市のソフトウェアメーカー「jig.jp」の会長を務める傍ら、東京都が開設した「東京都新型コロナウイルス感染症対策サイト」や、無償で提供されているオンライン教材やテレワーク用のサービスをまとめた「VS COVID-19 #民間支援情報ナビ」の作成にも携わっている。病床数に特化したサイトを作成した経

                  「ひっ迫した状況が一目瞭然」新型コロナ病床数まとめサイト、大反響に「バグを疑った」と開発者仰天　“医療現場の声”励みにスピード公開

                • ツイッター上でウクライナ政府をネオナチ政権だと拡散しているのは誰か（鳥海不二夫） - エキスパート - Yahoo!ニュース

                  2022年2月24日にロシア軍がウクライナに侵攻しました． 3月7日現在いまだ侵攻は続いており，一般市民にも多くの死傷者が出ているということで早期の収束を願うばかりです． ロシア側はウクライナへの侵攻の正当性として，ウクライナ政権はネオナチ政権であるという主張をしているようです． プーチン氏は安全保障会議で「我々はまさにネオナチと戦っている」と述べ、ウクライナ政府側をネオナチ扱いした。 https://mainichi.jp/articles/20220304/k00/00m/030/061000c 日本のマスメディアでこの主張を入れているところはあまりないようですが，ソーシャルメディア上ではこの主張に沿ってロシアの侵攻を正当化しているグループもあるようです． ロシアによるウクライナ侵攻について、日本では「単なる思い込みによる誤解」から「めちゃめちゃな陰謀論」まで、ツイッターのみならず、ウ

                    ツイッター上でウクライナ政府をネオナチ政権だと拡散しているのは誰か（鳥海不二夫） - エキスパート - Yahoo!ニュース

                  • 【個人開発】爆速な賃貸物件の検索サービスを作った - Qiita

                    個人開発で 賃貸物件の検索サービス Comfy を作りました1。グラフや地図でサクサク絞り込める UI が特徴のサービスです。とにかく気持ち良い使い勝手を実現するために色々工夫しています。 既にリリースからは 4 ヶ月以上経っているのですが、改めてサービスの概要や、システム構成及び使用した技術・サービスをご紹介しようと思います。2。 サービスの概要 Comfy は日本全国の賃貸物件を検索できる Web サービス です。画面 UI は上の GIF 画像のような感じです。 こだわったポイントを色々書くよりも実際にさわって頂いた方が新感覚の UI や気持ちよさを体感頂けるかと思いますので、 実際のサービス をぜひお試し頂ければ幸いです！ システム構成 図の通り、システムは大きく 3 つに分けられます。 フロントエンド バックエンド データ基盤 使用技術は図の通りではあるのですが、フロントエンドと

                      【個人開発】爆速な賃貸物件の検索サービスを作った - Qiita

                    • 自作した時間割アプリが大学の公式アプリに採用された話 - Qiita

                      Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 記事の概要 私（芝浦工業大学学部4年生）が大学3年時に1人で制作した、大学のポータルアプリ（ポータルサイトからスクレイピングして時間割などを表示する）が、大学に正式採用され、公式アプリ"ScombApp"としてリリースされるに至った経緯を時系列順に説明します。 ホーム画面 時間割画面 制作の動機 大学のポータルサイト使いにくいがち。 ポータルサイトのスマホアプリ版があれば便利そう。 他にやってる人いなさそうだし、最初に作ったらみんな使ってくれそう。 ポータルサイトの問題点 大学ポータルサイトで使いにくかった点を挙げていく。 とりあえずこ

                        自作した時間割アプリが大学の公式アプリに採用された話 - Qiita

                      • 【🚨無職発生注意報🚨】ヒトはこうして仕事を奪われる~Browser Use Tutorial~ - Qiita

                        はじめに 2025年はAIエージェントの年です。注目されているAIエージェントの一つが『AIが自動で自分のPC画面を操作』するBrowser Useというツールです。 Browser Useの面白さ Browser Useを使うと、AIが自動で自身のPC画面を操作することであらかじめ決めた目的を達成をしてくれます。 簡単な指示を出すだけで、自動でAIが色々操作してくれるのはキャッチーで衝撃的ですよね。 例えば下記のように完全自動でAIが記事を検索して記事の情報を取得してくれます。 簡単な指示でAIが自分で考えて画面操作をしてくれるのは近未来感ありますよね。 しかし、現場でAIを使いこなすには「AIがすごい」のレベルではまだ足りません。 実際に触ってみて何ができるのか？逆に何が苦手なのか？という肌感覚を持つことが非常に重要です。 そこで本記事は、その肌感覚を養うために実際にBrowser U

                          【🚨無職発生注意報🚨】ヒトはこうして仕事を奪われる~Browser Use Tutorial~ - Qiita

                        • 40代プログラミング初心者がpython始めて半年！独学で勉強が続いている理由と読んだ本 - Qiita

                          下で最新版に記事を編集しましたブログを作ったよ ツイッターアカウントフォローお願いします https://twitter.com/usagipycom こんな記事も書いてます 友達がpythonでPCゲームのレベル上げツールを作っていた それを聞いて、pythonって便利なのね。と思いその後色々あってプログラミングを勉強することにした プログラマー35歳までみたいな世の中で40代おそすぎ！ってあるかもしれない PCがあって、無料の教材はネットに転がってるし、本もたくさんあるし、挑戦するのは無料だし2022年の1月ぐらいから勉強を始めた 入門書って成果物がないからつまらないなと思ってそれ以外になんかないかなって本屋さんをふらふらしてたら python自動化 みたいな書籍がいっぱいあることに気がついた なるほど、もしかしたら仕事楽になるんじゃないかそんな思いから次の本を買った シゴトがはかどる

                            40代プログラミング初心者がpython始めて半年！独学で勉強が続いている理由と読んだ本 - Qiita

                          • 【令和最新版】令和のWebスクレイピング(クロール)【ベストプラクティス】

                            こんにちは、株式会社FP16で結構コードを書いている二宮です。 最近Webスクレイピングのコードを色々な方法で書いているので、そこで得た知見をここに残しておこうと思います。 ほぼ毎日なにかのWebスクレイピングコードを書いています。 Webスクレイピング手段 Webスクレイピングには色々な方法があります。 私が最近主に使っているのはこの5つの手段です。 cheerioでHTMLを解析 Playwrightなどで要素指定でデータを取得する APIを見つけて叩く（バックエンドとの通信を再現してデータを取得） LLMでサイト構造を解析してデータを取得する Next.jsからのレスポンスに含まれているデータを解析して取得する これが令和のWebスクレイピングのベストプラクティスだと思っています。 これらの方法を、目標に合わせて使い分けています。 使い分け方 CheerioでHTML解析 JavaS

                              【令和最新版】令和のWebスクレイピング(クロール)【ベストプラクティス】

                            • Node.js でお手軽スクレイピング 2020 年夏 - Qiita

                              皆さんは Web ページのスクレイピングって書いた事ありますか？私はあります。だってどんなに平和で平穏な生活を送っていても数年に一度はスクレイピングってしたくなりますよね。「うわーまじか！API ないのかよ…。」的な。 そうしたら HTTP クライアントと HTML パーサのライブラリを探してきてインストールした上でごりごり書くことになると思います。でも実際に書いてみると、そうやってライブラリのインストールをしたりサンプルコードで動作確認している時間よりも、HTML を解析して実際にパースしたところから対象の要素を取得して欲しい値を取り出す試行錯誤の時間の方が長かったっていう事はないですか？ 今日ご紹介する Node.js でお手軽スクレイピングは、その辺の試行錯誤の手間を極力減らすことが出来る方法です。2020 年夏の最新版です。 まずは環境から。特に古いものを使う理由もないので 202

                                Node.js でお手軽スクレイピング 2020 年夏 - Qiita

                              • 【自動化】PDF内の表をPythonで抜き出す - Qiita

                                PDFは扱いにくい PDFファイルをPythonで扱うのは大変です。 表がPDFの中に埋め込まれているケースも割とあります。 例えば 平成30年 全衛連ストレスチェックサービス実施結果報告書の中にはたくさんの表データが埋め込まれています。 例えばファイルの40ページの【表14 業種別高ストレス者の割合】を抜き出したいと思ったとします。 この表を選択して、Excelにコピペしてみましょう。 コピーして、Excelに貼り付けます。 おや？うまくいかないですね。 1つのセルの中に、全部のデータが羅列されてしまっています。 実はPythonを使ってこのPDF中の表を比較的簡単にcsvやExcelに変換することができます。 PythonでPDFの表をcsvに PythonでPDF内の表(テーブル)をcsvやexcelに変換する手順は2ステップです。 ステップ1. PDFから表をpandasのData

                                  【自動化】PDF内の表をPythonで抜き出す - Qiita

                                • 機械学習で競馬の回収率100%超えを達成した話 - Qiita

                                  はじめに みなさん競馬はお好きでしょうか？ 私は今年から始めた初心者なのですが、様々な情報をかき集めて予想して当てるのは本当に楽しいですね！ 最初は予想するだけで楽しかったのですが、**『負けたくない』**という欲が溢れ出てきてしましました。 そこで、なんか勝てる美味しい方法はないかな〜とネットサーフィンしていたところ、機械学習を用いた競馬予想というのが面白そうだったので、勉強がてら挑戦してみることにしました。 目標 競馬の還元率は70~80%程度らしいので、適当に買っていれば回収率もこのへんに収束しそうです。 なのでとりあえず、出走前に得られるデータを使って、回収率100パーセント以上を目指したいと思います！ 設定を決める 一概に競馬予測するといっても、単純に順位を予測するのか、はたまたオッズを考えて賭け方を最適化するのかなど色々とあると思います。また、買う馬券もいろいろな種類があります

                                    機械学習で競馬の回収率100%超えを達成した話 - Qiita

                                  • Twitter障害はスクレイピングではなく“自己DDoS”が原因？

                                    Twitterのオーナー、イーロン・マスク氏は7月1日、Twitterでの“サービスの低下”の原因を「数百の組織がTwitterのデータを極度なレベルでスクレイピングしている」ことだとツイートしたが、原因は別のところにあるようだと、フリーランスのWeb開発者、シェルドン・チャン氏がMastodonの投稿で指摘した。 この“サービスの低下”で、多数のユーザーが投稿を読めなくなっている。マスク氏は2日、「極端なレベルのデータスクレイピングとシステム操作に対処するため」にユーザーが読める投稿数に制限を加えたとツイートした。 だがチャン氏は、異常なトラフィックの原因として、TwitterのWebアプリのバグにより、無限ループ状態でTwitterにリクエストが送信されていることを発見したと動画を添えて説明した。この動画では毎分数百件のリクエストが送信されていることが確認できる。 左の動画は、レートが

                                      Twitter障害はスクレイピングではなく“自己DDoS”が原因？

                                    • ç„¡æ–™Webクローラー「EasySpider」　プログラミングスキル不要、マウスクリックだけで操作可能

                                      このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 シンガポール国立大学と中国の浙江大学に所属する研究者らが発表した論文「EasySpider: A No-Code Visual System for Crawling the Web」は、Excelを使用するように視覚的にWebスクレイピングタスクを設計し、実行できるカスタマイズ可能なWebクローラーシステムを提案した研究報告である。公式ページはこちら。 このシステムは、マウス操作のGUI（Graphical User Interface）を使用して提供されており、コーディングの経験がなくても使えるため、ノンプログラマーでも簡単にタスクを設

                                        無料Webクローラー「EasySpider」　プログラミングスキル不要、マウスクリックだけで操作可能

                                      • pythonを使った株価の自動収集 - Qiita

                                        Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

                                          pythonを使った株価の自動収集 - Qiita

                                        • 【無料公開】560万円かけて開発したサービスのソースコード

                                          ※月単価80万円を基準に、7ヶ月分の工数として560万円相当と換算しています。 最初に こんにちは！ 普段はIT企業でWebエンジニアとして働いています。 現在はフリーランスとして活動し、Ruby（Ruby on Rails）、TypeScript（Next.js, React）、Pythonなどを使って、フロントエンドとバックエンドの両方に携わっています。 将来はソフトウェアエンジニアとしてアーキテクチャ・設計について自ら意思決定した上、プロジェクトを推進する事が出来るようになりたいです。 そのためさらにスキルを磨いていきたいと思っており、日々技術に対して情熱を持って仕事に取り組んでいます。 以前Qiitaで 退職して560万円相当の工数をかけてお金を稼ぐサービスを開発した という事でBizRankというビジネス書籍を紹介するサービスを開発しました。 今回はその後としてのお話になります。

                                            【無料公開】560万円かけて開発したサービスのソースコード

                                          • 無料プランのはずがたった1日の利用で750万円をGoogleから請求された企業が破産寸前に

                                            ウェブサイトやアプリケーションを簡単に構築できるクラウドサービスは便利なものですが、その課金システムは非常に複雑です。通信量や利用した計算リソースに応じて課金する従量課金制のサービスもあれば、条件を満たすことで無料で利用できるサービスもあります。そんなクラウドサービスの無料プランを利用したつもりが、7万2000ドル(約750万円)を請求され倒産寸前に追い込まれたと、ベンチャー企業の創設者が当時の状況をブログに吐露しています。 We Burnt $72K testing Firebase + Cloud Run and almost went Bankrupt [Part 1] | Milkie Way https://blog.tomilkieway.com/72k-1/ We Burnt $72K testing Firebase - Cloud Run and almost went

                                              無料プランのはずがたった1日の利用で750万円をGoogleから請求された企業が破産寸前に

                                            • Open RSS

                                              Feeds served 320,401 We offer feeds for thousands of popular websites across the internet, and we won't stop until every corner of the internet has one. The more feeds we have, the closer we all get to ditching the intrusive, ad-invested algorithmic feeds that harm and manipulate us. So we can follow internet content on our own terms, in feeds that only we control. No algorithms Feed items are sor

                                                Open RSS

                                              • GitHub に漏れ出た内部コードを探す ~ 上場企業 3900社編 ~ - ぶるーたるごぶりん

                                                全１回、このシリーズは今回で最後です！ TL;DR 上場企業 3900 社程に対して、すごく大雑把な「内部コード等の漏洩調査」を GitHub 上で行った 結果としては、重要度の高いものから低いものまで 10社ほどで漏洩が確認された 重要度の高いものとして、社外秘っぽそうなスプレッドシート、社員のハッシュ化パスワード(BCrypt)、 AWS Credential 等 「大雑把な」調査を行ったが、より精度の高い方法等について記事内にて触れていく 脅威インテルとか DLP みたいなエリアとかも、外部企業とかに頼るだけじゃなく「自分たちでも」頑張ってみるのがいいんだと思います GitHub Code Search ... すげえぜ！ Google Dorks ならぬ、 GitHub Dorks + GitHub Code Search でまだまだいろいろできるはず。 はじめに チャオ！ 今回は

                                                  GitHub に漏れ出た内部コードを探す ~ 上場企業 3900社編 ~ - ぶるーたるごぶりん

                                                • 個人開発した賃貸物件検索サービスのシステム構成と使用技術

                                                  本記事で紹介している賃貸物件検索サービス Comfy は 2021/07/30 13:48 をもって閉鎖いたしました。使用していた物件データに関して、データの掲載元より利用許諾を得られなかったためです。本記事で紹介しているサービスが閲覧いただくことができなくなってしまい、大変申し訳ございません。本記事は、サービスに関する一部の内容を削除した上で、使用技術等に関する内容についてはいったんそのまま残しておきますが、近いうちに記事自体を削除するかもしれません。 ※ 2021/07/30 19:00 頃追記 こちらを見に来ていただいた方に、サービスが動いていた頃の動画を下記ツイートにアップロードしています。 サービスを直接お試しいただけない状態で申し訳ございませんが、少しでもサービスの雰囲気が伝われば幸いです。 下記、元の記事の内容です 個人開発で 賃貸物件検索サービス Comfy (上記サービス

                                                    個人開発した賃貸物件検索サービスのシステム構成と使用技術

                                                  • Python と Playwright でブラウザを自動操作させるコードを自動生成したよ - Qiita

                                                    Playwright が昨年１年間で大幅パワーアップしていたので、使い方を確認したときの記録のまとめです。 ブラウザを自動操作できるということは、簡単なスクレイピングやブラウザ側のテスト自動化が簡単にできるようになります。 特に、Python での解説がまだまだ少なかったので、自分の学習を含めてまとめました。 今回は入門編ということで全体像をつかみつつ使用方法の流れを確認していただければありがたいです。 Selenium や Puppeteer を使っている方も、一度試す価値ありと思っています。 選定した理由 ブラウザのテストを Python で自動化したかったんです。 私なりの要件がありまして、非常にわがままな要件でしたが余裕ですべてクリアしました。 Python で書けること。社内で Python を使える方が多いので。pytest と連携してくれるとなおうれしい。 Docker コン

                                                      Python と Playwright でブラウザを自動操作させるコードを自動生成したよ - Qiita

                                                    • ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成出来たので感想とコツ - Qiita

                                                      今回やりたかったこと 目標：ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成 するにはどうしたらいいのか、ChatGPT のハードルとかコツとかを知りたい。 ※最終的なプロンプトの入力と出力の全文は本ページ下部に貼り付けてます。 作ったもの概要 保険組合のウォーキングイベントの会社内の3チームの歩数進捗の slack への自動投稿 bot を作成しました。 処理は大きく2つに分かれています。 ウォーキングイベントサイトから歩数をスクレイピング＆スプシへアップロード スプシの GAS で投稿文字列作成＆ slack へ自動投稿 今回 ChatGPT でやったのは1の方です。 2は前回半年前開催分のコードをほぼそのまま流用しました。 運良く（？）今回のタイミングでウォーキングイベントのサービスサイトが変わり、 HTML がまるっと変わり1のスクレイピングコードは作り直しが必

                                                        ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成出来たので感想とコツ - Qiita

                                                      • 各業界でのデータサイエンスの活用について調べてみた（随時追加） – かものはしの分析ブログ

                                                        都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか？と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界

                                                          各業界でのデータサイエンスの活用について調べてみた（随時追加） – かものはしの分析ブログ

                                                        • Windows10の無償デスクトップ自動化ツール「Power Automate Desktop」でWebブラウザーでの作業を自動化する

                                                          Power Automate Desktopは、自動化可能な作業の流れ（フロー）をデザインし、実行するためのソフトウェアです。第5回では、フローから簡単なExcel操作を行いました。第6回ではPower Automate Desktopフローからのブラウザー（Google Chrome）の操作を使用したフローをデザインします。 ［注意］今回はPower Automate Desktopの作業しているPCにExcelとGoogle Chromeがインストールされている前提としています。 対象読者 Excel／PowerPointなど、一般的なツールの操作を理解している人 RPAツールを用いて業務を自動化したい人 ブラウザー自動化アクション 日常作業で情報収集する場合、ブラウザーで情報を検索して、結果のページで情報を確認し、コピーして保存するという場面があります。例えば、 定期的にホームページ

                                                            Windows10の無償デスクトップ自動化ツール「Power Automate Desktop」でWebブラウザーでの作業を自動化する

                                                          • ブラウザフィンガープリント、その凄さ〜Torブラウザアクセスの識別可能性まで〜

                                                            フィンガープリントとはブラウザフィンガープリント技術（以下、FP技術）とは、文字通り、ブラウザの指紋を使ってブラウザをサーバ側で識別する技術です。 ここでの「識別」とは、同一ブラウザからのアクセスを同一ブラウザからのアクセスと判定し、違うブラウザからのアクセスは違うと判断することを言っています（図1）。 図1 フィンガープリントの識別の概念よく誤解される方がおりますが、これはあくまでサーバ側での識別です。（追記：「Torブラウザがどのサイトへ接続しているのか？」を識別するWebサイトフィンガープリントとも違います）また、どこの誰がアクセスしているのかというように、利用者を特定しているわけでもありませんのでご注意ください。 クッキーによる識別をご存知の方には、「クッキーによるセッション管理やトラッキングでの識別と同じです」と説明した方が分かりやすいでしょうか。FP技術自体は、クッキーの代替技

                                                              ブラウザフィンガープリント、その凄さ〜Torブラウザアクセスの識別可能性まで〜

                                                            • はてなアンテナは20周年を迎えました - はてラボ 開発者ブログ

                                                              2022/05/28（土）は、はてなアンテナのサービス開始20周年記念日でした。 2002/05/28 に、有限会社はてな（当時）は、創業サービスである人力検索はてなに続くサービスとしてはてなアンテナをリリースしました。 普段チェックしているホームページのアドレスを登録することで、サービスが自動的に巡回チェックしてくれるという機能は、ユーザが自分で巡回プログラムを配置しなければならなかった難しさを肩代わりするものとして人気を博し、多くの方々に利用いただきました。 サービス開始以来20年、個人ホームページの隆盛からブログや RSS およびフィードリーダーの勃興、ソーシャルネットワークへと個人や組織の発信・交流の場が変化する中、変わらぬ価値を提供するものとして、はてなアンテナはウェブを見つめ続けています。 最近大きな機能追加をしていないはてなアンテナですが、近年では 常時HTTPS化 インフラ

                                                                はてなアンテナは20周年を迎えました - はてラボ 開発者ブログ

                                                              • How to implement Japanese full-text search in Elasticsearch

                                                                全文検索は一般的に知られていますが、検索エクスペリエンスで非常に重要な役割を果たしています。ただし、日本語など、一部の言語では、全文検索を実装するのが難しい場合があります。このブログでは、日本語で全文検索を実装する際の課題を探り、Elasticsearchでこれらの課題を解決する方法をいくつか示します。 全文検索とは？ Wikipediaより、下記が定義となります。 全文検索とは、コンピュータにおいて、複数の文書（ファイル）から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味で使用される。 全文検索は、現在多くのデジタル体験を強化するものです。全文検索は、データセット内に隠れている可能性のある単語やフレーズを見つけようとしてくれます。例えば、ネットショッピングして「phone」を検

                                                                  How to implement Japanese full-text search in Elasticsearch

                                                                • 使いやすさを重視したHTMLスクレイピングライブラリを作った - 純粋関数型雑記帳

                                                                  TL:DR レポジトリ https://github.com/tanakh/easy-scraper ドキュメント 背景 このところ訳あってRustでHTMLからデータを抽出するコードを書いていたのですが、 既存のスクレイピングライブラリが（個人的には）どれもいまいち使いやすくないなあと思っていました。 HTMLから望みのデータを取り出すのはいろいろやり方があるかと思いますが、 ツリーを自力でトラバースするのはさすがにあまりにも面倒です。 近頃人気のライブラリを見てみますと、CSSセレクターで目的のノードを選択して、 その周辺のノードをたどるコードを書いて、 欲しい情報を取り出すという感じのものが多いようです。 RustにもHTMLのDOMツリーをCSSセレクターで検索して見つかったノードをイテレーターで返してくれたりする、 scraperというライブラリがあります。 例えば、<li>要素

                                                                    使いやすさを重視したHTMLスクレイピングライブラリを作った - 純粋関数型雑記帳

                                                                  • 絶対に画像をダウンロード&スクレイピングさせないWebページを本気で作ってみた - blog.potproject.net

                                                                    巷で話題になっているこの話題、画像をスクレイピングやダウンロードされたくないということで騒がれています。その話に関しては色々な意見があると思ってますがここでは置いておくとして・・・ 技術的にやるとしたら実際どれくらい対策できるの？ということが気になったので、自分の知識で出来る限り対策したものを作ってみることにしました。 最初に 賢い方はわかると思いますが、タイトルは釣りです。 絶対に画像をダウンロード&スクレイピングさせないページは存在しません。ソフトウェアにおいて絶対と言う言葉はまず存在しないのです。ブラウザで表示している以上、仕組みさえわかれば技術的には可能です。 そのため、 「元画像のダウンロードとスクレイピングを非常に困難にしたWebページを本気で作ってみた」 が実際のタイトルかなとなります。 とはいえ、この仕組みであれば大多数の人は機械的にスクレイピングすることを諦めるレベルの作

                                                                      絶対に画像をダウンロード&スクレイピングさせないWebページを本気で作ってみた - blog.potproject.net

                                                                    • ハローワークの求人情報をスクレイピング（Python + Selenium + BeautifulSoup） - ai_makerの日記

                                                                      この記事は、以下のハローワークインターネットサービスから求人情報を自動で取得する試みを記録したものです: www.hellowork.mhlw.go.jp まずは、ソースコードと実行結果をお見せし、後ほどこの記事を書いた経緯などを話します。 ソースコード：HelloWork_Scraping_ST.py from selenium import webdriver from selenium.webdriver.support.ui import Select import time from bs4 import BeautifulSoup import re # ハローワークインターネットサービスのURL url = "https://www.hellowork.mhlw.go.jp/" # 以下からご自分で使用しているChromeのバージョンに合ったChromeDriverをダウンロ

                                                                        ハローワークの求人情報をスクレイピング（Python + Selenium + BeautifulSoup） - ai_makerの日記

                                                                      • Bardの衝撃。Bardはユーザから指示されたURLのページにアクセスできる。Webページの要約やスクレイピングも？ - Qiita

                                                                        Google Bardが、日本からも利用できる様になりましたが、ChatGPTとの大きな違いがありました。 それは、ユーザが渡したURLにBardがアクセスができることです。 ChatGPTでは基本的にそういったことはできず、やれている様に見えても違った情報を返してしまっていました。 例えば、以下ページのURLを渡して要約してもらうと、返ってくるのは以下の様な返答になってしまいます。 アクセス先のページ ChatGPTからの返答 なんだか、違うページを読み込んでいそうです・・・完全に間違っています。 -- それに対し、Google Bardは正しくリンク先の記事を読み取って要約をしてくれました。 本当にリクエスト先のURLにアクセスをしているのか不安だったので、試しに先頭50文字出してといったらちゃんと出してくれました もしかしてスクレイピングができてしまうのか？と期待して、以下の様なリク

                                                                          Bardの衝撃。Bardはユーザから指示されたURLのページにアクセスできる。Webページの要約やスクレイピングも？ - Qiita

                                                                        • 7594591200220899443 on Twitter: "ひえーFacebook、Aタグの上でマウス押下した瞬間にhref書き換えてんのか！で次の瞬間マウスクリックするとその書き変わったURLを踏む https://t.co/7r8ZccLLnk"

                                                                          ひえーFacebook、Aタグの上でマウス押下した瞬間にhref書き換えてんのか！で次の瞬間マウスクリックするとその書き変わったURLを踏む https://t.co/7r8ZccLLnk

                                                                            7594591200220899443 on Twitter: "ひえーFacebook、Aタグの上でマウス押下した瞬間にhref書き換えてんのか！で次の瞬間マウスクリックするとその書き変わったURLを踏む https://t.co/7r8ZccLLnk"

                                                                          • 例のスクレイピングしてる不動産物件検索が復活・・・で、結局「不動産屋が悪で黒い」、という話に・・・Orz｜torum

                                                                            以前、「スクレイピングした物件データを利用した物件検索サービスは問題ないのか」で取り上げたサービスですが、再度リニューアルして復活した模様です。 あきらめずに再び立ち上がる根性があるのを見るのは大好きであります。 これが、また某所で少し話題になっていました。 「使いやすい」、と、多少の支持もあるようですね。大手不動産物件検索サイトの運営者も、自社のサービスに改善の余地があると自戒すべきことです。 ただ・・・ ・そもそもレインズを客に見せない不動産業界が黒い ・レインズ公開しちゃったら宅権協会の入会者が減って稼げなくなる ・レインズの閉鎖性はどうにかしたい。 ・レインズを囲ってる連中に喧嘩を売るのは危険 ・不動産事業者から刺されてもおかしくない だーかーらー ・・・ Orz そういう単純な話しでは無いのであります。詳しくは「レインズの情報を一般公開しない理由とは」と、「巷の「レインズの『オー

                                                                              例のスクレイピングしてる不動産物件検索が復活・・・で、結局「不動産屋が悪で黒い」、という話に・・・Orz｜torum

                                                                            • レインズの情報を一般公開しない理由｜torum

                                                                              本日、note運営から「あなたの記事が話題です！先週もっとも多く読まれた記事の一つになりました！」というメッセージを頂戴しました、ありがとうございます。先日の、「スクレイピングした物件データを利用した物件検索サービスは問題ないのか」であります。 その関連で色々な人の意見をつらつらと読んでいたところ、やはり、「レインズの情報を公開しろ」、というコメントが散見されました。いわゆるレインズのオープン化、と言われるやつですね。 レインズとそれにまつわるもろもろは、物凄く誤解が多く、適当な話しが出回り過ぎているので、本当にウンザリで、どれだけの人が分かって言っているのかは不明であります。 以前より、「レインズの情報は不動産ジャパンに掲載されている」みたいなデマは何度も何度も見かけます。「米国では一般でも普通にMLSを見れる」、みたいなデマも。 不動産や取引に係る情報は、機微な情報（売り主の特定に繋が

                                                                                レインズの情報を一般公開しない理由｜torum

                                                                              • Google『reCAPTCHA』を突破！『2Captcha』でブラウザ操作の完全自動化に挑む - Qiita

                                                                                目次 はじめに 2Captchaとは 2Captchaの使用準備 Python+Selenium+2Captchaで『reCAPTCHAv2』を突破 さいごに 参考 はじめに スクレイピングやブラウザ操作の自動化タスクにおける一番の難所は各種キャプチャの突破だと思います。そもそもキャプチャ機能はロボット操作されないために設置するものなので，それを突破しようとする時点でどうなのという気はしますが，それでもなんとかしたいと思うことがあります。そんなときの解決方法として「2Captcha」というサービスがあります。 最近このサービスを知り利用してみたところ，あまりに簡単にキャプチャ突破できたので，ここで紹介しようと思います。 ※ ご利用は自己責任でお願いします。くれぐれも悪用しないように。 2Captchaとは ロシアの会社が提供するキャプチャ機能を突破するためのサービスです。 2Captcha

                                                                                  Google『reCAPTCHA』を突破！『2Captcha』でブラウザ操作の完全自動化に挑む - Qiita

                                                                                • 「スクレイピングうまくできた!」口コミ無断転用の会社、日報に詳細：朝日新聞デジタル

                                                                                  保育士向けの職場紹介サイトで、園に関する口コミが他社サイトから大量に無断転用されていた。この紹介サイトを運営する東京都渋谷区の会社は、「スクレイピング」という手法を使って転用する経緯をネットのクラウ…

                                                                                    「スクレイピングうまくできた!」口コミ無断転用の会社、日報に詳細：朝日新聞デジタル
                                                                                  1 2 3 4 5 6 7 8 次のページ

                                                                                  新着記事

                                                                                  はてなブックマーク

                                                                                  公式Twitter

                                                                                  はてなのサービス

                                                                                  • App Storeからダウンロード
                                                                                  • Google Playで手に入れよう
                                                                                  Copyright © 2005-2025 Hatena. All Rights Reserved.