本記事では、RAGの性能を高めるための「HtmlRAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、WebページをRAGしたい時に回答精度を上げる「HtmlRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 ※前提として、HtmlRAGは、Webから取ってきた文書を使ってRAGしたいときにだけ有効な手法です。PDFやWordでRAGしたい場合、今回あまり関係ないです。 本題 ざっくりサマリー HtmlRAGは、RAGの精度を上げるための新しい手法です。中国人民大学と百川智能（Baichuan Intelligent）の研究者らによって2024年11月に提

インターネットセキュリティ企業の米Cloudflareは7月3日（現地時間）、AIによるWebサイトのスクレイピング（データの自動収集）を防ぐ新機能を発表した。この機能により、Webサイト運営者は簡単な操作でAIボットからサイトを守ることができるようになるとしている。 近年、米OpenAIの「ChatGPT」などの生成AIの登場により、AIの学習に使用されるデータの需要が急増している。そのため、多くのAI企業がインターネット上の情報を大規模に収集しようとしている。 従来、Webサイト運営者はrobots.txtというファイルを使用して、検索エンジンのクローラーなどのボットにサイトのどの部分にアクセスしてよいかを指示していた。 だが、この方法には限界があるとCloudflareは説明する。例えば、robots.txtは「紳士協定」のようなもので、悪意のあるボットは無視する可能性がある。また、

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 シンガポール国立大学と中国の浙江大学に所属する研究者らが発表した論文「EasySpider: A No-Code Visual System for Crawling the Web」は、Excelを使用するように視覚的にWebスクレイピングタスクを設計し、実行できるカスタマイズ可能なWebクローラーシステムを提案した研究報告である。公式ページはこちら。 このシステムは、マウス操作のGUI（Graphical User Interface）を使用して提供されており、コーディングの経験がなくても使えるため、ノンプログラマーでも簡単にタスクを設

WEBスクレイピングとは、WEBサイトから情報を自動的に取得し、必要に応じて、情報の加工などを行うことです。取得したデータは、ファイルやデータベースに保存します。 Pythonでは、newspaper3kというライブラリを利用して、非常に簡単にテキストデータをWEBサイトから自動的に取得することができます。 ニュースサイトやブログから、 自動的にデータを取得し保存したい。キーワードを取得して、トレンドを把握したい。自然言語処理を用いてサマリーだけを取得したい。という場合に利用すると便利です。 これを応用して、次のようなこともできます。 ニュースサイトのトップページに表示されている複数の記事を順に巡回し、ニュース記事やサマリー、キーワードをダウンロードし、後からまとめて読む。ブログ村やはてなブログなどのブログサイトや、個人ブログのトップページに表示されている複数の記事を順に巡回し、ブログ記事

みなさん DBPedia をご存知でしょうか．DBPedia とは，Wikipedia から構造化データ (RDF) として情報を抽出するものです．DBPedia では Linked Data として情報が体系化されているので，Wikipedia 内の必要な情報を，非常に簡単に抽出することができます． 「◯◯ の情報を Wikipedia からスクレイピングして取ってきて…」みたいな話をよく耳にし，そんなのスクレイピングしなくても DBPedia 使えば一瞬なのに… と感じることが最近多々あるので，DBPedia の普及もかねて簡単にまとめてみることにしました．DBPedia なんて初めて聞いたという方は，ぜひチェックしてみて下さい． Linked Data の基本 Linked Data では，エンティティ，プロパティ，リテラル の 3 つを使って情報を表現します．エンティティは上図の

Pythonによるスクレイピング&機械学習 Pythonによるスクレイピング&機械学習 開発テクニック BeautifulSoup,scikit-learn,TensorFlowを使ってみようより 学習ログ。 第二章。 前回 この本の第一章では、 APIの基本的な呼び方 Beautifulsoupを用いた、基本的なWebページでのスクレイピングの仕方 について記述してありました。 ので、Beautifulsoupの基本的な使用法に関しては、当記事では書きません。 この章で得られるもの 2章では、高度なスクレイピングを学びます。 主にJavaScriptを使用したサイト（動的に情報を取得してるようなサイト）や、 ログインが必要なサイトからデータを取得するのに必要なテクニックを学んでいきます。 今回は後者のみです。 環境 Python 3.6.0 コード こちら(Git)にて 高度なスクレイピ

Pythonを使ったWebスクレイピングに取り組みたいものの、 ・コードの書き方が分からない…。 ・スクレイピングに役立つライブラリが知りたい…。 という方も多いのではないでしょうか。そこでこの記事では、 ・Pythonのライブラリを使用したWebスクレイピングの方法 ・PythonでWebスクレイピングを行う際の注意点 について、サンプルコードを交えながら解説します。 Webスクレイピングが初めての方でも、この記事を読めばPythonでデータやタイトル、見出しなどを取得する方法がわかります。 Webスクレイピングとは、WebサイトからWebページのHTMLデータを取得し、見出しや写真といった特定のデータを抽出するコンピューターソフトウェア技術のことです。Webスクレイピングによって得られた情報は、不要な部分の削除といった加工が自動的に行われます。そのため、人の手でデータを収集する際にかか

手間をかけずスクレイピングもどきのことをやりたい人向けの記事です。 動機 HTMLをほじりたくなることありませんか？ HTMLパーサーなどのライブラリの準備をせず、さくっとHTMLから文字列でぶっこ抜きたくなりませんか？ 自分の仕事の中でそんなことが何回か続いたので、環境準備に挫折しないようにできるだけ簡単に、複雑なことができるものをまとめてみました。 使ったもの PHP 7.0.21 (cli) (built: Jul 5 2017 13:31:19) ( ZTS ) PCRE Library Version 8.38 2015-11-23 正規表現(preg_match, preg_match_all関数) やってみる まずはHTMLを持ってくる 外部ライブラリを使わないでHTMLを取りに行くとなると、file_get_contents関数ですね。 http://php.net/man

HTMLファイルをパースして、 特定の文字列を抜き出したり 特定の属性を書き換えたものを書き出したり ってことをやりたい時、今までは`cheerio`を使うことが個人的には多かった。 GitHub - cheeriojs/cheerio: Fast, flexible, and lean implementation of core jQuery designed specifically for the server. 懐かしい`jQuery`的な記法で操作できる・・とはいえ、もはや`jQuery`のことぜんぜん覚えてなくて、生DOMのAPIばっか使っちゃったり。 かといって、`cheerio`が内部で使ってるHTMLのASTパーサーである`parse5`や`htmlparser2`をそのまま使うのは、ローレベルすぎて乗り気じゃなかったり。 というところで、なんか代用できるものはないかな

Webスクレイピングをしたいのだけど、VPNやプロキシーで一番良いサービスはないだろうか！？ Linuxで使えるベストなVPNサービスを教えてほしい！ …という形に、最適なプラクティスをご紹介します。 ということで、こんにちは！ Webサイトを自動で取得する「Webスクレイピング」をする上で、必ずネックとなるのがアクセスするIPアドレスの問題です。 スクレイピングする対象のサービスの営業妨害にならない範囲でスクレイピングするのは言うまでもない当然の話ですが、Webサイトによっては、少しのアクセスでも不正なアクセスと認識してIPアドレスごとブロックしてしまうことがあります。 これを回避するためには、定期的なIPアドレス変更などの対応が必要です。 一般的にはこうした問題はプロキシーやVPNサービスを使って回避することになりますが、具体的にはどうしたら良いのでしょう？ 結論を言いますと、「Nor

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

こんにちは、最近になってつみたてNISAを始めた今年2年目の社会人です。つみたてNISAは運用益が非課税、半自動的に積立運用可能、途中で取り崩し可能と様々なメリットがあり、非常に有益な制度です。そんなつみたてNISAを活用する上でよく耳にするのは「信託報酬が安くてパフォーマンスの高い米国インデックスファンド一択！一時的に暴落しても戻るから気にするな！」という話です。確かに2000年のITバブル崩壊、2008年のリーマンショックという暴落を経験しながらも、S&P500といった代表的な米国インデックスの直近20年のパフォーマンスは素晴らしいです。 しかし、本当に米国インデックスファンドを積立・放置するだけでいいんでしょうか？頭を使わずに、というのは言い過ぎかもしれませんが放置しているだけで資産が殖えるなんて美味い話、不安を感じるのも確かです。そこで過去に米国インデックスファンドを積立・放置して

こんにちは！ エンジニアのまうみです。 突然ですが、「今使ってるブログサービスからWordPressに引っ越ししたい」と検討中の方はいらっしゃいますか。 もし、現在のブログサービスに記事をエクスポートする機能がない場合、手作業で記事を更新する必要があります。10記事程度ならまだしも、100記事以上ともなると、それは流石に手作業では骨が折れますね。 そこで今回はGoogle Apps Script（以下：GAS）で、スクレイピングしたデータをスプレッドシートに保存するプログラムを作り方をご紹介します。 【前提】スクレイピングとは スクレイピングとは、あらかじめ指定したWebサイトを巡回して情報を取得し、新たな情報を出力するためのプログラムです。 今回は、開発環境を構築することなく簡単にプログラムを実行できるGASを使用します。特に開発環境は初心者がつまづくところなので、そこをスキップできるの

はじめに みなさん、こんにちは。 株式会社キカガクの機械学習講師 藏野です。 キカガクは、「AI を含めた先端技術の研修」を行っている会社です。 この記事は、「Web スクレイピングで特定のデータを取得して CSV で出力」までの実務的な内容を取り扱います。 スクレイピングの記事は多くありますが、活用を見据えてデータを取得し保存するところまで取り組みたいという方は、ぜひ参考にされてください。 この記事は、Python を活用しながら Web サイトのデータ収集を効率化（１）【環境構築編】の続きとなっています。 必ず読む必要はありませんが、スクレイピングの仕組みを復習したい方は一読をオススメします。 目次 スクレイピングの手法 環境構築 実践 おわりに お知らせ Web スクレイピングの手法 スクレイピングには、以下の 2 つの手法があります。 Selenium を使用して、ブラウザを自動操

Playwright が昨年１年間で大幅パワーアップしていたので、使い方を確認したときの記録のまとめです。 ブラウザを自動操作できるということは、簡単なスクレイピングやブラウザ側のテスト自動化が簡単にできるようになります。 特に、Python での解説がまだまだ少なかったので、自分の学習を含めてまとめました。 今回は入門編ということで全体像をつかみつつ使用方法の流れを確認していただければありがたいです。 Selenium や Puppeteer を使っている方も、一度試す価値ありと思っています。 選定した理由 ブラウザのテストを Python で自動化したかったんです。 私なりの要件がありまして、非常にわがままな要件でしたが余裕ですべてクリアしました。 Python で書けること。社内で Python を使える方が多いので。pytest と連携してくれるとなおうれしい。 Docker コン

0. はじめに ホームページの模写をするのに画像をすべてダウンロードするのが面倒だ、と思ったことはないだろうか。urlと保存先のディレクトリ名を入力しただけでそのページに使われている画像をすべてダウンロードする機能を作成したから以下にまとめる。 1. 必要なモジュール 必要なモジュールは以下の通りだ。requests、bs4はあらかじめpip等でインストールする必要がある。又、importする必要はないがhtml5libも使用する。

はじめに みなさん、こんにちは。 株式会社キカガクの機械学習講師 藏野です。 キカガクは、「AI を含めた先端技術の研修」を行っている会社です。 この記事は、「Web スクレイピングで特定のデータを取得して CSV で出力」までの実務的な内容を取り扱います。 スクレイピングの記事は多くありますが、活用を見据えてデータを取得し保存するところまで取り組みたいという方は、ぜひ参考にされてください。 この記事は、Python を活用しながら Web サイトのデータ収集を効率化（１）【環境構築編】の続きとなっています。 必ず読む必要はありませんが、スクレイピングの仕組みを復習したい方は一読をオススメします。 目次 スクレイピングの手法 環境構築 実践 おわりに お知らせ Web スクレイピングの手法 スクレイピングには、以下の 2 つの手法があります。 Selenium を使用して、ブラウザを自動操