Metaがルイジアナ州北部リッチランドにある400万平方フィート(約37万平方メートル)の土地に、同社最大規模となるAIデータセンターを計画していることがわかりました。ルイジアナ州によると、この計画は「ルイジアナ州史上最大規模の民間資本投資」になるとのことで、費用は100億ドル(約1兆5000億円)規模になる見込みです。 Landry Announces Meta Selects North Louisiana as Site of $10 Billion Artificial Intelligence Optimized Data Center | Office of Governor Jeff Landry https://gov.louisiana.gov/news/4697 s Meta selects Entergy, Northeast Louisiana as site of

はじめに企業の業務において、請求書や領収書、名刺などの紙媒体の情報を電子化し、管理・活用することは非常に重要です。しかし、これらの作業は手作業で行うと多大な時間と労力を要します。また、人的ミスも発生しやすく、業務効率化の大きな障壁となっています。そんな中、近年、OCRの性能向上やLLMの性能向上によって、あらゆる業務の効率化できる可能性が高まっています。この記事では、写真や書類から情報を抽出する取り込み業務について、OCRとLLMを利用したソリューションについて紹介します。 情報抽出などの取り込み業務の課題情報抽出などの取り込み業務では、以下のような課題が存在します。 【記事の続きはこちら】本記事は弊社オウンドメディア「AlgoMagazine」に移行しております。本記事の続きを読まれたい方は、下記URLよりご覧ください。

sponsored いまゲーミングノートを選ぶなら“薄軽”が必須条件、Ryzen AI 9とRTX 4060搭載の最新「ROG Zephyrus G16」 sponsored 「HUAWEI WATCH GT 5 Pro」に無料アップデートで新機能！ 「HUAWEI WATCH D2」にも搭載！ より幅広い健康管理が実現！ ファーウェイ製スマートウォッチに無料で加わる心電図（ECG）測定機能を試す sponsored CORSAIR「iCUE LINK TITAN RX RGB」をチェック iCUE LINKで面倒な取り付けやRGB設定が超簡単、冷却性能もバッチリ高いCPUクーラーが3万円強！ sponsored ASUSの新ケース「TUF Gaming GT502 Horizon」にCore Ultra 9 285Kを採用 あれもこれもASUS！ 新ピラーレスケースも渋カッコいいBTOP

強力な生成AIモデルを訓練するには膨大な量の訓練データを必要とする。音楽生成AIスタートアップ2社に対して大手レコード会社が今回起こした訴訟は、これまでで最大のメッセージを伝えている。それは「高品質な訓練データは無料ではない」ということだ。 by Melissa Heikkilä2024.07.15 11 この記事の3つのポイント 生成AIブームを支える訓練データの大規模化に、データ所有者らが反発 大手レコード会社がAI音楽企業を訴えた訴訟が、AIの未来を左右する可能性 AI企業は高額な費用を支払うか、効率的なモデル構築を迫られている summarized by Claude 3 この記事は米国版ニュースレターを一部再編集したものです。 生成AIブームは規模に支えられている。訓練データが多ければ多いほど、モデルはより強力になる。 しかし、問題がある。人工知能（AI）企業が訓練データ取得のた

この記事はKaggle Advent Calendar 2021の4日目の記事です． はじめに この記事ではテーブルデータコンペティションにおいて，主に数値データ，カテゴリデータをもとに特徴量を作成する方法をまとめました．発展的な内容というより，初めてコンペに参加する方でも使える汎用的な特徴量エンジニアリングを紹介します． 特徴量エンジニアリング！...そのまえに モデルについて 特徴量エンジニアリングはモデルによって処理が変わることがあります． 例えば勾配ブースティング決定木(GBDT)といった決定木はスケーリングする必要がなく，またLightGBMなどは欠損値をそのまま扱うことができます．一方でニューラルネットワーク(NN)や線形回帰モデルはスケーリングおよび欠損値補完をする必要があります． このこと以外にも，決定木は各特徴量間で差や比率を表現することが苦手であるために明示的に作る必要

Secrets Manager Secrets Manager とは AWS Secrets Manager とは AWS Secrets Manager は、アプリケーション、サービス、および IT リソースへのアクセスを管理するのに役立ちます。 これだけではよくわからないと思うので、特徴について整理します。 Secrets Manager の機能 シークレットの保存と管理 Secrets Manager は、セキュリティが重要な情報を暗号化して保存し、必要に応じてアクセスを提供します。AWS KMS（Key Management Service）を使用してシークレットを暗号化することで、データの安全性を確保します。 自動ローテーション シークレットを定期的に変更することはセキュリティのベストプラクティスです。Secrets Manager は、特定のスケジュールに基づいてシークレットを

［評価指標］再現率（Recall）／感度（Sensitivity）とは？：AI・機械学習の用語辞典 用語「再現率」、別名：「感度」について説明。二値分類タスク（問題）に対する評価指標の一つで、実際の正解値が「陽性」で、かつ、予測値も「陽性」だった正解数（＝TP）を、実際の正解値が「陽性」である全てのデータ数（＝TP＋FN）で割った値を指す。 連載目次 用語解説 統計学／機械学習における再現率（Recall）もしくは感度（Sensitivity）とは、（基本的に）二値分類のタスク（問題）に対する評価指標の一つで、正解値（真の値）が「陽性（Positive、正例）」であるデータ全体のうち、機械学習モデルによる予測値も「陽性」で正解だった確率である。0.0（＝0％）～1.0（＝100％）の範囲の値になり、1.0に近づくほどより良い。 言い換えると再現率は、正解値が陽性である場合において、機械学習

はじめにGPT-4o、Gemeniのマルチモーダルが進化したとXで話題になっています、路線図が読み取れた、もえないごみはダメだとXで話題になっています GPT-4o、視覚能力すごい‥‥ 人間でも認識困難な東京の路線図を把握して最短経路を提案してくる pic.twitter.com/ONA2b24Hyb — 大佐 | AIオタク (@wasedaAI_taisa) May 25, 2024 路線図の方はLLMの学習時に情報を持っていて、与えられた画像が路線図だと認識した可能性が高そうです。もえないごみの収集のようにLLMには未学習の内容を答えさせるにはどうしたら良いかを考えてみたいと思います。 ユースケースを考える単にデーター化しますだとどのようにするのか難しいので、今回はごみの収集日をAIに答えさせるというシチュエーションで行きます。 山田さんは、諫早市西郷に住む会社員、会社にいる時にごみ

いつの間にか春も過ぎ去りすっかり夏模様の今日この頃皆さんいかがお過ごしでしょうか？菅野です。 生成AIの重要性が高まり、生成AIで利用できるテキスト量が長くなるにつれてにつれて、プロンプトエンジニアリングの重要性が高まってきました。 プロンプトエンジニアリングとは、そのプロンプトにどのような命令、事前情報等を入力すると、より適した応答が返ってくるかを設計する技術です。 そんなプロンプトエンジニアリングを最適化する為のPythonライブラリ、SAMMOがMicrosoft社から2024年4月18日にリリースされたので紹介していきます。 www.microsoft.com SAMMOとは？ Structure-Aware Multi-objective Metaprompt Optimizationの頭文字をとったフレームワークです。 元来、プロンプトエンジニアリングでは、エンジニアが、様々な

HOME ニュース プレスリリースの記事一覧 2021年度版「データサイエンティスト スキルチェックリストver.4」およびデータサイエンス領域タスクリスト ver.3」を発表 2021年度版「データサイエンティスト スキルチェックリストver.4」およびデータサイエンス領域タスクリスト ver.3」を発表 このたび、データサイエンティスト協会 スキル定義委員会（委員長：安宅 和人、副委員長：佐伯 諭）は、11月16日（火）に開催した「データサイエンティスト協会8thシンポジウム」内において発表した、データサイエンティストに必要とされるスキルをまとめた「データサイエンティスト スキルチェックリスト」の第4版を公開いたしました。 本内容は、2019年に第3版として公開したデータサイエンティストの「ミッション、スキルセット、定義、スキルレベル」および「スキルチェックリスト」を、現在のビジネス環

近年のデータベースの新潮流にNewSQLと呼ばれる一群のデータベース製品群の登場がある。そのコンセプトを一言でいうと、RDBとNoSQLのいいとこどりである。SQLインタフェースと強いデータ一貫性（ACID）というRDBの利点と水平方向のスケーラビリティというNoSQLの長所を兼ね備えた夢のようなデータベースである。下図に見られるように、RDBとNoSQLが鋭いトレードオフを発生させていたのに対して、NewSQLではそれが解消されているのが分かる。 RDB vs NoSQL vs NewSQL本当にそのような夢の実現に成功しているか、というのはまだ議論が続いているが（クエリのスループットを出すためにレイテンシを犠牲にしているので本当にトレードオフを解消はしていない、などの問題が指摘されている）、商用でも利用可能な製品としてGoogle Spanner、TiDB、YugabyteDB、Coc

深層学習の技術が著しく進歩した結果、コンピュータビジョンや自然言語処理、音声信号処理などの分野では深層学習モデルの性能が古典的な手法のを大きく上回っており、すでにスタンダードなアプローチになっています。 しかし、テーブルデータを扱うタスクにおいては、深層学習の有効性は明らかになっていません。本記事では、AI Solution 事業部のアルゴリズムエンジニアよりテーブルデータにおける従来手法と深層学習の比較論文のご紹介をしていきます。 背景近年、テーブルデータを扱う深層学習モデルも登場し、一部の論文では決定木ベースのモデルと同等かそれ以上の性能を示しています。しかし、私が実務で試す中では決定木ベースのモデルの方が性能が高く、学習と推論が速く運用コストでも優れているため、深層学習モデル採用には至っていません。 より一般的なテーブルデータのタスクにおける、決定木ベースモデルと深層学習モデルとの性

Snowflakeが、「Snowflake Streamlit」を採用したNTTドコモにおける全社規模のデータ活用プロジェクトについての記者説明会を開催した。約9900万のｄポイント会員データの活用をグループ内で進めていくうえで直面した課題と、Streamlitを利用したアプリ開発による解決策、今後の社内展開方針について説明した。 【もっと写真を見る】 Snowflakeは2024年2月22日、「Snowflake Streamlit」を採用したNTTドコモにおける全社規模のデータ活用プロジェクトについての記者説明会を開催した。 ゲストスピーカーとしてNTTドコモ データプラットフォーム部 部長の鈴木敬氏が出席し、約9900万のdポイント会員データの活用を社内で積極化させていくうえでの課題と解決策、今後のさらなるデータ活用促進の方針などを語った。Streamlitを使って自社開発した、「画

導入：LlamaIndexとは？ LlamaIndexは、Large Language Models（LLMs）の機能を拡張するために特別に設計された高性能インデックス作成ツールです。単なるクエリ最適化ツールではなく、応答合成、組み合わせ性、効率的なデータ保存など、高度な機能を提供する包括的なフレームワークです。複雑なクエリに対応し、文脈に合った高品質の応答を必要とする場合、LlamaIndexが最適なソリューションです。 本記事では、LlamaIndexのコアコンポーネント、高度な機能、プロジェクトへの効果的な実装方法について、テクニカルな詳細を解説します。また、LangChainなどの類似ツールと比較して、LlamaIndexの機能を完全に理解していただけるようにします。 最新のLLMニュースを知りたいですか？最新のLLMリーダーボードをチェックしてください！ LlamaIndexとは

Deep Learning の、特に画像分類系のタスクでよく使用される、 Test Time Augmentation (TTA) という Augmentation の手法を友人 (@hattan0523) に聞いたので、実際変わるものかと思ってカジュアルに試してみました。 なんかコンペとかでは必須らしい。 ※ 間違いなどご指摘歓迎です。 Test Time Augmentation (TTA) とは 機械学習、特に Deep Learning では、大きなモデルを学習させるためにたくさんの訓練データが必要になります。 データが増えるほど精度が上がったり、複雑なモデルも学習できるようになることが知られています。 そこで、訓練用データを少し加工し別のデータとしてデータセットに加えることで、学習に使えるデータの量を増やす試みがよく行われており、 Data Augmentation と呼ばれます

そもそも、べき等性とは、どういうことを言うのでしょうか ? これは「ある操作を 1 回行っても複数回行っても結果が同じである」ことをいう概念です。 例えば、注文処理を考えます。画面インターフェースで、注文確定 / 送信ボタンを押すという操作で二度三度押してしまうユーザーがいます。これで同じ内容の注文が複数回登録されてしまったら問題です。こういったケースでは、画面側で連続して押せないような実装を追加したり (①)、サーバー側で同じ注文の処理であることを認識して適切に一つの処理と判断するようなこと (②) が必要です。 この例では、画面側の制御を入れたほうが簡単なように見えます。しかし、現実には画面とサーバーとの間のネットワークの問題や画面以外からの HTTP コールなどを考えると、このような重複リクエストが起こってしまうという可能性はゼロではありません。 このようなものへの対処として、サーバ

はじめに 大規模言語モデルの学習にあたり、大規模なデータセットで学習することが重要ですが、高品質なデータを用いることも重要です。 Webなどから大規模に収集したデータを用いることが一般的ですが、そのままだとかなりノイズが多く、モデルの学習が困難です。 本記事では、言語検出、テキスト正規化、テキストのチャンキング、品質フィルタリングのデータ前処理によりノイズを取り除く方法について解説します。 言語検出 Webから大規模に収集したデータには、様々な言語が含まれます。 日本語をターゲットとした言語モデルの学習のためには、日本語のデータのみを抽出する必要があります。 言語検出のPythonライブラリとして、pycld3やlangdetectが有名ですが、2022/1/11にlinguaがリリースされています。開発者のベンチマークによると、性能は他のライブラリと比べて高いです。 特にpycld3はp

~「AWS LLM開発支援プログラム」で開発、近日公開予定~ カスタマーサポートDXを推進するカラクリ株式会社（東京都中央区：代表取締役CEO 小田志門、以下カラクリ）は、アマゾン ウェブ サービス ジャパン合同会社（以下、AWSジャパン）の「AWS LLM 開発支援プログラム」を活用し、2023年9月より国内最大規模となる700億パラメーターのLLMを開発いたしました。2024年1月18日に、LLMのベンチマークテスト「Japanese MT-Bench」で性能評価を実施し、国産LLMモデルとして最高性能（※）の評価が採点されました。世界市場での競争力を持った国産AIモデルの構築を加速するため、本モデルを公開可能な形に修正して、近日中に公開する予定です。 ※ 「Japanese MT-Bench」はStability AI社が提供しているベンチマークテストです。2024年1月18日に性能

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 野村総合研究所（NRI）とグループ企業のNRIデジタルは1月11日、2024年春以降にデータ漏えいリスクに対処する「プライベート大規模言語モデル（LLM）」を企業ごとに提供すると発表した。性能と効果はNRIの社内業務で検証済みという。 プライベートLLMは、米OpenAIの「GPT-4」など外部サービス型LLMに対して、ユーザーの機密情報や機微情報のデータを送信してしまいかねないリスクに対応するという。プライベートLLMでは、オープンソース型LLMをNRIのデータセンターのプライベートクラウドサービスや企業のオンプレミス環境で動作させる。機密性の高いデータの漏えいリスクを極少化してLLM学習に用いるとする。これにより金融機関など高次の情