「知識ゼロから学べる」をモットーにした機械学習入門連載の第4回。過学習を抑えて予測精度を向上させるための「正則化」手法として、ラッソ回帰とリッジ回帰に注目。その概要と仕組みを図解で学び、Pythonとscikit-learnライブラリを使った実装と正則化の効果も体験します。初心者でも安心！　易しい内容です。 連載目次 前回（第3回）では、売上予測など「データの傾向を把握して、数値を予測する」際に役立つ、機械学習の代表的な手法である線形回帰について学びました。この予測精度を「もっと高めたい」とは思いませんか？ モデルを評価した結果、予測精度、つまり機械学習モデルの性能があまり良くなかったとします。原因として、過剰適合（過学習）の可能性が考えられる場合、過剰適合を減らすための手法である正則化（Regularization）を試してみる価値があります。そこで今回は、ラッソ回帰とリッジ回帰という正

この記事は 2024 TSG Advent Calendar 3日目の記事です。昨日の記事は @__dAi00 さんの記事 AivisSpeechを使ったDiscordボットの作成　①AivisSpeechをGoogle Cloud Runにデプロイする でした。12/5 公開予定の続編も楽しみです。 今回は、初日に公開した以下の記事の副産物です。 import unicodedata # Python 3.12 まで 1000000000000.0 # Python 3.13 から 1000000.0 print(unicodedata.numeric("兆")) 大変だ。Python 3.13 から「5000 兆円」が 50 億円になってしまう（？） unicodedata.numeric メソッドと Unicode 例によって Unicode が関係してきます。前編でも触れたとおり、

こんにちは、株式会社松尾研究所シニアデータサイエンティストの浮田です。本記事は、松尾研究所 Advent Calendar 2024の記事です。 私は今年、業務周辺のビジネス書や技術書を読むのに時間を割くよう心がけてきました。これはビジネススキルにしろ技術にしろ、業務ドリブンに都度調べるだけでは習得できるスキルに限界があり、しっかりと本を読んで体系的に学ぶことも大事だと思っているためです。そこで今回は、私が今年の松尾研究所で業務をする中で、何かしら業務の役に立ったことがある本を紹介したいと思います。 この記事では、まず私の松尾研究所での業務内容について簡単に記した後に、「仕事の進め方」「チームマネジメント」「クライアントワーク」「機械学習」「エンジニアリング」の5カテゴリに分けて紹介していこうと思います。 私の業務について 松尾研究所では、1) 様々な企業様とのAIの共同開発、2) 社内プ

こちらはエムスリー Advent Calendar 2024 4日目の記事です。 こんにちは、最近ニューラルネットの可視化についての論文を読んだAI・機械学習チーム(AIチーム)の農見(@rookzeno)です。ニューラルネットの可視化で有名なものといえばGrad-CAMだと思いますが、僕が読んだ論文ではstructured attention graphs (SAGs)という可視化の手法を使ってました。これは平たく言えばニューラルネットが予測できる画像の最小限の部位はどれかを出すものです。 目と鼻と口以外はぼかしてても画像モデルが正しい予測ができる この方法の良さとしては、複数の注目部位が得られること、ニューラルネットの予測精度と直接相関した注目部位が得られることの2点です。この部分の画像さえあれば精度が出るというものが得られるのは面白いと思いました。ただ、これってGrad-CAMで注目

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しております。 今回は、推論ステップをモンテカルロ木探索を用いて導き出し、複雑なタスク(例えば、数学の問題を解くなど)での性能を大幅に引き上げる手法、「HiAR-ICL」について解説します。 サマリー LLMに複雑なタスクを任せるための手法は、これまで様々なものが提案されてきました。有名なところで「ステップバイステップで考えて」とLLMに伝える手法や、Chain of Thoughtなどが挙げられます。 今回紹介するHiAR-ICLもそんな手法の一つですが、推論ステップの抽象化、推論ステップの探索と個別のタスクへの適応によって同じLLMモデルを使用した他の手法と比べて、高い精度を実現しました。 複雑な推論を得意とするモデルとしてすでにo1モデルが存在していますが、以下の観

Ubuntu Weekly Recipe 第841回ローカルLLMの実行ツール「Ollama」のGUIフロントエンド⁠⁠、Alpacaを使用して生成AIを使用する 今回は、ローカルLLMの実行ツール「Ollama」のフロントエンド、Alpacaを紹介します。 Alpacaとは Ollamaに関しては第825回で紹介しました。そこではフロントエンドとして、Open WebUIを使いました。 もちろんOpen WebUIを使うのもいいのですが、Ollamaにはフロントエンドがたくさんあります。Ubuntuで動作するGUIフロントエンドはないかなと思って探してみたところ、Alpacaを発見しました（macOS向けがやたら充実している印象です⁠）⁠。 Alpacaは、Flatpakパッケージになっているので導入とアップデートが簡単で、PythonのGTK4バインディングを使用しているためUbunt

はじめに最近は､10bクラスの大規模言語モデル(LLM)が特定のスキルを身につけるのに必要な要素を解明するタスクに取り組んでいます｡ このサイズのモデルは､思ったよりも「おバカ」なため､例えば選択肢問題をきちんと解けるようになるためだけに､数百件以上の訓練(ファインチューニング)が必要な事例も出てきました｡ 本記事では､LLMに身に着けさせる「タスク」の幅を､もう少し増やしながら､挙動を追っていきます｡ 背景: LLMの理解力はどの程度なのか?努力 vs 頭の良さこれまでの検討や経験を踏まえ､筆者は､大規模言語モデルの能力を以下のような図で位置付けています｡* *あくまで個人の見解です｡異論は多々あるかと思います｡ このグラフのy軸は､「頭の良さ」のようなパラメータを表します｡ 例えば､「1聞いてNを知る」(N>>10)ことができるタイプの学生は､とても頭が良いので､適当な学習教材を与え､

はじめに チューリング生成AIチームの荒居です。 この記事は生成AIアドベントカレンダー2024の4日目の記事です。 この記事では、動画生成モデルを題材に、vLLMを用いて独自のマルチモーダルモデルを推論させる方法について解説します。vLLMはLLMの高速推論・サービングのライブラリで、LlamaやQwenなどの有名なモデルについてはサポートされているため非常に簡単に利用することが可能です。一方で、独自に実装したモデルを組み込む方法については公式ドキュメント以外ではほとんど情報がなく、かつ公式ドキュメントも情報が豊富とは言えないためなかなか手が出しづらい状況になっています。 そこで、本記事では、公式ドキュメントには書かれていない内容も含めて、独自のマルチモーダルモデルをvLLMに組み込む具体的な方法を丁寧に解説します。特に、動画生成モデルを例に、Hugging Face Transform

AWS、100以上の生成AIの基盤モデルが選べる「Amazon Bedrock marketplace」発表 Amazon Web Services（AWS）は、米ラスベガスで開催中のイベント「AWS re:Invent 2024」の基調講演で、生成AIの基盤モデルをマネージドサービスで提供するAmazon Bedrockの新機能として、100以上の基盤モデルを選べる「Amazon Bedrock marketplace」を発表しました。 生成AIはドキュメントの要約や音声認識、翻訳、果てはタンパク質の研究まで、さまざまなアプリケーションを可能にしました。と同時に、こうしたさまざまなアプリケーションの種類に応じて、基盤モデルのコスト、レイテンシなどを適切に選択することの重要性も高まってきています。 Amazon Bedrock marketplaceはこうしたニーズに応えるためのサービスで

この記事は、2024年12月5日発行の「モノづくり総合版 メールマガジン」に掲載されたMONOistの編集担当者による編集後記の転載です。 石川県でプレス加工などを行う有川製作所が「まだ手でやっているんですか」という学生の声をきっかけにロボット（協働ロボット）の導入に踏み切り、自動化に成功しただけでなく、採用活動にも好影響をもたらしたという内容です。 これは自動化だけでなく、デジタル化、いわゆるDX（デジタルトランスフォーメーション）にも当てはまるだろうと、いまさらながら考えています。 ロボットを導入して社員が増えるなら、AIやDXだって 関連記事 製造現場もソフトウェアデファインドへ、ロックウェルが描く次世代の自動化 米Rockwell Automation（ロックウェル・オートメーション）の年次イベント「Automation Fair 2024」において、初日の基調講演に同社 CEOの

変革しなければ企業の未来は消滅？　ガートナーが2025年に向けて獲得すべきマインドセットを発表：AI共生時代に最も危険なのは「人が考えないこと」 ガートナージャパンは、「2025年に向けて獲得すべきマインドセット」を発表した。歴史的な時代変化の中で、テクノロジーを駆使できる企業とそうでない企業の二極化が進むため、企業は生き残りをかけて新たなマインドセットを習得すべきだとしている。

ピー・シー・エーが「DX推進とやりがい」に関する調査結果を発表した。「現在の仕事に情熱を持ち、満足している」の回答割合が、DXが推進されている企業の社員は92％、されていない企業の会社員は49％だった。 ピー・シー・エーは2024年11月22日、「DX推進とやりがい」に関する調査結果を発表した。 同調査は、自社のDX（デジタルトランスフォーメーション）推進を実感している会社員100人と、実感できていない会社員100人の合計200人を対象とした。 初めに、現在の仕事に情熱を持ち、満足しているかを尋ねたところ、DXが推進されている会社員は「当てはまる」が32.0％、「やや当てはまる」が60.0％となり、92.0％が仕事に情熱を持ち、満足していることが分かった。 推進されていない企業の社員は、「当てはまる」が10.0％、「やや当てはまる」が39.0％となり、満足していると回答したのは49.0％だ

米Google傘下のGoogle DeepMindは12月4日（現地時間）、生成AIベースの高精度天気予測モデル「GenCast」を発表した。最大15日先までの日々の天気と台風などの気象現象の両方を、「従来の最先端システムよりも正確に予測できる」としている。 GenGastは気象軌跡を表す50以上の予測で構成される「アンサンブルモデル」で、従来の単一の推定値を提供する決定論的モデルとは対照的だとDeepMindは説明する。また、複雑なデータの確率分布をモデル化し、新しいサンプルを生成できる生成的な機械学習手法である「拡散モデル」でもある。 例えば、台風の進路予測でも優れた性能を示すという。例として、2019年に日本に上陸した台風19号の予測性能を紹介した。下の画像では、上陸7日前はまだ不確実性が高い状態だが、上陸が近づくにつれて正確な進路予測が可能になることを示している。 DeepMind

生成AIで作られた写真への違和感ってなんだろう？ この疑問から本企画がスタートした。 生成AIで作られた写真に写っている人物は、誰もなんとなく似ていて、｢この人の顔だけは覚えてる｣みたいなユニークな出会いがない。ディープラーニングによって得られた膨大なデータの中から生み出された、“平均的な顔”のような気さえする。オリジナリティが感じられない。 それは人物以外、その画像の“シーン”にも当てはまる。 人間が日常の中で撮った絶妙なニュアンスのある写真をAIで生成することは難しいのではないだろうか。 なんでもない日常を写した写真を生成してみる今回の企画では、私たちがなんとなくスマホで撮った日常の写真を画像生成AIで再現してみることを試みた。具体的には、編集部員が自分のスマホの写真フォルダから持ち寄った“絶妙なニュアンスの写真”を画像生成AIソフト｢midjourney｣を使って生成する。それによっ

TechTargetは2024年10月29日（米国時間）、「GitHub Copilot Autofixから見る、AI（人工知能）の信頼度」に関する記事を公開した。AIによるコード自動生成は、コーディングの生産性を高めるとされる。しかし、安全なソフトウェアのデリバリー速度が向上するとは言い切れない状況だ。この課題に対応するため、「GitHub Copilot Autofix」のようなAIを活用したソフトウェア脆弱（ぜいじゃく）性検知ツールは機能を強化している。だが、こうしたツールの利用にも課題はある。 コードへの脆弱性の混入を防ぐCopilot Autofix Copilot Autofixは2024年8月にAdvanced Security利用者向けに一般提供され、同年9月には全てのリポジトリに利用できるようになった。リポジトリ内のコードをスキャンしてセキュリティの脆弱性を検出し、開発者

結論→静観 その根拠を以下に挙げていく Q.何もしなかったらやばいのでは？→A.手遅れGoogleやMetaといったビッグテック企業が巨額投資を投じてここまで本気を出している以上、生成AIは社会の深部へと浸透していく。彼らの投資規模は、もはや一般市民の反対などでは止められないレベルに達している そして、それは単なる技術革新ではなく、社会構造の根本的な変革を示唆している。だからこそ、今は静観しておくのが生存戦略としては賢明だろう ただし、それはあくまで戦略としての賢明さである。抵抗する道義的意義は否定しない。ただ、抵抗するにしても、まずは状況を正確に理解する必要があるだろう Q. AIによる権利侵害はどうなる？→ A. 問題の本質は感情であるそもそも機械学習は基本的に合法だ。これは法的な観点からすれば、すでに決着がついている問題である 反AI派の根底にあるのは「気持ちの問題」である 「自分の

2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 Anthropicは、AIシステムを色々なデータやツール、アプリと安全に繋ぐことができる「Model Context Protocol」（MCP）を発表しました。社内データベースやGoogle Driveのファイル、GitHubのコードやSlackの会話内容などにチャットAIがアクセスできてやり取りできるようになります。 動画生成AIを提供する「Runway」は、画像生成モデル「Frames」を発表しました。このモデルでは、独特なスタイル出力を特徴としており、1980年代映画の特殊メイク効果、1970年代のレコードジャケット、日本のZINE風など、様々なスタイルの世界観を作り出すことができます。 Luma AIが、動画生成AI「Dream Mach

米OpenAIは12月3日（現地時間）、初のCMO（最高マーケティング責任者）として米CoinbaseのCMO、ケイト・ラウチ氏を迎えるとXで発表した。ラウチ氏はOpenAIのポストに「全人類に利益をもたらすAIがどのようなものか世界に示す一助となることを、この上なく嬉しく思っている」とリプライした。 ラウチ氏はまた、「今週の金曜日がCoinbaseでの最後の日になる」とXにポストした。 同氏は、Meta（当時はFacebook）にマーケティング幹部として10年以上務めた後、2021年にCoinbaseの初代CMOに迎えられた。 Coinbaseでは、2022年のスーパーボウルの斬新なCMで注目を集めた。 OpenAIは「コンシューマおよび企業マーケティングにおける同氏の経験は、われわれが人々をAIの変革力と結びつける方法を構築してくれるだろう」としている。 10月に66億ドルの資金調達と

シェア 129 ツイート 0 はてブ 223 アクセンチュア株式会社は新執行体制を発表し、生成AIビジネス含めた今後の注力領域に関する記者説明会を開催した。説明会の冒頭、同社の江川社長が登壇して、今後は更に「生成AI」に軸足を置くこと、社員に寄り添う「AIエージェント」（AIバディ）を開発し、既に同社ではほぼ社員全員が「AIエージェント」を活用していることを発表した。 アクセンチュア株式会社 代表取締役社長 江川昌史氏 同社は「生成AIはこれまでの技術に比べて、普及のスピード感がまったく異なり、今後も加速度的に普及していく」と強調。ビジネス環境が大きな変革期を迎えていることを肌で感じてのことだろう。 営業、生産、購買のAI同士が対話し、議論し、経営者や従業員を支援するのが、デジタルツイン･エンタープライズのコンセプト。同社内では既にほぼ全社員が「AIエージェント」を活用している。今後は別の

JPChainが開発・運営する音声合成AIプロジェクト「Aivis Project」で提供される「AivisSpeech」は、無料で誰でも簡単に使える音声合成ソフトウェアです。人間の声と区別できないほどに感情豊かで高音質＆高品質な音声を合成でき、個人・法人・商用を問わず、基本的にクレジット不要で自由に使うことができるとのことで、実際に使ってみました。 Aivis Project | AivisSpeech でかんたんに感情豊かな音声合成、使ってみませんか？ https://aivis-project.com/ Aivis Projectは、感情豊かな音声合成技術を"誰もが"気軽に使えるというミッションを持ってつくっています。 利用料を完全無料にしているのは、この素晴らしい技術を皆様に知っていただきたいからです。 機能拡充も爆速で行っていきます！ぜひ一度お試しを！— Hayato Omori

アマゾンのウェブサービス部門｢Amazon Web Services（AWS）｣の年次イベント｢re:Invent 2024｣が、12月2日（現地時間）からアメリカ・ラスベガスでスタートした。 AWSは世界中のウェブサービスのインフラを支える大企業であるが、現在はウェブで完結するサービスから、製造業・都市管理などにも価値を広げている。 特に現在、彼らが力を入れているのが｢生成AIの活用拡大｣である。日本企業との取り組みの例では、富士通との提携拡大も強くアピールされている。 どのようなことが行われているのか、展示会場でのデモを軸に説明していこう。

イギリスに拠点を構える防衛ベンチャーのHelsing(ヘルシング)が2024年12月2日に、大量生産と群れ(スウォーム)での運用を想定して開発された攻撃ドローン「HX-2」を発表しました。同社は「民主主義国家の安全強化」を使命として掲げており、既にHX-2のコア技術の生産とウクライナへの配備が進んでいるとしています。 HX-2 – AI Strike Drone – Helsing https://helsing.ai/hx-2 Helsing unveils intelligent strike drone for mass and precision  – Helsing https://helsing.ai/newsroom/helsing-unveils-intelligent-strike-drone-for-mass-and-precision Helsing unveils