この記事の中のソースコードは全てhttps://github.com/akawashiro/sonnxにあります。 概要 ニューラルネットワークから要らなそうな枝を80%削除しても精度が変わらなかった ONNXの中身をいじるのが大変だった onnxruntimeには勝てなかった 背景 機械学習の学習済みモデルを小さなデバイスで動かす、というのが最近流行っているそうです。機械学習では、学習には大きな計算コストがかかりますが、推論はそれほど大きな計算コストがかかりません。このため、学習だけを別のコンピュータで行っておいて、実際の推論は小さなデバイスで行うということが可能です。 ただし、推論だけでもそれなりに計算資源が必要です。そこで、学習済みのモデルの高速化が重要になります。Raspberry Piに搭載されているGPUを使うIdeinとか有名です。 僕も学習済みモデルの推論を高速化できそうな

Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 「レコメンドつれづれ」は、レコメンド手法の概念や実装方法を中心に、レコメンドに関する基礎的な内容から最近流行りの技術まで幅広くご紹介する連載です。第3回は、レコメンドの評価方法について、代表的な評価方法・指標をピックアップしてご紹介します。 こんにちは。アナリティクスサービス本部の小田です。レコメンドについて考察していく連載の第3回です。 第1回 協調フィルタリングのコンセプトを知る 第2回 協調フィルタリングの実装 第2回では、協調フィルタリングの実装を行いました。本連載では今後各種手法を実装しながら比較していく予定ですが、その前にレコメンドの評価について確認したいと思います。といっても、レコメンド全体の評価となるとシステムやユーザビリティの評価など広範にわたりますので、今回はアルゴリズ

2020/07/02に開催されたDLLab主催のイベント、「自然言語処理ナイト」の第2セッション「生成系NLPの研究動向」で使用したスライド資料です。Read less

機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip

Recommender systems are growing progressively more popular in online retail because of their ability to offer personalized experiences to unique users. Mean Average Precision at K (MAP@K) is typically the metric of choice for evaluating the performance of a recommender systems. However, the use of additional diagnostic metrics and visualizations can offer deeper and sometimes surprising insights i

LightGBMとは LightGBMとは決定木アルゴリズムに基づいた勾配ブースティング（Gradient Boosting）の機械学習フレームワークです。LightGBMは米マイクロソフト社がスポンサーをしています。（勾配ブースティングの仕組みについては後述します） 勾配ブースティングのフレームワークといえばXGBoostが有名です。両方とも勾配ブースティングのフレームワークですが、細かい部分で実装が異なります。XGBoostのリリースは2014年でしたが、LightGBMは後発で2016年にリリースされました。 機械学習のコミュニティで世界的に有名なKDnuggetsによると、Kaggleで上位ランキングを取った半数以上もの勝者が「勾配ブースティング」を使った実績があると報じています。（参照：こちら）。それほど勾配ブースティングは注目度の高い機械学習手法であり、今日のデータ分析競技には

ハイパーパラメータを探索するため、グリッドサーチやOptunaなどを利用することがあると思います。 しかし、「ハイパーパラメータ探索してみた」のようなQiita記事などでは間違って書かれていることも多いのですが、XGBoostやLightGBMの n_estimators ( num_boosting_rounds )やKerasの epochs をパラメータサーチの対象にしてはいけません。 いけません、というか、すごく無駄なことをしています。 なぜ、n_estimatorsやepochsを探索すると無駄なのか 理由はシンプルで、これらのパラメータは「大きい値で精度確認する過程で小さい値の結果も分かる」からです。 LightGBMのn_estimatorsは構築する決定木の数を表しています。 例として、n_estimators=5 (こんな小さい値で学習することはないですが、簡単のため)で

Weights & Biases is the AI developer platform powering the GenAI industry. Train your own foundation models, fine-tune someone else’s foundation model, manage models from experimentation to production, or develop AI applications powered by frontier LLMs. import wandb run = wandb.init(project="my-model-training-project") run.config = {"epochs": 1337, "learning_rate": 3e-4} run.log({"metric": 42}) m

米Googleは2月6日（現地時間）、メールサービス「Gmail」のスパム対策について説明した。同社のオープンソースの機械学習システム「TensorFlow」の採用により、従来より1日当たり1億件多くのスパムを削除できるようになったという。 機械学習を含む総合的な防衛システムにより、Gmailではスパム、フィッシング、マルウェアの99.9％をブロックしているという。TensorFlowは、これまでは検出が非常に難しかったカテゴリーのスパムのブロックを可能にした。検出が困難なスパムとは、例えば画像ベースのメッセージや埋め込んだコンテンツを隠しているメール、新たに立ち上げたドメインからのメッセージなどだ。 また、例えばアプリからのプッシュ通知など、あるユーザーにとってはスパムでも他のユーザーにとっては必要な情報であることもあるため、TensroFlowによってユーザーの履歴に基づいてスパムブロ

こんにちは、株式会社ミクシィで SNS「mixi」事業を担当している岩瀬です。 本記事では、「mixi」における 「健全化活動」と、近年実施した「機械学習による不適切コンテンツ（規約違反投稿）検出」の取り組みについてご紹介したいと思います。 はじめに「mixi」 は、サービス開始からまもなく 15 周年を迎えるソーシャルネットワーキングサービスです。 長く運用したサービスでは古くなった仕組みの更新が欠かせませんが、「mixi」でもそうした取り組みの一つとして、 2018 年末にかけ「健全化活動」にかかわる仕組みの更新を行いました。 今回のケースでは、「健全化活動」において懸案とされてきた課題に対して、機械学習による解決を試みました。「機械でできることは機械に任せ、より複雑さの求められる領域に人間が注力できるようにしよう」とする取り組みです。 「mixi」の「健全化活動」と課題「mixi」の

近似近傍探索ライブラリ Faiss の元論文、"Billion-scale similarity search with GPUs" https://arxiv.org/abs/1702.08734 の紹介です。

非負値行列因子分解（NMF : Non-negative Matrix Factorization）を改めてやり直してみたPythonC++MachineLearningNMF非負値行列因子分解 一年ほど前に理解した非負値行列因子分解（NMF）を再実装して確認してみようとした記事です． Support Vector Machine(SVM)や最近ではDeep Learningなどが流行っていますが，こんな手法もありますよ，といった紹介になればと・・・ C++とPython2.7で久しぶりに実装してみました． 【2020/11/10 更新】 Python3系にアップデートしました。 Python版NMFコードをリファクタリングしました。 【2020/02/05 更新】 NMFを使ったリアルタイム音源分離のモックを作成しました。 こちら 【2018/03/23 更新】 一部本文を修正しました．

この記事は何？ szdr.hatenablog.com に引き続き、「ベイズ推論による機械学習入門」で紹介されているアルゴリズムを実装・実験していきます。 www.kspub.co.jp 今回は4章の「ポアソン混合モデルにおける推論」で紹介されている、ポアソン混合モデルのためのギブスサンプリング・ポアソン混合モデルのための変分推論を実装・実験しました。 やりたいこと 以下の図で表されるような二峰性の1次元データを考えます。 このデータは、から300個サンプリング、から200個サンプリングした合計500個のサンプルです。 この1次元データをつのクラスタに割り当てる問題をこの記事では考えます。 混合モデルのデータ生成過程を以下のように考えます。 2つのクラスタの混合比率が事前分布から生成される それぞれのクラスタに対する観測モデルのパラメータが事前分布から生成される に関して、に対応するクラス