タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 追記：続きを書きました。 その２：ED法を高速化してその性能をMNISTで検証してみた その３：ED法+交差エントロピーをTF/Torchで実装してみた（おまけでBitNet×ED法を検証） はじめに 先日以下の記事が投稿され、その斬新な考え方に個人的ながら衝撃を受けました。 内容をざっくり言うと、ニューラルネットワークの学習を現在の主流であるBP法（誤差逆伝播法）ではなく、ED法（誤差拡散法）という新しい学習手法を提案しているものです。 もし記事の内容が本当ならニューラルネットワークの学習がO(1)でできてしまう事になり、まさしく革命
データセット「Fashion-MNIST」について説明。7万枚の写真（ファッション商品）の「画像＋ラベル」データが無料でダウンロードでき、画像認識などのディープラーニングに利用できる。scikit-learn、Keras／tf.keras、TensorFlow、PyTorchにおける利用コードも紹介。
KMNIST／Kuzushiji-MNIST：日本古典籍くずし字（手書き文字）データセット：AI・機械学習のデータセット辞典 データセット「KMNIST」について説明。7万枚の手書き文字（くずし字）の「画像＋ラベル」データが無料でダウンロードでき、画像認識などのディープラーニングに利用できる。データセットをダウンロードできるPythonファイルについても紹介。
かれこれ一ヶ月弱くらいBitNetと格闘している。BitNetは、Microsoftが発明したと主張している1-Bit(1.58ビットとも言われる)量子化ニューラルネットワークのことだ。 僕はその辺に落ちてるコードを使って最初の最初はlossが2くらいまで下がったのだが、そもそもLLMはlossが1を切らないと実用性がない。 それ以降は6とか良くて5とかなのでたまたま最初に試したのがうまく行ったようだ。 しかしいつまで経っても良くならないのでBitNetの性質を根本的に見直す必要があるのでは?と思い、初心に帰って論理回路を学習させようとした。 BitNetのコードベースははちさんのコードと、Microsoftの公式な論文の実装を併用した。 まず試したのはこのようなコード from bitnet import * import torch from torch import optim im
本記事は20分程度でお読みいただけます。 こんにちは。TC3データサイエンス部門の梅本です。 普段はPyTorchを使っているのですが、新しいライブラリを触るのも勉強になると思いますので、今日は新進気鋭の深層学習ライブラリであるJAX/Flaxを使って、MNISTを学習させてみようと思います。 はじめに 皆さんご存知の通り、TensorFlow、Keras、PyTorch(Chainer…)と近年は様々な深層学習ライブラリが使われています。最近、JAXというライブラリが話題になっているものの、十分すぎるライブラリがある中でなぜJAXが新たに出てきたのでしょうか？（そしてなぜ使うべきなのか）。この理由には後発ライブラリの強みとして、先行ライブラリの問題点を改良しているという点が挙げられます。現状以下のような利点が挙げられます XLAコンパイルによる高速性 厳密な乱数の管理による再現性の担保
Flaskとは Flaskとは、Pythonのための軽量なウェブアプリケーションフレームワークです。 フレームワークとは アプリケーションソフトを開発する際に必要とされる機能をまとめて整えてくれている 枠組み・ひな形を簡単に構築できるパッケージのことを指します。 Rubyという言語でしたらRails PythonでしたらDjangoやFlaskが主流となっています。 Flaskというひな形にはめることでwebアプリケーションを簡単かつ軽量に開発することができます。 MNISTを用いた手書き文字識別アプリを制作していきます。 Flaskを用いてサーバとの処理を行い、HTML&CSSでアプリの見た目を作ります。 最小規模のFlaskアプリを実行 Flaskで何ができるかを体験していただくために、まずは最小規模のFlaskウェブアプリケーションを実行してみましょう。
MNISTのデータをCSVに変換する（Pythonによるスクレイピング＆機械学習テクニック） - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
今回は、前回ダウンロードしてきたMNISTのデータをCSVに変換しました。 今までバイナリデータをちゃんと扱ったことがなかったので、とても勉強になりました。 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第４章を参考にさせていただきながら、取り組んでいます。 MNISTのデータのダウンロードまでは、前回の記事をご参照ください。 oregin-ai.hatenablog.com では、振り返っていきたいと思います。 MNISTのデータをCSVに変換する 1.MNISTのデータ構造 2.全体像 3.ラベルファイルとイメージファイルを開く 4.ヘッダー情報を読み込む 5.画像データを読み込んでCSVで保存 6.うまく取り出せたかどうかPGMで保存して確認 7.出力件数を指定して出力 8.コマンドラインか
脳科学と教師なし学習の関係。情報量最大化教師なし学習でMNIST：Google Colabratory（PyTorch） - Qiita
脳科学と教師なし学習の関係。情報量最大化教師なし学習でMNIST：Google Colabratory（PyTorch）Python機械学習DeepLearningAIPyTorch 本記事では、教師なし学習と脳科学、そして教師なし学習でMNISTで高性能を出すIICの実装を解説します。 本記事で着目する論文は、 Invariant Information Clustering for Unsupervised Image Classification and Segmentation です。 この論文では相互情報量と呼ばれる指標を活用し、教師なし学習のクラスタリングで手書き数字画像を分類します。 IIC（Invariant Information Clustering）と呼ばれます。 本記事では、脳科学と教師なし学習、IICのポイン、MNISTでの実装例を解説します。 目次は以下の通りで
今回の目的 前回までに全結合型のオートエンコーダー、CNNを利用した畳み込みオートエンコーダー、それから学習を高速に行えるようにGPUを使用する方法などを見てきました。 ところで、オートエンコーダーが持つエンコーダーで元画像を縮小（次元削減）して、それをデコーダーで復元することはどんなことで役に立つのでしょうか。一般には異常検知やノイズ削減などがオートエンコーダーの用途として挙げられています。そこで、今回は、MNISTの手書き文字を例に異常検知とはどんなものなのか、その本当に表面的な部分だけを見てみることにします。 「異常検知」とは、数多くのデータの中から、他のデータとは異なる特徴を持つデータを見つけ出すことです。例えば、工場で生産されたネジを考えてみましょう。製造されたネジの多くは何の問題もなく、製品として出荷できるものです。しかし、その中のごく一部には、傷があったり、先端が曲がっていた
図1 QMNISTに含まれる「手書き数字」の例 ※データセットの配布元： 「facebookresearch/qmnist: The QMNIST dataset」。BSDライセンス。 ※出典： Cold Case: The Lost MNIST Digits. Chhavi Yadav, Léon Bottou. arXiv:1905.10498 QMNISTは、MNISTの改良版／再構築版として、NIST Special Database 19から抽出＆加工して作られたサブセットである。MNISTの代わりとして、主に画像認識を目的としたディープラーニング／機械学習の研究や初心者向けチュートリアルで使われることが想定される。 中身の画像データやラベルはMNISTデータセット（以下、MNIST）とほぼ同じであるが、 が異なる。 まず6万件に増やした理由については、論文「Cold Case:
[OpenCV] Pytorchの手書き数字（MNIST）分類モデルをOpenCVから利用してみました | DevelopersIO
1 はじめに CX事業本部の平内（SIN）です。 Pytorch入門ということで、MNIST（手書き数字のデータセット）から作成したモデルを使用して、OpenCVでWebカメラの動画を推論にかけてみました。 使用したモデルのコードは、Githubで公開されている、Pytorchの公式サンプルコードです。 https://github.com/pytorch/examples/blob/master/mnist/main.py 最初に動作しているようすです。 推論の対象となっているのは、画面の中央だけで、別ウインドウに表示されている部分です。 2 モデル 公開されているサンプルコードは、以下のようになっています。 (1) データセット データセットは、torchvisionによって、MNISTが利用されています。 取得時に、transformsによる変換を行って、訓練用とテスト用のデータロー
![[OpenCV] Pytorchの手書き数字（MNIST）分類モデルをOpenCVから利用してみました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4339c888bf60e2c185a32451708e331b9d3ff47f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F07%2Fopencv_logo.png){kind=logo}
MNISTデータベースには、上に示したような手書きの数字（と対応する正解ラベル）が訓練データとして6万個、テストデータとして1万個格納されています。この膨大な数のデータを使用して、手書きの数字を認識してみようというのが目標です。 今回は、これまでに見てきた全結合型のニューラルネットワークを作成して、これを実際に試してみましょう。今回紹介するコードはここで公開しているので、必要に応じて参照してください。 データセットの準備と探索 本連載で使用している機械学習フレームワークであるPyTorchには今述べたMNISTを手軽に扱えるようにするためのtorchvisionパッケージが用意されています（「vision」が付いているのは、このパッケージがコンピューターによる視覚の実現＝コンピュータービジョンに由来するのでしょう）。このパッケージを使って実際にMNISTデータベースからデータセットを読み込
自動微分+XLA付き機械学習フレームワークJAXを使用してMNISTを学習させてみる - Morikatron Engineer Blog
こんにちは、エンジニアの竹内です。 深層学習を行う際によく利用されるフレームワークといえばGoogleが開発しているTensorflowとFacebookが開発しているPytorchの２大巨頭に加えて、Kerasなどが挙げられるかと思いますが、今回はそのような選択肢の一つとしてGoogleが新しく開発している*1新進気鋭（？）の機械学習フレームワークJAXを紹介したいと思います。 github.com 今回JAXを紹介するきっかけですが、最近話題になったVision Transformerの公式実装のソースコードを読む際に、モデルの実装にJAXが使用されており、少し気になったので勉強がてら触ってみたというのが経緯です。 github.com ディープラーニングのフレームワークの入門といえばMNISTデータセットを使った画像分類ですので、今回はJAXの入門編としてシンプルな多層パーセプトロン
autograd(自動微分) Tensorは自身が作成された関数の参照.grad_fnを持ち、backward()が呼ばれるとbackpropしてrequires_grad=TrueなTensorの勾配を自動で計算し.gradに入れてくれる。 MLPと誤差逆伝搬法(Backpropagation) - sambaiz-net import torch x = torch.randn(4, 4) y = torch.randn(4, 1) w = torch.randn(4, 1, requires_grad=True) b = torch.randn(1, requires_grad=True) y_pred = torch.matmul(x, w) + b loss = (y_pred - y).pow(2).sum() print(x.grad, w.grad) # None None
MacBook Pro の Radeon GPU で Keras を使って MNIST を高速に学習させる方法 - Kei Minagawa's Blog
2019年12月現在、MacBook Pro の Radeon GPU で Keras を使って MNIST を高速に学習させることができました。忘れないよう環境構築手順等を記載します。Plaid-ML という機械学習ライブラリをインストールし Keras のバックエンドにそれを指定するとできることを確認しました。 Table of Contents 1. 参考文献 2. 環境構築 2.1. 前提条件 2.2. "plaidml-keras" のインストール 2.3. 初期設定コマンド 3. Keras で GPU を使用するために追加するコード 4. MNIST の学習 5. まとめ 1 参考文献 以下の記事を参考にしています。 Tensorflowのdockerを使ってみる（macOS） qiita.com PlaidML Kerasでやっていく #TokyoR 73 PlaidML
SVMでMNISTのデータを画像分類する（Pythonによるスクレイピング＆機械学習テクニック） - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
今回は、前回CSVに変換したMNISTの手書き文字画像を、０〜９に分類しました。 機械学習の一大テーマである画像分類の復習です。 今回も Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第４章を参考にさせていただきながら、取り組んでいます。 MNISTのデータのCSVへの変換は、前回の記事をご参照ください。 oregin-ai.hatenablog.com では、振り返っていきたいと思います。 SVMでMNISTのデータを画像分類する 1.全体像 2.CSVファイルを読み込んで訓練データに変換 3.訓練データで学習する 4.テストデータで予測する 5.精度を確認する 6.コマンドラインから実行してみる SVMでMNISTのデータを画像分類する 1.全体像 コード全体は以下の通りで、「mnist-tr
BitNet b1.58(BitLinear)を実装してMNISTで検証してみた(Tensorflow/Torch) - Qiita
はじめに 2/27にMicrosoftから BitNet b1.58 に関する論文が発表されました。 これはモデルの推論を従来の小数でするのではなく、ビットで推論する事により速度・メモリを含めたエネルギーの省力化を実現した内容となります。 （ディープラーニングにおいて、こういったモデルを低ビット等に離散化して計算量を減らす技術のことを量子化といいます） （ちなみに私は量子化分野はほとんど分からないので間違っている内容があればすいません…） 論文では主にTransformerの利用に言及していますが、仕組み自体は単純でニューラルネット全般に適用できるので、そちらの視点をメインに書いています。 また、BitNetに関する解説記事はすでに分かりやすい記事があるので、この記事では技術メインに解説していきます。 ・【論文丁寧解説】BitNet b1.58とは一体何者なのか また実装に関してですが、多
バックボーンのフレームワークを、従来のTensorFlowから、デファクトスタンダードになりつつあるPyTorchと、実行効率に優れたJAXも選べるようになったKeras3.0が公開されていたので、さっそくバックボーンをPyTorchやJAXに設定して、手書きアルファベット画像のクラス分け課題のMNISTを試してみました。 23.11.29追記 公式の紹介ページも公開されていました。 https://keras.io/keras_3/ Keras3のインストール、インポート今回はGoogle Colabで試してみます。Keras3は現時点ではPyPI上では、プレビューリリースとしてkeras-coreの名前でインストールできます。 !pip install keras-coreバックエンドの設定(torch, jax, tensorflow) import os os.environ["K
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
畳み込みニューラルネットワークと聞いて、画像処理を真っ先に思いつくのが普通だと思います。でも、実は別の分野でも大きな成果を出しています。今回扱う1次元畳み込みニューラルネットワークは自然言語処理などの時系列情報を認識する性能で再帰型ニューラルネットワークを凌いでいます。 そのため、今回は自身が1次元畳み込みニューラルネットワークについて学んだ結果をまとめつつ、記事として残したいと思います。もし、間違い等があったら教えていただけると大変助かります。 また、動画でも残していますので、以下にのせます。 畳み込みニューラルネットワークとは 畳み込みニューラルネットワーク（Convolutional Neural Network;CNN）とは、主に画像認識の場で使用される深層ニューラルネットワークで、局所的受容野と重み共有という特徴を生かし、全結合ニューラルネットワークに比べて少ないパラメータ数で空
mnistを距離学習(metric learning)してt-SNEで可視化してみる(pytorch) - Qiita
metric learningにおけるangular lossとn-pair lossの特性の違いを理解したかったので、pytorchで実装し、mnistで分類してからt-SNEで可視化してみました。 実装はgithubにあります。 https://github.com/tomp11/metric_learning また、N-Pair LossとAngular Lossについては 距離学習におけるN-Pair LossとAngular Lossの理解と実装(Pytorch) でも詳しく説明しているのでそちらも参考にしてください。 #結果 最初に結果を比較してみます。 n_pair_loss n_pair_angular_loss n-pair lossは少し曖昧に分ける印象があります。3と8が重なってしまってる部分も見られます。しかし分類が難しいものでもそのままにせず、どこかのグループには
MNISTで手書き文字認識やってみた｜まーこ
お勉強記録第一弾です。 今回使用するMNISTとは、手書き数字（0~9）の画像とその画像に書かれた数字のラベルのデータセットです。AIドルの研修でも使用しましたが、DeepLearningのチュートリアルとしてよく使用されています。 今回はこのMNISTを使用し、手書き数字（0~9）の分類をするDeepLearningのモデルを構築してみようと思います。 実行環境・ライブラリのご紹介Pythonの実行環境ですが、まずはGoogle Colaboratoryを使用することをオススメします。 Jupyter Notebookの環境構築って難しくないですか？私だけですか？？？ 環境構築で躓いてはやる気も削がれるので、いますぐGoogleアカウント作ってサクッと始めちゃいましょう。 Colaboratoryはクラウド上で動くJupyter Notebookみたいな感じです。 使用するライブラリをイ
就職活動ネタとして記事を初投稿。 精度が高いと言われている教師無し学習、IIC(Invariant Information Clustering)の論文を読み解き実装してみました。 IICとは、相互情報量を最大化することでクラスタリングを行う手法のことです。 IICの論文はこちら Invariant Information Clustering for Unsupervised Image Classification and Segmentation Xu Ji, João F. Henriques, Andrea Vedaldi 使ったフレームワークはTensorFlow2.0。対象データはお馴染みのMNIST。 相互情報量について 相互情報量の解釈は複数ありますが、今回の機械学習を説明しやすいシンプルな方法を選びます。 確率分布Xに対する情報エントロピーH(X)は以下で定義される。
MNIST（手書き数字データ）のダウンロード／解凍を自動化する（Pythonによるスクレイピング＆機械学習テクニック） - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
今回は、少しスクレイピングに戻って、画像の文字認識に使うためのMNIST（手書き数字データ）をダウンロードして解凍できるようになりました。機械学習では、圧縮されたデータをダウンロードして処理することもあるので、自動化できるのは非常に効率的です。 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第４章を参考にさせていただきながら、取り組んでいます。 環境構築については、Dockerを使われる方は、以下をご参照ください。 oregin-ai.hatenablog.com OSから、Ubuntuを導入して取り組む方は、以下をご参照ください。 oregin-ai.hatenablog.com では、振り返っていきたいと思います。 MNIST（手書き数字データ）のダウンロード/解凍を自動化する。 1.MNIS
PyTorchを勉強したので使い方をまとめていきます． ライブラリー 必要なライブラリをimportします． import numpy as np import torch from torchvision.transforms import ToTensor from torch.utils.data import DataLoader, Dataset, Subset from torchvision.models import resnet50 from sklearn.datasets import fetch_openml from sklearn.model_selection import KFold Datasetの作成 PyTorchにはtorchvision.datasets.MNISTというMNIST Datasetが用意されているが今回は自分でDatasetを作成し
とりあえずディープラーニングを実装してPyTorchの実装の流れを掴みたい（所要時間15分） 初心者だけど、PyTorchを丁寧に体系的に学びたい（所要時間30〜45分） （PyTorchを丁寧に学びたい方へ）: 各見出しごとに詳細ページへのリンクが貼られているので、より深く知りたいと思った箇所を適宜アクセスしてください！
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
金子勇さんのED法を実装してMNISTを学習させてみた - Qiita
Fashion-MNIST：ファッション商品（写真）の画像データセット
KMNIST／Kuzushiji-MNIST：日本古典籍くずし字（手書き文字）データセット
BitNetでMNISTを学習させて見えてきた性質｜shi3z
JAX/Flaxを使ってMNISTを学習させてみる | TC3株式会社｜GIG INNOVATED.
Python: Flask入門:MNISTを用いた数字識別アプリ制作 - Qiita
MNISTを使ってオートエンコーダーによる異常検知を試してみよう
QMNIST：手書き数字の画像データセット（MNIST改良版）
MNISTの手書き数字を全結合型ニューラルネットワークで処理してみよう
PyTorchでMNISTする - sambaiz-net
PyTorchとJAXに対応したKeras3でMNISTを試す｜はまち
【MNIST】データ拡張で「汎化性能」UPっぷ【認識率UP!】 - Qiita
1次元畳み込みニューラルネットワークでMNISTの時系列処理
教師なし学習でMNISTの正解率を97%以上出す簡単な手法（転移学習なし） - Qiita
PyTorch入門 MNIST - きままなvacation
【入門】PyTorchの使い方をMNISTデータセットで学ぶ（15分）｜努力のガリレオ
www.caricarina.com
nazology.kusuguru.co.jp
massuuy.com
qiita.com/syun88
furniture.mateli.jp
telling.asahi.com