世は大容量GPU時代。 吾輩も、秋葉原で大容量VRAM搭載GPUの中古が出たときけばすぐに飛んでいき買ってくるということを繰り返している。ちなみに最近、秋葉原の大容量中古GPUは飛ぶように売れているので、見つけたら即買いしないとすぐに無くなる。 なぜ大容量GPUが欲しいかと言えば、それがAIの全ての力の源だからである。 しかし、これは我々のようなガチ研究勢の話であって、ビジネスパースン的には「いやあこれからはローカルLLMでセキュリティバッチリでしょう」みたいな話をしても、「んで、おいくら万円ですか?」と聞かれて、「えーと、GPU単体で500万円くらいでやす」とか言うと客も裸足で逃げていく。そもそもそれだけの価格を払っても、買えるかどうかわからない。 こないだデンバーの学会で、NVIDIAのジェンスン・ファンとMetaのマーク・ザッカーバーグが対談した時に、マークはずっと「とにかくGPUを

LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt") tokens = model.generate( input_ids.to(device=model.device), min_length=50, max_length=300, temperature=1.0, do_sample=True, pad_token_id=tokenizer.pad_token_i

ブログの全エントリを読み込むコード作ったので、とりあえずこれで学習して極小規模言語モデルを作ったら面白かろう、とやってみました。 というとかっこいいけど、まあ形態素解析して続く単語の頻度を覚えておいて、頻度に応じた単語をつなげていうという、Twitter老人会の方ならご存じの圧縮新聞ですね。圧縮きしだのHatenaか。 まあ、ここではてなブログのアーカイブを読み込むコードを書いたので、これで何かしたら面白かろうなと。 GPTのEmbeddingを利用してブログの投稿に対する近いものを探し出す - きしだのHatena それで、以前 圧縮新聞ぽいものを作っていたので、これを改めてはてなブログをデータに作ってみた感じです。 Igoという形態素解析器をつかって圧縮新聞っぽいものを作ってみる - きしだのHatena 圧縮新聞のアカウントは凍結されていますが、雰囲気はこちらを。 圧縮新聞さん迷言集

2月17日、「AIコスプレイヤー」というワードがTwitterトレンドに入った。話題のAIイラスト生成技術で作られた実在しないコスプレイヤーのイラストをインフルエンサーが拡散。写実的な画風やセクシーさも相まって「もう人間はいらないのでは」「コスプレと関係ない」などと賛否両論の声が出ている。 実際に画像を見てみると、確かにセクシーかつ、一瞬写真と見間違えるようなクオリティーだ。よく見るとおかしな点はあるが、ぱっと見はよくあるグラビアアイドルやモデルの写真とそっくりに感じる。 果たして、どうやって作ったんだろう──そう思って作り方を調べてみたところ、記者のような文系・非ITエンジニアでも似たようなものが生成できそうなことが分かった。一方で、その生成過程にはインモラルな“無規制地帯”が関わっていることも見えてきた。 AIコスプレイヤーの作り方　必要なのは…… そもそも話題のAIコスプレイヤーはど

今話題の画像生成モデル「Stable Diffusion」をいらすとやの画像でfinetuneしてみたところ、任意のテキストに対していらすとやっぽい画像を作れるモデルが出来上がりました。 Stable Diffusionとは Stable Diffusionは、指定されたテキスト（文字列）に対応する画像を生成する機械学習モデルのひとつです。ソースコードと学習済みモデルは無償で公開されていて、誰でも利用できるようになっています。 (Stable DiffusionのGitHubページより引用) 今回は、この画像生成モデルをいらすとやの画像でfinetune（微調整）することで、入力テキストに対応する画像をいらすとやのようなスタイルで出力させることを試みました。 開発環境 開発環境はGoogle Colab Pro+で、主にプレミアムGPU（NVIDIA A100）を使いました。Stable

※ 一部ガイドラインに反する内容がありましたので、該当箇所を修正のうえ再投稿しております。 はじめに Axross は、エンジニアの"教育"と"実務"のギャップに着目し、「学んだが活用できない人を減らしたい」という想いで、ソフトバンク社内起業制度にて立ち上げたサービスです。 現役エンジニアによる実践ノウハウが"レシピ"として教材化されており、実際に動くものを作りながら、具体的な目的・テーマをもってプログラミングを学ぶことができます。 今回は、Axross運営が厳選した『AI・Python活用レシピを100選』をご紹介します。是非、みなさまのAIやPython学習の参考にしてみてください。 Axross：https://axross-recipe.com 公式Twitter：https://twitter.com/Axross_SBiv 基礎 スクレイピング 01 . JUMPの掲載順をスク

1. Tensorflow/Pytorchのモデル実装の基礎 2. Tensorflow/Pytorchの比較 3. Tensorflow/Pytorchの重み変換のテクニック 4. 実践Tensorflow/Pytorchのモデル移植 について紹介します 第３回分析コンペLT会 htt…

「映像も物理も、微分可能になるとすごいことが起きる」ということの意味を文系にもわかるように説明しようと試みる 2021.07.26 Updated by Ryo Shimizu on July 26, 2021, 07:12 am JST 最近のプログラミングの新しい波は微分可能プログラミング(differentiable programming)である。 微分可能プログラミングとは、簡単に言うと・・・と思ったが、簡単に言うのは結構難しい。 まず「微分」という言葉があまり簡単ではない印象がある。 まずは微分と積分の関係性を説明しておこう。文系の読者に向けた記事であるので、非常にざっくりと説明してみよう(そのかわり、元々数学が得意な読者にとっては直感的ではない説明になるかもしれない)。 まず、瓶からコップにジュースを移すような状況を想定してみる。 瓶からコップが一杯になるまで60秒で注ぐとし

YouTubeで学ぶコンピュータ・サイエンス。これを完了したら実質学位を取ったようなもん。という話だが、すごいなこれ・・・。全部無料でここまでの・・・。 https://t.co/xNHNvBM5Aa

連載目次 用語解説 機械学習におけるみにくいアヒルの子の定理（醜いアヒルの子の定理： Ugly Duckling theorem）とは、何らかの「仮定（＝事前知識や偏向、帰納バイアス）」がないと「分類（＝類似性の判断）」は（理論上）不可能である、ということを主張する定理である。つまり分類やパターン認識において、あらゆる特徴量を客観的に同等に扱うことはできず、何らかの仮定に基づいて主観的に特徴量選択を行うことが本質的に必要であることを示す。 概念的にはノーフリーランチ定理に似ており、機械学習で必修の定理として一緒に学ぶことが多い。ノーフリーランチ定理は「あらゆる問題を効率よく解けるような“万能”の機械学習モデルや探索／最適化のアルゴリズムなどは存在しない」ことを主張する用語である。一方、みにくいアヒルの子の定理は「仮定／事前知識がない場合には、分類性能が高くなるような“最良”の特徴表現／特徴

Microsoft Learn では、対話的な方法で、従来の機械学習の概要を理解することができます。 これらのラーニング パスは、ディープ ラーニングのトピックに移行するための優れた基盤にもなり、各自の生産性を向上させます。 最も基本的な従来の機械学習モデルから、探索的データ分析やカスタマイジングのアーキテクチャまで、ブラウザーを離れることなく、概念的内容や対話型の Jupyter Notebook を簡単に把握することができます。 知識と興味に応じて自分のパスを選択してください。 オプション 1: 完全なコース: 機械学習のためのデータ サイエンスの基礎 ほとんどのユーザーには、このパスがお勧めです。 これには、概念の理解を最大限に高めるカスタム フローを備えた、他の 2 つのラーニング パスと同じモジュールがすべて含まれています。 基になる概念と、最も一般的な機械学習ツールでモデルを構

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 【はじめに】 本記事は 「機械学習をどう学んだか by 日経 xTECH ビジネスAI② Advent Calendar 2019」 の19日目になります。 おじさんSEの私がどうやって機械学習を勉強したかを記します。 きっかけは当時抱えていた分類課題において、「機械学習が使えるんじゃね?」というところから始まりました。 闇雲にやっていたので正直記憶は曖昧です。 経歴 プログラム歴は30年近くあります。 小学生の時に覚えたMS BASICから始まり、Z80アセンブラ、MC68000アセンブラ、FORTRAN、C(UNIX)、C++(Ma

今回自分は０から始めて９か月でコンペで銀メダル(6385分の249位,top4パーセント)を獲得できました。 自分の今までの流れをおさらいしていきます。 それまでの僕のスペック 数3と行列はほぼ何も分からない プログラムはrubyとjavaはそこそこに書ける、pythonは知らん 勉強の流れ １２月末 機械学習を始めると決心、とりあえず何をやればいいかよく分からないがpythonが必要らしいのでprogateでpythonをやってみる １月 数学が必要らしいので、行列と微分積分について１から学んでみる。今から考えると、行列の基礎をさらえたのは良かったですが、それ以外はこの時間は絶対いらなかったなと考えています。 微分積分 行列 ２月 Udemyで多くの講座を受ける、詳細は以下の記事にまとまっています https://qiita.com/HayatoYamaguchi/items/c8051

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最適化や凸解析の本のわりと序盤に登場するトピックに 劣微分・劣勾配 と 共役関数 があります。いずれも凸関数にとって特に重要な概念ですが、通常の書籍だと当然動きのない図でしか描かれていないため、イメージしづらい方もいるでしょう。そこで代表的な凸関数について、劣微分・劣勾配および共役関数のアニメーションを作りました（初めて本格的にGoogle Colabを使いました）。本の図よりはもっと鮮やかにイメージでき理解が深まるかと思います。なお、厳密には「閉真凸関数」などと呼ぶべき箇所を簡単のために単に「凸関数」と記述しています。厳密な定義などは

最近はツイッターでいろんな人に普段どんな感じで勉強してるのかということを聞かれるのですが、ぼくはだいたいネットでPDFを拾ってきて読んでます。 そこでぼくが今まで読んだ中で良さげな機械学習系の本のリンクをまとめておこうと思います。 ちなみに全て英語ですので日本語じゃないとやだ〜〜〜って泣いちゃう方はタブを閉じるか日本語訳を書店で探してきてください。 PRML (Pattern Recognition and Machine Learning) Pattern Recognition and Machine Learnng www.microsoft.com まず1冊目はみんな大好きPRML。 機械学習の本というよりかはベイズの本と言っていいようなお気持ちもあるのですが、基礎力として非常にいい本だと思います。 特にグラフィカルモデルの章はめちゃくちゃ読み応えあるので個人的には大好きな一冊。

こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? #この記事の対象者 音響処理の基礎を概観したい ディープラーニングを用いた音響処理に興味がある 太鼓の達人が好きだ つまり初心者向けってことです。プロの方のツッコミもお待ちしています。 #結果 見て（聴いて？）もらうと早いと思います。これは今回作ったモデルで生成した譜面を太鼓さん次郎2で演奏したものです。 米津玄師さんの「ピースサイン」： 「音楽から全自動で太鼓の達人の譜面を作るAI」を作りました またいつか解説記事書きます pic.twitter.com/IW6qrd9knS — うっでぃ (@woodyOutOfABase) Jul

2. numpy, scipy, scikit-learn の使い方を理解する 3. k-Nearest Neighbors (k-NN) を使った手書き文字認識 4. ロジスティック回帰の実装と学習、活性化関数とその微分の実装、多層パーセプトロンの実装と学習 5. Tensorflowの基礎を学ぶ 6. Denoising Autoencoderの実装. また, MNISTを用いて次のことを確認、Stacked Denoising Autoencoder (SdA) の実装 7. 畳み込みニューラルネットワーク(Convolutional Neural Networks)の実装と学習 8. CIFAR10データセットを使ったAugmentation、前処理、Batch Normalization、CNN実装、Activation可視化 9. Recurrent Neural Networ