2022年8月23日に無料公開された画像生成AI「Stable Diffusion」は、「ボールで遊ぶ猫」「森の中を走る犬」といった指示を与えると指示通りの画像を出力してくれます。Stable Diffusionはデモページで画像生成を試せる他、NVIDIA製GPUを搭載したマシンを用いてローカル環境で実行することも可能です。しかし、デモページは待ち時間が長く、NVIDIA製GPUは所持していない人も多いはず。Googleが提供しているPython実行環境「Colaboratory」を利用すれば、NVIDIA製GPUを所持していなくともStable Diffusionを待ち時間なしで実行する環境を無料で整えられるので、実際に環境を構築する手順や画像を生成する手順を詳しくまとめてみました。 Stable Diffusion with 🧨 Diffusers https://huggingf
新世紀エヴァンゲリオンにでてくる超AI、MAGIシステムを作ってみたメモ。 OpenAI社のGPT3を使って、三頭制合議型のAIシステムを組んでみた。 MAGIシステムとは？MAGIは、アニメ「新世紀エヴァンゲリオン」にでてくる超AI。 このAIの面白い特徴は、性格の異なる3体のAIが、それぞれ独立に見解をだし、それを集約して1つの結論をだすという合議制のシステムです。 キリストの祝福を告げた三賢者にちなみ「メルキオール」、「バルタザール」、「カスパー」という3つのAIが、それぞれ開発者である赤城博士の「科学者」、「母」、「女」として側面をから答えを出します。 MAGI GPT3の実装最近話題のChat GPTの凄さをみるに、「MAGIシステム」現実に作れるのでは？と思って、Google Colabで実装してみました。 1つの質問に対し、GPT3を4回ぶんまわすシステム図のように、1つの質
HなStable Diffusion
前提として、Stable Diffusionでエロ画像を出そうとしてもsafety checkerという機能が入っており、センシティブな画像を出そうとすると黒塗りになる。 (Stable DiffusionのSaaSであるDream Studioはぼかしだが、多分別の技術) https://github.com/huggingface/diffusers/releases/tag/v0.2.3 そこでGoogle Colabでちゃちゃっと環境を作り、なおかつNSFWを回避する。 1. 下記のリンクでノートを開く https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb 2. 下記の箇所を書き換える vvvvvvvvvvvvvvvvvv f
このcolabo叩きの空気が本当に怖い（追記４あり）
はてなブックマーク内のこの異様なcolabo（=仁籐）叩き、おかしいと思うんですが…。 はてブはもうちょっと中庸なコメントがあつまる場だとおもってたのに、これ関係の人気コメント 上位全部「そうだそうだ colaboが悪い」みたいにみえてしまって怖い。 （※はてブは中庸→追記3に書いたけど そんなことないね… 異常に一個人へのヘイトが集まってざわざわすることは昔からあったね…） 私は一時期フェミニズムに興味を持って、女性が割りを食っている社会に物申していきたいと思ってたくらいだけれど、最近のツイフェミ（っていいかたあってるのかな。仁籐さん・石川さん界隈のこと）の皆さんはとても苦手。 自分の非を認められないこと・not for meを排除させようとするなど 女性から見ても「やめてー」って思う。 室井さんとやりあった時のも見たけど、「女性だけ」を大事にするのではなく、男性も大事にしていこうよ…。
女性支援団体「Colabo」に対しブログサイト「note」で名誉を傷つけたとして、東京地検は「暇空茜（ひまそらあかね）」を名乗る自称ユーチューバーの男性を名誉毀損（きそん）の罪で在宅起訴したと明らか…
2. ライセンスの確認以下のモデルカードにアクセスして、ライセンスを確認し、「Access Repository」を押し、「Hugging Face」にログインして（アカウントがない場合は作成）、同意します。 4. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」に「GPU」を選択。 (2) 「Stable Diffusion」のインストール。 # パッケージのインストール !pip install diffusers==0.3.0 transformers scipy ftfy(3) トークン変数の準備。 以下の「<HugginFace Hubのトークン>」の部分に、先程取得したHuggingFace Hubのトークンをコピー&ペーストします。 # トークン変数の準備 YOUR_TOKEN="<H
「暇空茜」氏敗訴 合計220万円の支払い命令 対Colabo訴訟（小川たまか） - エキスパート - Yahoo!ニュース
一般社団法人Colabo（代表・仁藤夢乃氏）がインターネット上で「暇空茜」を名乗る40代男性に「生活保護不正受給」「少女をタコ部屋に住まわせている」といった事実無根の内容を拡散されたとして1100万円の損害賠償や記事の削除などを求めた裁判で、東京地裁（西村康一郎裁判長）は7月18日、暇空茜氏に合計220万円（仁藤氏に55万円、Colaboに165万円）の支払いなどを命じた。 暇空氏は2022年夏頃からSNSやYouTube、noteなどでColaboに対する批判的な言及を始め、これを信じた人たちから訴訟費用の名目で2024年6月末までに約1億6000万円以上の「カンパ」を集めたとnoteで公表している。またColaboが提訴を発表した2022年11月以降も、Colaboに言及したYouTube動画や、裁判の準備書面を含めた文章をnoteで販売するなどして収益を上げていた。 7月7日開票の東
自分がつかってる、Google Colab用StableDiffusion環境を公開しました。 海外のWEB UIのが重いのと、やりたいことが微妙に違うので自分なりに作った。公式のDiffuserを使わないので軽いです。無課金のcolabでも動くのではないかと思います。 使い方GitHubページの「Open in Colab」ボタンをおして、colabで開く。 このページ上部のメニューで、「ランタイム > ランタイムのタイプを変更」からGPUを有効化を確認 HuggingFaceでアカウントを作成 StableDiffusionのモデルページで、「利用規約」に合意する。 モデルファイル sd-v1-4.ckpt をダウンロード モデルファイルを Google Drive等にアップロード 下のセル 「1-1. Google Driveとの接続」を実行 下のセル 「1-2. のフォーム」に、G
画像生成AI「Stable Diffusion」で崩れがちな顔をきれいにできる「GFPGAN」を簡単に使える「Stable Diffusion web UI(AUTOMATIC1111版)」の基本的な使い方
「Stable Diffusion web UI(AUTOMATIC1111版)」は他のUIには搭載されていない機能なども盛り込んだ、いわば決定版の「Stable Diffusion」のUIといえますが、それだけにやれることが多いので、どこをどう触ればよいか悩むこともあるはず。 この記事ではまず、「Stable Diffusion web UI(AUTOMATIC111版)」のうち、テキストから画像を生成する「txt2img」の基本的な使い方をまとめています。 ◆目次 ・1：最も簡単な使い方 ・2：「txt2img」タブ内の各項目はどういう意味なのか？ Stable Diffusion web UI(AUTOMATIC1111版)は画像生成AI「Stable Diffusion」を使うためのUIの1つ。Stable Diffusionの利用にはNVIDIA製GPUが必要で、該当するPCにS
LGBTの当事者が職場での困難について語っている最中に森奈津子先生が吹き出してニヤニヤしている様子がバッチリ中継されていました。 LGBT法連合会の神谷事務局長が、職場でカミングアウトできないLGBT当事者の直面する困難について語ると、ウケたのかニヤニヤし始める森奈津子。 LGBTの自殺・鬱対策の話に移っても、笑いをこらえきれない様子。 #国会中継 pic.twitter.com/3vPR2HDGXw — そうすけ (@no_war_sosuke) June 15, 2023
虐待や性暴力を受けるなどした女性を支援する東京都の委託事業をめぐり、都監査委員が、受託団体の経費計上に不適切な点があるなどとして都に2月末までの再調査を勧告した。4日、明らかにした。都への住民監査請…
面倒な分析はGoogle Colabにやらせよう
これはなに？ ちょっとした分析の用事で久しぶりにGoogle Colaboratory (以下 Colab) を触ったら結構良くなってました。Cursorでコード書くのも快適だけど、面倒なデータ分析やるならやっぱColabの方が便利だなぁと再認識しました。 そこで、最近Colabに追加されて便利になったと思う機能を簡単にまとめてみました。(見てわかる通りタイトルはもちろん話題のあの本のオマージュです😇) 最近のColab便利機能を使おう 粒度まちまちですがざーっと書いていきます。「最近」の定義は曖昧なのでご容赦ください。 Github Copilot的なコード補完を使おう Github Copilotみたいなコード補完機能がついにColabに搭載されました。↓のように補完してくれます。 VS CodeでもCursorでも一緒やん、って思われるかもしれませんが、Colabのような多機能No
Stable Diffusion WebUI（1111）をGoogle Colabで使うノートブック【画像も設定も自動保存】 - ただいま村
いきなり追記（4月22日） Google Colaboratoryの無料プランではSD/WebUIを使えなくなったようです。以下の記事をご覧ください。 Google Colabの無料プランでStable Diffusionを使えなくなったらModalへ行こう? （追記は以上） パソコンにGPUがない人向けに、AUTOMATIC1111版Stable Diffusion WebUI（以下SD/WebUI）をGoogle Colaboratoryで使うノートブックを作りました。下のGithubからどうぞ。 imamurayusuke/SD1111_colab: AUTOMATIC1111/Stable Diffusion WebUIをGoogle Colaboratoryで使うためのipynb この種のノートブックはいろいろあるのですが、自分が考える仕様を満たすものがなかったため自分で作った次
LLMのチャット以外の可能性 ChatGPTなどで話題のLLM（Large Language Model）、用途としてはチャットボットとしての使われ方が多いですが、チャット以外にも使える可能性を秘めています。 具体的には、生成AIでロボット制御をする「RT-1」や、マインクラフトをプレイする「Voyager」などがあります。これらの詳細の解説は以下記事参照ください。 今回は、夏休みの自由研究（と呼べるほど高尚なものではないですが）として、手軽に分かりやすい例として、LLMでマリオをプレイできるか試してみることにしました。 LLMでマリオをプレイ マリオに関しては、以前に深層強化学習で全ステージクリアにチャレンジしたことがあります。 複数人の有志の協力があり、ループを多用する8-4を除いたステージを全てクリアすることができました。ただ、ステージごとにシミュレータで半日以上かけて学習させる必要
画像生成AI「Stable Diffusion」を4GBのGPUでも動作OK＆自分の絵柄を学習させるなどいろいろな機能を簡単にGoogle ColaboやWindowsで動かせる決定版「Stable Diffusion web UI(AUTOMATIC1111版)」インストール方法まとめ
(2022/09/22 17:52更新)画像生成AI「Stable Diffusion」を簡単に利用するための実行環境の1つである「Stable Diffusion web UI」のコントリビューター(開発貢献者)の1人であるAUTOMATIC1111氏が、フォークではないものの同名で「機能全部盛り」なStable Diffusion web UI(AUTOMATIC1111版)の開発を進めています。 GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI https://github.com/AUTOMATIC1111/stable-diffusion-webui ◆目次 1：AUTOMATIC1111版Stable Diffusion web UIでできること・対応していること 2：Google Co
「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。野澤氏は、Google Colabとvscodeを用いて作るデータ分析環境とその運用について発表しました。 機械学習の勉強環境の1つ「Google Colaboratory」野澤哲照氏（以下、野澤）：「Google ColabとVSCodeを用いたデータ分析環境運用Tips」ということで、野澤が発表します。 最初から免責で申し訳ないのですが、今日紹介する方法はGoogle側が推奨している方法ではないので、急に使えなくなる可能性もあります。そこだけご了承ください。 今日話す内容ですが、ざっくりGoogle Colab（Google Colaboratory）とVSCodeを紹介して、最終的にどういう環境が作れるかというところと、環境構築手順・運用時のポイントなどを話し
画像生成AI「Stable Diffusion」をGoogle ColaboratoryでWebアプリ的に簡単に動かすノートブックを作りました - karaage. [からあげ]
Stable Diffusionの衝撃 つい先週「Midjourney」というAIによる画像生成AIを紹介しましたが、Stable Diffusionという超新星が登場いたしました。 何が凄いかというと、オープンにモデルが公開されているので、誰でもこのモデルを改変したり、モデルを使用したアプリが作れるのです。詳しくは、以下の深津さんのnote記事を参照ください。 さすらいAIプログラマーのshi3zさんは、既に日本語で誰でも無料で手軽に使えるWebアプリを公開されています。 サーバー代めちゃくちゃかかっているけど、自腹でやり続けるそうです。凄すぎです。上記記事のshi3zさんのYouTube動画から、shi3zさんの熱狂が伝わってきます。 Stable DiffusionをWebアプリ的に手軽に使えるツールを作成しました。 思えば、私もディープラーニングおじさんも、AIにハマった大きなきっ
![画像生成AI「Stable Diffusion」をGoogle ColaboratoryでWebアプリ的に簡単に動かすノートブックを作りました - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/70964b8a9c4676557b35f2f4c38e7ad3225e6c7a/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F9cb25886760c755dadf7ef43947ad139edeb56fd%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20220828%252F20220828103448.png)
最近話題のお絵描きAIをGoogle Colabで試してみようという記事です。 ここで使うAIは、stability.aiの stable diffusion というモデルで、つい最近 CreativeML Open RAIL-Mライセンスの下、オープンソースでリリースされました。 StableDiffusionに関する日本語記事は、深津 貴之さんの記事が面白いので是非こちらをお読みください。 stability.aiの記事で、Google Colabを用いて使う方法についての説明があり、試してみたところ本当に簡単に実行できてしまったので、その手軽さを紹介できればと思います。 実際に試したい場合は、元記事のGoogle Colabのノートブックが丁寧に説明しているので、そちらをご覧いただければと思います。 試してみる。 必要なもの Google アカウント Hugging Face アカウ
こんにちは！逆瀬川 ( https://twitter.com/gyakuse )です！ 今日はcsvからレポートを作成するのを自動化してみたいと思います。 これを使うと、excel/csvからシュッとそれっぽいレポート文章を作ることができます。 参考 どのように行うかの検討 CSVを扱ってデータをいい感じに解釈してくれるやつだとLangChainに実装されてそうなので調べてみました。 CSV Agentというのがあったのですが、Python3.9以上を要求されColabで扱いづらいこと、かつ使ってみたところうれしみが小さかったので今回は自分で実装してみることにしました。 ちなみにLangChain::CSVAgentを使うと以下のようになります。対話形式で特定のカラムの平均値とか出せるので楽しいです。ちなみにこれを使う場合は動的にコード生成しているので、Prompt Injectionさ
GoogleColabとVSCodeを用いたデータ分析環境運用Tipsについてお話ししました。 後半では、kaggleのコンペティションに参加する際のTipsなども記載しています。 補足ブログ：https://www.takapy.work/entry/2021/08/17/185047 LT…
【AIアプリ開発の決定版】Colaboratory+VSCodeによる最小工数の機械学習環境構築手順の紹介 | さくらのナレッジ
こんにちは! テリーです。先日NVIDIA GTCというイベントがありました。GPUテクノロジーカンファレンスの略です。NVIDIAが進めている最新の技術と商品を紹介しているため、AI、動画、音声、その他あらゆる高速コンピューティングのトレンドを理解することができます。年々紹介する分量が増えてきていましたが、今年は特に量が多かった印象です。 さて、機械学習エンジニアやストリーミングエンジニアの諸氏におかれましては、開発環境の維持コストに頭を悩ませている方も多いことでしょう。なぜなら、あまりにも技術の進歩が激しく、去年50万円も出して購入したGPUパソコンでさえ、今年の新商品に搭載されている機能が使えないということが毎年のように繰り返されているからです。最新のGPUとパソコンを渋々買い替えている人が多いと思いますが、セットアップも中古売却もめんどくさいです。なんとかならないでしょうか? 今回
連載目次 本稿ではGoogle Colaboratory（以下、Colab）に搭載されている機能の中で、あまり知られていないと思われるものを厳選して、スクリーンキャプチャ中心で紹介する。以前に「Google ColabユーザーのためのTipsトップ10」という記事を公開しているが、本稿はその第2弾という位置付けになる。 ※本稿を執筆するに当たって、公式YouTube動画「Google Colab features you may have missed（見逃しがちなGoogle Colabの機能）」と公式Twitterアカウント「@GoogleColab」の内容を参考にした。 1. インタラクティブ・テーブル（Interactive Table）による表データ探索 Pythonデータ分析ライブラリー「pandas」のデータフレーム（DataFrame）を使って表データを扱う場合、Colab
ゼロから始めるPaperspace Gradient【Google Colab代替サービス】 - Qiita
Information 2024/10/7： ストレージとして Amazon S3 をマウントする方法を 10 章に追記しました。 これにより、コストの安い S3 をストレージとして使用できるため、 Paperspace のストレージ容量が少ない問題を解決できます（ S3 の料金体系については 9 章を参照）。 特定の torch や cuda のバージョンのコンテナで notebook を起動するする方法を 3 章に追記しました。 「torch==2.4.0 でないとライブラリが動かせない！」といった場合にお試し下さい。 はじめに こんにちは、kunishouです。先月2022年9月の末にGoogle Colabがサービス内容の大幅な変更を実施し、従来は無制限でGPUを使用できていたものが、クレジット制に移行しました。この変更を受けてこれまでGoogle Colabを利用してKaggle
Google ColabとVSCodeを用いた分析環境運用方法 〜kaggle Tipsを添えて〜 - ギークなエンジニアを目指す男
こんにちは。takapy（@takapy0210）です。 本エントリは下記イベントでLTした内容の元に、補足事項やコードスニペットなどをまとめたものになります。 kaggle-friends.connpass.com ちなみに今回LTしようと思ったきっかけは以下のような出来事からだったので、みなさんのTipsなども教えていただけると嬉しいです！ 情報出回ってる感あるけど、colab pro × vscode ssh のオレオレ運用方法を晒すことにより、もっと良い方法のフィードバックもらえるのではドリブンでLTするのはありなのかもしれない・・・？— takapy | たかぱい (@takapy0210) 2021年8月1日 LT資料 当日みなさんから頂いたコメント 環境構築手順 ngrokアカウント作成と認証キーの取得 ColabにGoogleドライブを接続、ngrok、sshサーバー起動
GitHub - ip-arch/NESLab: Educational materials for Embedded systems with NES
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Stable Diffusion を Colab で Web アプリ化する - 詩と創作・思索のひろば
Stable Diffusion が来てるねってことで貧者の GPU であるところの Colaboratory でいろいろ試したいのだけどノートブック上で Python のコードをこまごまいじりながら試行錯誤するのは微妙に体験が悪い。 ちょっとしたウェブサービスとして立てて実行できるとよいけれど、なかなかクラウドサービスも帯に短し襷に長しという感じで GPU を気軽に借りられるところはなさそうだ……と思ったら、Colab 上に HTTP サーバを立てられることを知ったので、その方法でやってみることにする。 やってみたソースは以下。 GitHub - motemen/stablediffusion-server-on-colab README にあるノートブックを開いて Huggingface のトークンを埋め、GPU を選択して実行するとサーバが起動する。サーバが起動する前のセルに表示され
Open Interpreterは、ChatGPTのAdvanced Data Analysis（旧Code Interpreter）と同様の機能をローカル環境で動かせるオープンソースのツールです。 自然言語でのプログラミングを実現し、Python、Javascript、Shellなどの言語に対応しています。また、データ分析、ネットアクセス、テキスト、画像、動画などの編集ができます。 【参考】日本語公式解説 １．Google Colabでの利用法以下のコードをColabノートにコピーして、GPUを設定し、セルを実行すると、チャットが開始します。 なお、事前に「sk-」で始まるOpenAIのAPIキーを取得して、「自分のOpenAIのAPIキー」のところに貼り付けてください。 !pip install open-interpreter import interpreter interpret
機械学習／データサイエンス分野で特に人気の（Pythonなどの）実行環境であるGoogle Colaboratory（以下、Colab）は無償で使えるものの、無制限ではない。実行時間やメモリ容量などに制限がある。こういった制限を低減する有償プロ版「Colab Pro」が2020年3月に発表され、米国とカナダのみで申し込みできる状況だったが、それから1年後の2021年3月19日以降、日本でも申し込み可能になった（図1）。さらに、より強力な有償プロプラス版「Colab Pro+」が2021年8月に発表され、同日から日本でも申し込み可能になり、その約1年後の2022年9月29日、従量課金版「Pay As You Go」（＝使った分だけ支払う）という新しい有償プランが追加され、それに合わせて既存のPro／Pro+（＝毎月定期購入するサブスクリプション制）にも「コンピューティングユニット（Compu
Colaboratoryの有料プランの仕組みが変更となったので仕様を確認しました（2022年9月） - カレーちゃんブログ
Google Colaboratoryの有料プランが、これまでの定額使い放題から、クレジット制に移行となりました。 変更点を確認したいと思います。 料金 GPU コンピューティングユニットの消費 1ヶ月あたりどれぐらい使えるか 感想 料金 これまでと変わらずに、Colab Proは月あたり1,072円、Colab Pro+は5,243円となっています。(https://colab.research.google.com/signup?utm_source=faq&utm_medium=link&utm_campaign=seems_too_good) それにより、Colab Proは100コンピューティングユニット、Colab Pro+は500コンピューティングユニットというGPUを使用できるクレジットがもらえます。 GPU GPUのクラスで、標準を選ぶとT4 プレミアムを選ぶと、V100
【Colab 入門】Google Colaboratory とは？使い方・メリットを徹底解説！ | 株式会社キカガク
こんにちは！株式会社キカガクの二ノ宮です。普段は機械学習・ディープラーニングの講師をしています。 プログラミング学習を始めようとする多くの方が、最初に「環境構築」というハードルに直面します。PCやOSによる手順の違い、次々と表示されるエラーなど、コードを書き始める前に学習意欲が低下してしまうケースは少なくありません。 そこでおすすめしたいのが、Googleアカウントさえあれば誰でもすぐにPythonを始められる「Google Colaboratory（略称：Google Colab）」です。 この記事では、Google Colabがなぜ便利なのか、その具体的なメリットと使い方を解説します。単なるツールの紹介だけでなく、これがプロの現場でも通用するスキルにどう繋がっていくのか、その重要性までお伝えできればと思います。 Google Colabの使い方から学び、実際に現場で使えるレベルにまでで
Google Colab
Sign in
カスタム指示はColabに統合されたGeminiの振る舞いをカスタマイズする 学習モードでは、Geminiはユーザーと対話を重ねながら、学習対象への理解を深めるように振る舞う デフォルトモードはプロンプトに対して、必要な要素をまとめて生成してくれる 学習モードと独自のカスタム指示を同時に選択することはできない（2026年4月15日時点） 学習モードっぽいカスタム指示を考え付けば、Geminiにそれっぽく振る舞わせることは可能かも カスタム指示と学習モード カスタム指示については、想像が付くでしょうが、Colabに統合されたGeminiの振る舞いをカスタマイズするための指示のことです。Geminiは対話をするときには、この指示に従って振る舞うようになります。 学習モードは、Geminiを言語や特定のライブラリやフレームワークについて教えてくれる先生役にするモードです。通常は、チャットウィンド
Google Colab ✖ OpenAI GPT-OSS 20Bモデルのファインチューニング完全ガイド - Sun wood AI labs.2
🚀 はじめに このチュートリアルでは、OpenAIの最新モデルGPT-OSS 20BをGoogle Colab L4 GPU（22GB VRAM）でファインチューニングする方法を解説します。UnslothライブラリとLoRAを使用することで、効率的にモデルを訓練できます。 OpenAI gpt-oss をファインチューニングできるnotebookを日本語化してみた！！！ ＊後ほど記事にしてだしまーす！！ https://t.co/ZuPbcKi4jT pic.twitter.com/5Ji93tmiKA — Maki@Sunwood AI Labs. (@hAru_mAki_ch) August 9, 2025 📢 最新情報 新機能: UnslothがOpenAIのGPT-OSSモデルのトレーニングに対応！ Text-to-Speech (TTS)モデルのサポートも追加 新しいDyna
「Google Colab」で「Xwin-LM-70B-V0.1-GPTQ」を試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で70Bを動作確認しています。 1. Xwin-LM-70B-V0.1-GPTQ「Xwin-LM」は、ベンチマーク「AlpacaEval」で「GPT-4」を追い抜き1位を獲得したモデルです。 今回は、「TheBloke/Xwin-LM-70B-V0.1-GPTQ」を利用します。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「A100」を選択。 (2) パッケージのインストール。 GPTQを利用するため、「auto-gptq 」もインストールしています。 # パッケージのインストール !pip install t
連載目次 前回は、ColabCodeモジュールを使って、Google Colab上でVisual Studio Code（以下、VS Code）のサーバ版ともいえる「code-server」を実行する方法を見ました。今回は、colab-sshモジュールを使って、ローカル環境で実行しているVS CodeからGoogle ColabにSSH接続する方法を紹介します。 colab-ssh インターネットを「vscode colab」などの語で検索すると、VS CodeからGoogle ColabにSSH接続するための情報が数多く見つかります（もちろん、colab-sshモジュールを使った方法も見つかります）。それらの情報の多くは少し手間がかかるものです。ここでは、なるべく手間がかからないように、colab-sshモジュールを使うことにしました。 colab-sshはGoogle ColabへのS
こんにちは、GMOアドマーケティングのS.Rです。 Colab はGoogle より提供されている人気の無料データ分析クラウドサービスです。Colab を使ってTensorFlow,Keras などよく使われている機械学習のツールを利用できるので機械学習エンジニアにとってとても便利なツールです。ただ Colab のinstance が8時間しか動けないのでコードのバージョン管理が混乱する可能性が高いです。 今回はGitHub でColab のコードをバージョン管理する方法を皆さんへ紹介させて頂きます。 全体の流れ Colab+GitHubコードのバージョン管理の流れは下記になります。 GitHubのrepoを作成 GitHubのaccountにログインして新しいprivate repoを作成します。今回は例としてcolab_testのrepoを作成しました。 Colabでssh keyを作
ColabCodeを使って、Google Colabの上でVS Codeを使ってみよう：Visual Studio Codeで快適Pythonライフ（1/2 ページ） Google Colab上でVS Codeを動かす幾つかの方法のうち、ColabCodeというモジュールを使ってお手軽にこれを実現する手順を紹介します。
これがすごく簡単なので、蒸留をお手軽に試したいという人にうってつけだと思う。何よりすごいのは、彼らが実装した動的量子化のおかげで、4ビットLoRA(QLoRA)の性能劣化が抑えられ、無料アカウントでも7Bモデルくらいなら学習できてしまうということ。 学習そのものも数分から数十分で終わってしまうので、これまでにあったような「蒸留/ファインチューニングは凄く大変」というイメージでもない。目から鱗という感じ。 いろいろなLLMを簡単に高速化できるので試してみるのも面白いかもしれない。 https://unsloth.ai/ Unslothが自分で用意した量子化モデルの一覧はこちら 自分でもPhi-4の蒸留を試してみたが、少しハマりどころがある。 まず、xformerのバージョンやら何やらを揃えないといけない。 Pythonは3.10で、CUDA12.1でやった。GPUはA100 80GBx1を使
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
![[DreamBooth] Stable Diffusionを追加学習して独自のモデルを作成 [無料Colab]](https://cdn-ak-scissors.b.st-hatena.com/image/square/8fde3e82a0f6d1c7c7f49d2bdbca8f9205b2c527/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fblogger.googleusercontent.com%2Fimg%2Fb%2FR29vZ2xl%2FAVvXsEiWym_9fhEbZh0F2-rryoQ1M09bs_PyCJ95piQ_t8K0D6VF4nu64b-P7iPhn6An79PHj2Ofrk-ybugkDplehhE9A-Q4mIe2xtm_170Sdak-WUdt2iouI31NdxAI0ruM2rmX4tei6r5pOmA4hDTEH_WeDg5PbFMtO2VsOLAIXnVPBgUq8qaMoZUMSkEN9Q%2Fw1200-h630-p-k-no-nu%2Fan%2520illustration%2520of%2520sks%2520boy%2520riding%2520a%2520bicycle.png)
画像生成AI「Stable Diffusion」を低スペックPCでも無料かつ待ち時間なしで使う方法まとめ
エヴァのMAGIシステムをGPT3で作ってみた｜深津 貴之 (fladdict)
「暇空茜」を在宅起訴 「Colabo」に対する名誉毀損罪で：朝日新聞
Google Colab で はじめる Stable Diffusion v1.4｜npaka
Colabで動かすStableDiffusion実装｜深津 貴之 (fladdict)
「女性を見世物に」売春摘発の実名報道でColaboが抗議、"買春者"処罰の法改正も求める - 弁護士ドットコムニュース
森奈津子先生がColabo叩きで炎上している件｜渡辺直弼
都監査委員、再調査を勧告 都事業受託した女性支援団体の会計：朝日新聞
LLMでマリオをプレイ「Large Language Mario」を作って試してみました
初めてでもできる！ 自宅PCのGPUを「Google Colab」から使い、生成AIをカンタンに動かす方法【イニシャルB】
Google ColabとVSCodeで作るデータ分析環境 クラウドのGPU環境でもローカルと遜色ない開発体験を | ログミーBusiness
Google Colab で、お手軽 Text-to-Image
ChatGPT APIを使ってExcelやCSVのデータからレポートを自動作成してみる - Qiita
GoogleColabとVSCodeを用いた分析環境運用Tips
Google Colabで知られていないが有用な機能7選
Google ColabでOpen Interpreterを試してみた｜IT navi
Colab Pro／Pro+／Pay As You Goとは？ 無料版との違い、比較表
もう入門書はいらない？ Colabに統合されたGeminiの学習モードを使ってみた
Google Colab で Xwin-LM-70B-V0.1-GPTQ を試す。｜npaka
colab-sshを使って、VS CodeからGoogle Colabに接続してみよう
Colab + GitHubでコードをバージョン管理する方法
ColabCodeを使って、Google Colabの上でVS Codeを使ってみよう
UnslothのGoogle Colabノートブックで手軽にLLMの蒸留ができる｜shi3z
www.smartnews.com
www.youtube.com
news.yahoo.co.jp
x.com
x.com
note.com/neko_chomei