ChatGPTなどの大規模言語モデル (Large Language Model; LLM) にプログラミングやリファクタリングをさせる場合、目的に合ったものが作られているかを何らかの方法で検証する必要がある。 プログラムの正しさを完全に保証する方法はないが、ある程度の正しさを継続して担保するための方法を探ってみたので以下にまとめた。 ポイントは、ChatGPTの生成したプログラムの検証にもやはりChatGPTの力を借りることである。 実行可能性と入出力のチェック プログラムを生成するタスクである場合、いつでも「実行できるか？」というチェックが可能である。これは自然言語の生成と大きく異なる点だろう。実行可能性を確かめることは最低限のチェック項目になる。 エラーが出力された場合、自力で修正するか、もしくは、エラーの内容をChatGPTに提示して修正を依頼し、再度実行可能かを確かめる。 入力・

需要あるかなと思って書いたら結構反響あったのでメモ。 まずこれを動かす環境作り。 誰のPCでも動くようにCPU版にします python -m venv venv venv\Scripts\activate pip install opencv-python-headless numpy pillow onnxruntime huggingface-hub以下のスクリプトを作成 ContentSafetyAnalyzer.py import csv import os from pathlib import Path import cv2 import numpy as np from PIL import Image import onnxruntime as ort from huggingface_hub import hf_hub_download # 画像のサイズ設定 IMAGE_

この記事は日本語特化版JP-Extraが出る前のもので、JP-Extra版についての記述はありません。最新の情報は別記事を参照してください。 宣伝 Style-Bert-VITS2という、Bert-VITS2の日本人向け改良版を作っているので、そちらを使うと早いです Style-Bert-VITS2のチュートリアル解説動画を作りました discordサーバー「AI声づくり研究会」によく出没しています 概要 （この記事は随時いろいろ更新しています、2023-12-21にver 2.3での方法を加筆） 中華コミュニティの最新のTTS手法である、Bert-VITS2 の学習方法ガイドです。日本語・中国語・英語で学習できクロスリンガルで感情リファレンス指定とかも出来るすごいやつです。個人的にはVITSよりも圧倒的に速いスピードで（1時間くらい学習を回すだけで）すぐに質がVITS超えで、文章によって

Python環境でInstagram Graph APIを活用し、インスタ運用を効率化したいInstagram Graph APIで「インスタに写真や動画をアップロードする方法」が知りたい Instagramの運用自動化とは｜何ができるの？ Instagramの運用自動化とは、これまで手作業で行なってきたインスタ操作をシステムで自動化することを指します。 Instagramの運用自動化は、Meta（旧Facebook）が提供するInstagram Graph APIを活用すると実現でき、具体的に上記の操作が自動化できるようになります。 インスタアプリ上での操作は全て自動化できることが分かりますね。Instagram APIの機能を組み合わせると、インスタデータの自動収集、グラフ作成や結果考察という一連作業もまとめて効率化できるようになります。 Instagram運用の自動化｜APIの利用

A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team

【5/6修正】 申し訳ございません。 もともと自分の学習用に記事の内容をまとめていて、それを公開していたのですが、無許可転載であるとのご指摘がありましたので、記事の内容を削除いたしました。 配慮が欠けていました。 申し訳ありませんでした。 元記事をお読みください。 https://www.fast.ai/posts/2023-05-03-mojo-launch.html

「gradio」の使い方をまとめました。 1. gradio「Gradio」は、Web UIを簡単に構築できるPythonライブラリです。 2. はじめてのWeb UIの作成Web UIの作成手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール pip install gradio(2) シンプルなWeb UIを作成して起動。 名前を入力して、名前へのあいさつを出力するWeb UIになります。 import gradio as gr # あいさつの関数 def greet(name): return "Hello " + name + "!" # Interfaceの作成 demo = gr.Interface( fn=greet, inputs="text", outputs="text" ) # 起動 demo.launch()3. Interfa

Pythonで仮想環境と言えば、複数の選択肢があります。 選択肢が多すぎて、何を使えばいいのか迷いませんか？ そのような場合は、簡単でわかりやすいモノを使いましょう。 venvによる仮想環境は、まさにその条件を満たしています。 本記事の内容 venvとは？venvによる仮想環境の作成venvによる仮想環境の有効化venvによる仮想環境の終了 それでは、上記に沿って解説していきます。 venvとは？ venvとは、Pythonに組み込まれている標準モジュールのことです。 標準モジュールであるため、追加で何かをインストールする必要がありません。 これは、簡単でわかりやすいです。 だって、何もしなくてもいいのですから。 では、実際に仮想環境を作成するのはどうなのでしょうか？ 「簡単に仮想環境を作成・運用できるのか？」という質問ですね。 はい、これも簡単です。 日常的に利用するコマンドは以下だけ。

「Hugging Faceで公開されているデモ環境のソースが欲しい」 「Hugging FaceへPythonからアクセスしたい」 このような場合には、huggingface_hubがオススメです。 この記事では、huggingface_hubについて解説しています。 本記事の内容 huggingface_hubとは？huggingface_hubのシステム要件huggingface_hubのインストールhuggingface_hubの動作確認 それでは、上記に沿って解説していきます。 huggingface_hubとは？ huggingface_hubとは、Hugging Face Hub用クライアントです。 Pythonライブラリであり、PythonからHugging Face Hubにアクセス可能となります。 もちろん、Hugging Faceの運営元が開発しています。 GitHub

17 oct 2022に出たImagicという技術について、ペーパーとソースを見比べながら説明します。

PCで再生中の音声をリアルタイムで文字起こしできると、字幕機能がない動画の再生や、外国とのオンライン会議で便利である。 先日、OpenAIが公開したWhisperは、音声ファイルから文字起こしするするツールが提供されているが、リアルタイムで処理するツールは提供されていない。 そこで、Pythonスクリプトで、リアルタイムで文字起こしするツールを作成した。 ループバック録音 SoundCardを使うと、PCで再生されている音声を録音することができる。 pip install SoundCardでインストールする。 import soundcard as sc with sc.get_microphone(id=str(sc.default_speaker().name), include_loopback=True).recorder(samplerate=SAMPLE_RATE, chan

Stable Diffusionに独自データセットで追加学習できるようになるために、まずは既存のデータセットを使用した学習方法を試した。 追加学習の方法には、画像3～5枚を用いてスタイルを学習させるTextual Inversionという方法があるが、ここでは追加学習にデータセットを用いて画像をテキスト条件付きで追加学習する方法を試す。 GitHubのStable Diffusionには追加学習の方法についてドキュメントが用意されていないため、Waifu Diffusionの方法を参考にした。 Waifu Diffusionは、Stable Diffusionをdanbooruデータセットでファイチューニングしたものである。 Waifu Diffusionがどのように追加学習を行ったか手順は書かれていないが、ファインチューニング用のconfigファイルが用意されているため、それを使って、ト

ビックデータ分析技術は情報処理技術を学ぶ上で重要となっている。本講義では、データ分析・データマイニングの基礎について学ぶとともに演習を通して実際にデータを分析するプロセスを学ぶ。特に、前期課程の「データマイニング入門」講義のさらに発展的な内容を学習することで、後期課程や大学院におけるデータサイエンス、人工知能、機械学習、自然言語処理などの関連講義の基礎となる知識を習得することを目標とする。

(2022/09/22 17:52更新)画像生成AI「Stable Diffusion」を簡単に利用するための実行環境の1つである「Stable Diffusion web UI」のコントリビューター(開発貢献者)の1人であるAUTOMATIC1111氏が、フォークではないものの同名で「機能全部盛り」なStable Diffusion web UI(AUTOMATIC1111版)の開発を進めています。 GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI https://github.com/AUTOMATIC1111/stable-diffusion-webui ◆目次 1：AUTOMATIC1111版Stable Diffusion web UIでできること・対応していること 2：Google Co

テキストマイニングとは？ テキストマイニングとは、テキストをプログラムに分析してもらい、文章の特徴を図や色などで表現することを指します。 SNSで注目されている単語やGoogle検索トレンドなども瞬時で分析でき、データサイエンティストやマーケターなども活用できます。 今回行うテキストマイニングで特に重要な処理が「形態素解析」と呼ばれるもので、繋がっている文章の中から単語を抜き出して意味を割り出す分析方法です。 例えば、私たち人間が「このサイトは非プログラマーが日常業務で使えるシンプルなPythonを紹介するメディアです。」 をという文章を読む時には 「この/サイト/は/非/プログラマー/が/日常/業務/で/使える/シンプル/な/Python/を/紹介/す/る/メディア/です。/」 と区切ることができます。しかし（英語は単語ごとにスペースを開けるのでプログラムで処理をしなくても問題はありませ

▶AI×テキストマイニング|メリット、おすすめツール、利用法までご紹介>> 自然言語処理がもつ4つの基礎解析 自然言語処理の基礎解析には様々なものがあります。自然言語処理は性質上、扱う言語によって大きく処理が異なります。 ここでは日本語を処理する基礎解析について紹介していきます。 形態素解析 構文解析 意味解析 文脈解析 それぞれを解説していきます。 ①形態素解析 形態素解析とは、言葉や文章を形態素に分割し、分けた言葉をそれぞれの品詞ごとに分別する処理のことを指します。 「形態素」とは、言葉や単語の最小単位のことです。 簡単に言うと「私は散歩に出かけた。」という文章を形態素解析すると 「私・は・散歩・に・出か・け・た。」という分割になります。 そして分割した一つ一つに品詞を割り振っていきます。 ②構文解析 構文解析とは、形態素に分けた単語同士の関連を明確にする作業のことを指します。 文を分

「精度の高いAIアートをPythonで試したい」 「GoogleのColaboratoryではなく、ローカル環境でStable Diffusionを動かしたい」 このような場合には、この記事の内容が参考になります。 この記事では、ローカル環境で簡単にStable Diffusionを実行する方法を解説しています。 本記事の内容 Stable Diffusionとは？Stable DiffusionをDiffusersで利用する方法学習済みモデルのダウンロード【動作確認】テキストからの画像生成 それでは、上記に沿って解説していきます。 Stable Diffusionとは？ Stable Diffusionとは、オープンソース化された高性能画像生成AIです。 Stable Diffusionを用いると、テキストから画像を出力することが可能となっています。 例えば、「Cyberpunk old

[Tutorial] "Fine Tuning" Stable Diffusion using only 5 Images Using Textual Inversion. Credits: textual_inversion website. Hello everyone! I see img2img getting a lot of attention, and deservedly so, but textual_inversion is an amazing way to better get what you want represented in your prompts. Whether it's an artistic style, some scenery, a fighting pose, representing a character/person, or redu

Go言語ってまじでゴミだよな 少しなにかしようとすると、馬鹿みたいに長ったらしいスペルで ライブラリインポート強要されるし