はじめに最近、LLMへのRAGを用いた文書データの連携等を目的に海外を中心にOCRや文書画像解析技術に関連する新しいサービスが活発にリリースされています。 しかし、その多くは日本語をメインターゲットに開発されているわけではありません。日本語文書は、英数字に加えて、ひらがな、漢字、記号など数千種類の文字を識別する必要があったり、縦書きなど日本語ドキュメント特有のレイアウトに対処する必要があったりと日本語特有の難しさがあります。 ですが、今後、海外の開発者がこれらの課題に対処するため、日本のドキュメント画像解析に特化したものをリリースする可能性は低く、やはり自国の言語向けのサービスは自国のエンジニアが開発すべきだと筆者は考えています。 もちろん、Azure Document Intelligenceをはじめとした、クラウドサービスのドキュメント解析サービスはありますが、クラウドを利用できないユ

企業・組織に属している方向けの ChatGPT の社会・ビジネスへの影響を考えるお話です。 人とComputerの在り方が大きく変わったこれらも交えて。それらが周囲にあふれ出すその日のために、今はしっかりと Prompt の仕方を学んでおきたいものです。そのためのサンプルも幾つか継続して提示しています - とある人の、変わってしまった日常の一部 - なぜ?何が? ChatGPT で変わるのか? - Plugin の可能性 - Code Interpreter の可能性 - Copilot の可能性

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? わ、去年2023-08-26にこの記事書いたんだね。まる1年だね。2024年版機械学習・データ分析の必須10冊+ガチ90冊+Next5冊=105冊書きましたよ。 【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。 本記事作者の青木はバイオインフォマテ

この本では、初心者・入門者の方に向けて、プロンプトエンジニアリングの知識や使い方を体系的にまとめました。 【概要】 ・内容：プロンプトエンジニアとは？、プロンプトエンジニアの必須スキル5選、プロンプトデザイン入門【質問テクニック10選】、LangChainの概要と使い方、LangChainのインストール方法【Python】、LangChainのインストール方法【JavaScript・TypeScript】、LCEL（LangChain Expression Language）の概要と使い方、LangSmithの概要と使い方【LLMOps】、LangServeの概要と使い方【API】、LangGraphの概要と使い方【Multi-Actor】、OpenGPTsの概要と使い方【OSS版のGPTs】、LangChain Evaluations【生成物の評価方法】、LangChain Hub、Op

In ChatGPT Prompt Engineering for Developers, you will learn how to use a large language model (LLM) to quickly build new and powerful applications.  Using the OpenAI API, you’ll be able to quickly build capabilities that learn to innovate and create value in ways that were cost-prohibitive, highly technical, or simply impossible before now. This short course taught by Isa Fulford (OpenAI) and And

今回のプロンプトエンジニアリング応用編では前回の基礎編に比べて、より高度なテクニックと実践的なアプローチを紹介します。本記事は、dair-aiのガイド（リンク） を参照させて頂き、日本語訳と独自の実験結果を加えて、理解しやすい形でお届けしたいと思います。GPTモデルの潜在能力を最大限に引き出す方法を見ていきましょう。

本ブログでは、OpenAI社から発表されたチャットサービスであるChatGPTの仕組みを紹介していきます。どのようにChatGPTを使うかといった話ではなく、ChatGPTそのものがどのような枠組みの上で成り立っているのかをざっくりと理解できることが本記事のゴールとなります。

【徹底解説】これからのエンジニアの必携スキル、プロンプトエンジニアリングの手引「Prompt Engineering Guide」を読んでまとめてみた こんにちは。CX 事業本部 Delivery 部のきんじょーです。 ここのところChatGPT と戯れてアプリを作ったり、様々なプロンプトの検証をしていましたが、言語モデルの性能を最大限に引き出すために、体系的にプロンプトエンジニアリングを学びたいと考えていました。 GitHub に「Prompt Engineering Guide」という素晴らしいリポジトリがあったので、読んで検証した内容をブログにまとめていきます。 本記事は、執筆時点の上記リポジトリの内容を元にしていますが、意訳や独自に検証した日本語のプロンプトを含みます。 上記リポジトリも絶賛開発中の段階のため、最新情報や原文が気になる方はリポジトリを直接参照してください。 目次 プ

画像生成AIは、無から画像を生み出しているわけではなく、膨大なデータセットで学習した内容から求められた画像を出力しています。そこで、出力された画像をもとにして、データセット内のどういった画像がもとになったのかわかるサービスが「Stable Attribution」です。 Stable Attribution https://www.stableattribution.com/ サイトにアクセスすると、Stable Attribution制作の経緯が表示されます。スクロールすると話が続きますが、ただちにサービスを利用したい人は右下にある「skip story」をクリック。 すると画面が左右に分かれたような表示になります。これは、左がAIが画像生成にあたり用いたデータセットの画像、右が生成された画像を示します。 生成された画像の下の「SHARE ATTRIBUTION」をクリック。 すると、「

たまに質問いただいたりいただかなかったりするので自分がAIイラストを投稿するまでの手順をできるだけ詳細に記してみます 基本的に以下の記事のパクリです 使用しているものは AUTOMATIC1111 氏の stable-diffusion-webui のみです（加筆修正、色調補正などは行わない方針） -1. 3行要約と完成品 ・テーマは「和装の女...

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

はじめに この記事はNuco Advent Calendar 2022の5日目の記事です 対象読者 Pythonが注目されている理由のひとつは機械学習プロジェクトの主要な開発言語であるからといってもよいでしょう。多くの企業の業務システムのAIの開発言語はPythonです。そんなPythonの学習を始めてある程度文法の理解が進んできて、機械学習に触れてみたい方を対象にしています。 Pythonの基本文法を理解している 機械学習を始めてみたい チュートリアル概要 Pythonは長年機械学習で使用されているので、ライブラリも豊富にあります。本記事では機械学習用ライブラリのscikit-learn(サイキット・ラーン)を使用して教師あり学習を行い住宅価格を予測してみます。 何ができるようになるか 機械学習で使われる基本的な用語を理解し、学習の全体像をつかめるようになります。 機械学習の目的 機械学

追記: U-Netの中間層は常にSelf-Attentionとなります。ご指摘いただきました。ありがとうございます。（コード） オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！ 未来都市にたたずむサンタクロース（Stable Diffusionで生成） 2022年8月、世界に大きな衝撃が走りました。それは、Stable Diffusionの公開です。Stable Diffusionは、テキストを受け取るとそれに沿った画像を出力してくれるモデルです1。Stable Diffsuionは10億個近いパラメータ数をもち、およそ20億個の画像とテキストのペア（LAION-2B）で学習されています。これにより、Stable Diffusionは入

2022年10月15日、技育祭2022秋における講演資料です。 様々なコンテンツやクラウドサービスの充実により、機械学習という技術を利用するハードルは低くなりました。一方で、機械学習を用いて価値を生み出すことは容易ではありません。本勉強会では、プロダクト開発において「機械学習」という技術で価値を創…

Torishima / INTP @izutorishima アニメリアタイと DTV と技術とﾌﾟﾛｸﾞﾗﾐﾝｸﾞとその他諸々なオタク (⚠⚠⚠AI研究者ではありません!!!フォロー非推奨!!!⚠⚠⚠) IT と AI 関連の情報ウォッチしてます 同IDで Bluesky にもいます 時間掛けて書いた見てほしいツイートはハイライトに (2023/12~) note.com/sumisutori Torishima / INTP @izutorishima 画像を高画質化する AI の Real-ESRGAN、ウルトラスーパーガチで凄すぎて超絶ビビってる waifu2x-caffe と違って Intel Graphics に対応してるらしくノート PC でも爆速でアップスケーリングできるし、精度も段違い（2枚目: Before 3枚目: After） なぜ話題になっていないのか不思議なレベ

自分がつかってる、Google Colab用StableDiffusion環境を公開しました。 海外のWEB UIのが重いのと、やりたいことが微妙に違うので自分なりに作った。公式のDiffuserを使わないので軽いです。無課金のcolabでも動くのではないかと思います。 使い方GitHubページの「Open in Colab」ボタンをおして、colabで開く。 このページ上部のメニューで、「ランタイム > ランタイムのタイプを変更」からGPUを有効化を確認 HuggingFaceでアカウントを作成 StableDiffusionのモデルページで、「利用規約」に合意する。 モデルファイル sd-v1-4.ckpt をダウンロード モデルファイルを Google Drive等にアップロード 下のセル 「1-1. Google Driveとの接続」を実行 下のセル　「1-2. のフォーム」に、G

テキストから高クオリティの画像を生成できるAI・Stable Diffusionが話題になる様子を見て、「自分も何か画像を作らせてみたい！」と興味を持っている人は多いはず。Stable Diffusionで画像を生成する際に重要になるのが「どんなテキストを入力するのか」という点で、AIの動作を調べて有効だと判明した文字列は「呪文」とも呼ばれています。そんなStable Diffusionで使える呪文のような文字列を、実際に生成された画像から見つけることができるサービス「Lexica」が登場していたので、実際に使ってみました。 Lexica https://lexica.art/ Stable DiffusionはNVIDIA製GPUを搭載したマシンのローカル環境で実行できるほか、デモページからでも使用できます。しかし、NVIDIA製GPUを所有していない人やデモページの待ち時間が長すぎると

ホーム ブログ 人工知能（ＡＩ）、ビッグデータ法務 Midjourney、Stable Diffusion、mimicなどの画像自動生成AIと著作権｜知… はじめに Midjourney、Stable Diffusion、mimicなど、コンテンツ（画像）自動生成AIに関する話題で持ちきりですね。それぞれのサービスの内容については今更言うまでもないのですがMidjourney、Stable Diffusionは「文章（呪文）を入力するとAIが自動で画像を生成してくれる画像自動生成AI」、mimicは「特定の描き手のイラストを学習させることで、描き手の個性が反映されたイラストを自動生成できるAIを作成できるサービス」です（サービスリリース後すぐ盛大に炎上してサービス停止しちゃいましたが）。 で、この手の画像自動生成AIのようなコンテンツ自動生成AIですが、著作権法的に問題になる論点は大体決ま

画像生成AI「Stable Diffusion」は、「森で遊ぶクマ」「アイスクリームを食べる人間」といった文章を入力するだけで文章に沿った画像を出力してくれるAIです。そんなStable Diffusionには文章と共に「元となる画像」を入力することで出力画像の精度を向上させられるモード「img2img」が存在。このimg2imgを駆使して簡単なラフ画像から高品質なイラストを生成する手順について、ソフトウェアエンジニア兼フォトグラファーのアンディ・サレルノ氏が解説しています。 4.2 Gigabytes, or: How to Draw Anything https://andys.page/posts/how-to-draw/ Stable Diffusionに「森で遊ぶクマ」といった指示を与えた場合、「構図がイメージ通りではない」「夏の森ではなく、冬の森がいい」といったように、イメージ

画像生成AI「Stable Diffusion」を使ったLINEのAIチャットbotサービス「お絵描きばりぐっどくん」が8月28日に公開された。LINE上で文章を送ることで、AIが画像を生成する。英語の他、日本語にも対応している。九州工業大学情報工学部の4年生の西野颯真さん（＠nishino_0719）が作成した。 LINEでbotを「友だち登録」することで利用可能。1日10枚まで画像を生成できる。生成した画像の著作権はStable Diffusionと同様、パブリックドメインとしている。西野さんは「Stable Diffusionを触る上で環境構築のハードルの高さへの課題を感じていて、そこを誰でも気軽に触れるLINEを使って解消できないかなと思った」と作成した経緯を話す。 リクエスト通りに画像を生成するコツについては「明言はできないが、人物の生成は苦手だけど風景の生成は得意などの特徴を把