LLMのチャット以外の可能性 ChatGPTなどで話題のLLM（Large Language Model）、用途としてはチャットボットとしての使われ方が多いですが、チャット以外にも使える可能性を秘めています。 具体的には、生成AIでロボット制御をする「RT-1」や、マインクラフトをプレイする「Voyager」などがあります。これらの詳細の解説は以下記事参照ください。 今回は、夏休みの自由研究（と呼べるほど高尚なものではないですが）として、手軽に分かりやすい例として、LLMでマリオをプレイできるか試してみることにしました。 LLMでマリオをプレイ マリオに関しては、以前に深層強化学習で全ステージクリアにチャレンジしたことがあります。 複数人の有志の協力があり、ループを多用する8-4を除いたステージを全てクリアすることができました。ただ、ステージごとにシミュレータで半日以上かけて学習させる必要

まとめ Danbooru タグをいい感じに生成・補完してくれる LLM を作ることができた データセットやトークナイザーの作成、事前学習、SFT、推論の最適化まで一通り体験できた 作成したもの: モデル (SFT): モデル (事前学習): デモ: 🤗 Space はじめに 最近いい感じの画像生成 AI が流行ってきていて、プロンプトを指定するといい感じの画像が生成できるようになってきました。 しかし、いい感じの画像生成モデルを使っていてもプロンプトがしっかりしていないといい感じになってくれません！困りました！ DALL-E 3 では画像生成をお願いすると、ChatGPT が指定された情報にさらに詳細な情報を追加し、長いプロンプトにしてから画像を生成するようになっています。 少ない情報から情景を想像して詳しい情報を追加している (実際の生成では英語が使われる) DALL-E 3 の論文に

Swallow Llama 2の日本語能力を強化した大規模言語モデル (7B, 13B, 70B) です。モデルのパラメータ（重み）が公開されていますので、LLAMA 2 Community Licenseに従う限り、研究や商業利用など自由に利用できます。 View on HuggingFace 大規模言語モデルSwallowは東京工業大学情報理工学院の岡崎研究室と横田研究室、国立研究開発法人産業技術総合研究所の研究チームで開発された大規模言語モデルです。英語の言語理解や対話で高い能力を持つ大規模言語モデルLlama 2 7B, 13B, 70Bの日本語能力を拡張するため、研究チームは言語モデルに日本語の文字や単語などの語彙を追加したうえで、新たに開発した日本語データを用いてモデルの構築を継続的に行う継続事前学習を行いました。研究チームで実施した性能評価では、2023年12月現在オープンな

この記事は Ubie Engineering Advent Calendar 2023 15日目の記事です。私は現在、 新しいプロダクトのプロダクトオーナー (PO) として働きつつ、機械学習エンジニアとして大規模言語モデル（LLM）を活用する業務にも携わっています。Ubie は LLM にかなり力を入れており、社員の生産性向上 やプロダクトへの機能追加 など、色々なところで LLM が活用されています。 また、私が所属するチームでは、既存の大規模言語モデル（LLM）の活用に加えて、LLM 自体に関する理解を深め、知見を蓄積する取り組みも行っています。その中で特に「言語モデルはどのようにして知識を蓄えているのだろうか？」という問いは、非常に興味深いと感じました。そこで、この記事では、言語モデルと知識獲得に関する文献をいくつか紹介したいと思います。 知識ベースとしての言語モデル そもそも「言

商品・サービスの名称や特徴などを入力するだけで、AI（人工知能）がWebマーケティングで使えそうなキャッチコピーの候補を数多くアウトプットしてくれる。そんなAI文章作成ツール「Catchy（キャッチー）」を2022年6月末からデジタルレシピ（東京・渋谷）が提供を始めた。文章のみならず、マーケティング施策、プロモーション施策のアイデアも僅か数秒で何パターンも言語化してくれる。果たして、このAIコピーライターの実力はいかほどか。 Catchy（キャッチー）は、広告のキャッチコピーをはじめ、記事のタイトルや見出し、LP（ランディングページ）のヘッドライン（大見出し）、GoogleやFacebook、Twitter広告のタイトル・説明文など、140パターン以上の様々な種類の文章をAIが自動的に生成してくれるWebサービスだ。生成された文章は、短文も長文もあまり違和感がない自然な流れの日本語になって

We’ve trained a neural network called DALL·E that creates images from text captions for a wide range of concepts expressible in natural language. DALL·E is a 12-billion parameter version of GPT-3 trained to generate images from text descriptions, using a dataset of text–image pairs. We’ve found that it has a diverse set of capabilities, including creating anthropomorphized versions of animals and

▶AI×テキストマイニング|メリット、おすすめツール、利用法までご紹介>> 自然言語処理がもつ4つの基礎解析 自然言語処理の基礎解析には様々なものがあります。自然言語処理は性質上、扱う言語によって大きく処理が異なります。 ここでは日本語を処理する基礎解析について紹介していきます。 形態素解析 構文解析 意味解析 文脈解析 それぞれを解説していきます。 ①形態素解析 形態素解析とは、言葉や文章を形態素に分割し、分けた言葉をそれぞれの品詞ごとに分別する処理のことを指します。 「形態素」とは、言葉や単語の最小単位のことです。 簡単に言うと「私は散歩に出かけた。」という文章を形態素解析すると 「私・は・散歩・に・出か・け・た。」という分割になります。 そして分割した一つ一つに品詞を割り振っていきます。 ②構文解析 構文解析とは、形態素に分けた単語同士の関連を明確にする作業のことを指します。 文を分

機械学習と統計学、予測と因果など、これまでにもこうした違いについて何回か取り上げてきました。 実は言語学、自然言語の研究分野でもこうした違いに関しての論争があります。その中でも有名なのは、近代の言語学の父とも言われるノーム・チョムスキーと、AI分野の第一線の研究者でGoogleの研究部門のディレクターでもあるピーター・ノーヴィグの間でのものです。 そのことについて触れている「Predicting vs. Explaining」というおもしろい記事があったのでここで紹介します。 以下は一部の要約です。 チョムスキーは、言語というデータのなかにある法則性を説明することができないのであれば、それはサイエンスではないと主張します。 それに対して、ノーヴィグはそもそも言語とは説明できるほど単純なものではなく、逆にその複雑性を受け入れたモデルを作ったからこそ、近年の自然言語の分野で見られる飛躍的なイノ

著者のNick Saraev氏はカナダで活動するAIを活用するアーティストであり、以前に同氏執筆の記事『（DALL-E 2が登場した）昨今、産業としてのアートの死が記録された』を紹介しました（同氏の詳細は同氏公式サイトを参照）。同氏が最近Mediumに投稿した記事『なぜ言語＆アートの分野でAIが急速に進化しているのか？』では、近年のAIが文章生成や画像生成において著しい進化を遂げた理由が論じられています。 GPT-3やDALL-E 2のような最近のクリエイティブなAIは、文章生成や画像生成において人間並みの作品を制作できるようになりました。Saraev氏によると、こうした事態はすでに40年前には予想されていました。その予想とは、アメリカのロボット工学者ハンス・モラベックが提唱した「モラベックのパラドックス」です。このパラドックスは、機械にとって知覚や歩行のような人間が簡単に実行できることは

ちゃだいん（@chazuke4649）です。 DeepLの公式Chrome拡張機能がヤバかったので勢いにまかせて紹介します。 "公式版"がリリースされてたの知ってた？ DeepL翻訳（ベータ版） - Chrome ウェブストア ベータ版ではありますが、いつの間にか公式版がリリースされていました。自分は今まで公式版がなかったので、以前は非公式版のツールを使っていました。 インストールする Chromeウェブストアからインストールすると、右上にアイコンが表示されます。それをクリックすると以下ポップアップ画面が表示されます。 現時点では以下２つの機能が存在します。 読む: ブラウザ上の文章を任意の言語に翻訳して表示できる 書く: ブラウザ上に入力している文字を任意の言語に変換できる それぞれ試してみます。 「読む」 一般的にはこちらがよく認知されている機能だと思います。 下図のように、翻訳したい

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

こんにちは。白木（@YojiShiraki）です。デザイナーです。 今日はPythonで英文形態素解析をする上でお手軽便利なpolyglotについて紹介します。 背景 当社ではデータを分析・解析する機会がままありまして、こうしたときに自然言語解析の処理のツールを利用しています。特に最近では英語データが多く、このあたりのツールのニーズが高くなっています。 しかし、いざ英語の解析となると意外に情報がありません。 例えば、日本語の解析ならMeCabやChaSen、Kuromojiといったものはすぐ見つかります。しかし英文の自然言語解析ではTreeTaggerの情報は目につくもののイマイチまとまった情報がありません（このページやこのページに他の選択肢がまとまっていますが）。 おそらくこの領域ではNLTKが王道なのかと思いますが、やや重厚感あります。 そこでもう少しライトなものをということでPoly

Pythonで英語による自然言語処理をする上で役に立つNLTK(Natural Language Toolkit)の使い方をいろいろ調べてみたので、メモ用にまとめておきます。誰かのご参考になれば幸いです。 公式ドキュメント http://www.nltk.org/ 参考記事 ほとんど以下の写経です。 - Python,NLTKで自然言語処理 - nltk インストール pipで一発で入ります。

昨日の@hcpmiyukiさんの記事では、Supabaseという今あついBaaSについて書いてくれました！ MYJLab Advent Calendar 2021の3日目はGPT-3に関してです 論文を要約してAPIで遊びます GPT-3とは イーロン・マスク氏が共同会長を務める非営利のAI研究企業であるOpenAIが発表した、汎用言語モデルの3世代目です ネット上のテキストの次の単語を予測するためだけに訓練されたTransformerベースの自己回帰言語モデルで、なんと1750億個のパラメータで動作するそうです あまりの精度の高さに以前話題沸騰でした This is mind blowing. With GPT-3, I built a layout generator where you just describe any layout you want, and it generat

追記: 振り返りを書いてみました～ -- ここから元記事 別題: 抽象化って言葉もう。。 社内の記事にて、オブジェクト指向のこころ (SOFTWARE PATTERNS SERIES) | アラン・シャロウェイ, ジェームズ・R・トロット, 村上 雅章 |本 | 通販 | Amazonを紹介してもらいました。 取り上げられた、共通性／可変性分析の解説を見て、はっと思うことがありポエムを仕立てました。 共通性／可変性分析 共通性／可変性分析については、書籍を読むかググって頂けると良いですが、社内記事が良かったので引用させて頂きます。 問題領域にある概念を見つける（共通性の分析） その流動的要素を洗い出す（可変性の分析） 流動的要素を見ながら、その概念が持つ責務を果たすための抽象的側面（≒インタフェース）を導く 各流動的要素の実装上の観点から、インタフェースが適切かどうかを見極め、補正する オ

深津 貴之 / THE GUILD @fladdict 補足説明すると。「DALL-E2という、言葉でリクエストすると画像を返してくれるAI」というのがあって、それにリクエストをして生成された画像です。 AIに命令してるのは人間、アップしてるのも人間。変な画像がでてきたら人間の責任。 openai.com/dall-e-2/ 2022-07-03 22:47:14 リンク OpenAI DALL·E 2 DALL·E 2 is a new AI system that can create realistic images and art from a description in natural language. 44 users 4092

自身のレベルにあった英文を「大量に＆楽しんで」読む学習方法です。 よくある勉強と違い、テストもなく、ただ楽しんで読むだけなので、最初は違和感があるかもしれませんが、読み続けることがやがて自然な言語習得につながります。 青の祓魔師 加藤和恵 アオハライド 咲坂伊緒 アンデッドアンラック 戸塚慶文 俺物語‼︎ アルコ・河原和音 かぐや様は告らせたい～天才たちの恋愛頭脳戦～ 赤坂アカ 君に届け 椎名軽穂 鬼滅の刃 吾峠呼世晴 黒子のバスケ 藤巻忠俊 ゴールデンカムイ 野田サトル 呪術廻戦 芥見下々 SPY×FAMILY 遠藤達哉 聖闘士星矢 車田正美 チェンソーマン 藤本タツキ テニスの王子様 許斐剛 DEATH NOTE 大場つぐみ・小畑健 東京喰種 石田スイ NANA −ナナ− 矢沢あい NARUTO −ナルト− 岸本斉史 ニセコイ 古味直志 ハイキュー‼︎ 古舘春一 花より男子 神尾葉子

Tandemならではの 便利なメッセージ機能や 翻訳機能をフル活用する2人。 一緒に楽しく語学学習中です！ OliviaがKumiの英語 学習をヘルプし、Kumiが Oliviaの日本語学習をヘルプ しています。