低ランク行列を追加することで、大元のモデルを維持しつつ少ないコストで学習できる LoRA(Low-Rank Adaptation of Large Language Models)。先日、日本語でも大規模パラメータモデル cyberagent/open-calm-7b や rinna/japanese-gpt-neox-3.6b 等々がリリースされたり、HuggingFaceからはtransformersでLoRAを簡単に実現できるライブラリ、peft がリリースされたことで、試したことがある方も多いと思います。 ただ、LoRAのメリットについて主に学習の話が殆どで、もう一つの大きなメリットであるLLMのベースモデルのメモリを共有しつつ、複数のタスクをこなす方法の紹介は見かけたことがなかったので、それをpeftで行う方法についてのお話です。 なお、LoRAとは何か？というお話は、輪講資料

RLHFとは「人間の評価による強化学習」のことで、大規模言語モデルをChatGPTなどの実用レベルに至る品質にまで高めた実績のある手法です。RLHFでは教師データを作成したり、大規模言語モデルの回答を評価したりする際に人間がデータを入力する必要があり、特に複数人で作業する場合にデータの管理が大変になってしまうものですが、そうしたRLHF用データの入力や管理を行ってくれるプラットフォームが「Argilla」です。 Bringing LLM Fine-Tuning and RLHF to Everyone https://argilla.io/blog/argilla-for-llms/ 大規模言語モデルを作成する時の手順を示したのが下の図です。まず大量のテキストを用いて事前学習を行います。こうして作成されたモデルが事前学習済みモデルで、GPTやPaLM、LLaMAなどのモデルがこのカテゴリに

人工知能を学ぶためのロードマップ このページでは、人工知能や深層学習を学んだことのない方を対象に、 それらを学ぶためのロードマップを紹介しています。 本ロードマップでは達成目標として、 「研究者」「データサイエンティスト」「エンジニア」「ビジネス」の 4つの職業ごとに4つのレベルを設けています。 まずはレベル0として、人工知能についての基礎的な知識を学びましょう。 技術に触れる（学習想定時間：1時間） まずは最新のAI技術に触れて，AIによってどのようなことができるのかを確認してみましょう． メジャーなサービスを含めいくつか紹介します． ・ChatGPT ChatGPT
すでに利用したことがある方が多いかと思いますが、OpenAIが開発・運営する大規模言語モデル（LLM）チャットボットです。LLMでは他にGoogleのGemini、AnthropicのClaude、Mistral AIなど

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? GPT-3.5世代のオープンな言語モデルを調べてみました。 本稿では以下の特徴をもって「GPT-3.5世代」の言語モデルと定義しました。 ChatGPT等（text-davinci-003、gpt-3.5-turbo）の登場した2022年11月以降に登場 GPT-3と同様にテキスト生成ができる言語モデル GPT-3（text-davinci-003等）を主なベンチマークにしたり、学習に利用したりしている 「オープンな言語モデル」としていますが、本稿では以下いずれかを満たしていればオープンな言語モデルとします。一般的なオープンソース・ソフ

この記事は記事投稿キャンペーン_ChatGPTの記事です。 以下は、個人開発した最新のものになります． CreateToolAGI：ChatGPTとLangChainで何でもできるAI はじめに こんにちは、fuyu-quantです． 今回はLangChainという「大規模言語モデルを使いこなすためのライブラリ」の紹介とその機能を発展させるために作った新しいライブラリlangchain-toolsの説明およびその可能性について共有したいと思います． LangChainの機能であるtoolを使うことで，プログラムとして実装できるほぼ全てのことがChatGPTなどのモデルで自然言語により実行できるようになります．今回は自然言語での入力により機械学習モデル(LightGBM)の学習および推論を行う方法を紹介します． 記事に誤り等ありましたらご指摘いただけますと幸いです。 (※この記事の「Chat

生成AIカンファレンス 〜徹底解剖「トップランナーから見た日本が挑む生成AIの最前線」〜 日時：5月8日(水) 10:00-18:30 形式：オフライン・オンラインのハイブリッド開催 場所：東京大学伊藤謝恩ホール（オンライン参加の方は配信URLをお送りします） 参加方法：下記イベントページより申込 ChatGPT に代表される今日の AI ブームを牽引しているのは 大規模言語モデル（Large-scale Language Model, LLM） と言っても過言ではないでしょう。LLM とは大量のテキストデータを使ってトレーニングされた自然言語処理のモデルで、代表的なものに、GPT（OpenAI）、Llama（Meta）、PaLM（Google）があります。我々開発者は、事前学習されたこれらのモデルを使って簡単にアプリケーションを作ることができます。 LLM が遂行可能な言語的タスク LL

今年も早いもので残すところわずかとなりましたね。2013年に注目を浴びるようになったEdTechという言葉ですが、ITを活用した学びの可能性がどんどん大きくなってきており、以前よりも幅広い内容を学ぶことができるようになりました。そこで今日はプログラミング学習にフォーカスをあてて、国内外問わずプログラミングを勉強できるサービスをまとめました。 オンラインで誰でもプログラミング学習ができるサービス総まとめ ◆日本のサービス 1.無料動画で勉強できる『ドットインストール』 ドットインストールは初心者向けプログラミング学習で、基本的に全て無料で見放題のサービスです。ビデオコンテンツが1000本以上あり、初心者でも挫折しにくいように数分ほどの動画に区切ってあります。私自身も日頃愛用しているサービスの１つで、HTML、CSS、JavaScriptなどのweb言語からObjective-Cなどのアプリ開

今回はソーシャルラーニングについて、まとめてみました。 それと同時に、2011年に見かけた要チェックなソーシャルラーニングのサービス7つと今後の動向をまとめてみました。 注目のソーシャルラーニングサービス7選 1.動画で学べる、初心者向けプログラミング学習サイトドットインストール CSS、HTMLやJavaScript、PHPなどのプログラミングが動画で学習できるソーシャルラーニングサイトです。CSSの基礎、HTMLの基礎、JavaScriptの基礎など基礎コースからPHPで作る「簡単掲示板」、JavaScriptで作る「あなたの誕生日診断」など基礎〜中級のレベルのものが多く、演習形式の動画もかなり多くあります。 プログラミングの学べるレベル的にはそんなに高くはないですが、無料でこれだけのコンテンツを配信しているのは面白いなと思います。今まで全くプログラミングを勉強してこなかった人でも、か

サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。

今日は，普段どのようにして専門知識を仕入れているかについて書いてみようと思います．特に自分が得意でない分野を知りたいと思った時に，どうするかに注目したいと思います．自分の専門の場合は，いくらでも時間を注ぐことが出来るので，世界中のリソースを全て探し当てて勉強すれば良いのですが，ちょっと興味が有るぐらいではそこまでやる時間は取れません．なので出来るだけ効率的に分かった気になるのが目標です． まず，論文を直接読むのはあまり効率的では無いと思います．論文は広い分野の中の或る問題に対して一つの解決方法を書いているだけで，分野全体を俯瞰することは目指していません．論文だけ読んで分野全体を理解するには，最低50本ぐらい読む必要が有ると思います．

サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。

毎日の仕事に追われていると、ついITの原理原則を忘れがちになるものだ。何事にも言えることだが、基礎を理解してこそ、初めて応用ができるのである。 連載『矢沢久雄の情報工学“再”入門』では、ITの根幹を成す学問体系である「情報工学」を解説している。おそらく学生時代や入社時の研修で習った方も多いとは思うが、この機会に復習していただきたい。必ず新たな発見があるはずだ。

同じ分野の論文ばかり読んでいると視野が狭くなるので専門外の分野の論文も積極的に読んでいきたい。とはいえ未知の分野だとどの論文から読めばいいのかわからず困ることも。そんなときにこれまで試して役に立ったことをメモしてみた。 1.調べる論文は英語に絞る これは日本人の論文が良くないということではなく日本人の論文も含め優れた論文は国際会議(つまり英語)でも発表されているから。英語が苦手でも頑張って英語論文を読んだほうが質のよい論文に出会う確率が高い。 2.関連ありそうな単語を検索して意味を調べる まずはひたすら検索タイム。最初は漠然とした言葉でしか検索できなくても調べたい分野の用語は頻出するはずなので、だんだん知るべき用語がわかってくる。英語の単語がわからない場合も調べていれば日本語/英語を併記してくれているものがでてくるはず。あとは頻出語の意味を分かる範囲でざっと調べておく。余談だけれど技術系の

米スタンフォード大学は、今秋から同大学で行われているコンピュータサイエンスの講義のうち、3つのコースをオンラインで無料公開することを発表しました。 公開されるのは、「Machine Learning」（機械学習）、「Introduction to Databases」（データベース入門）、「Introduction to Artificial Intelligence」（人工知能入門）の3コース。どのコースも今年の10月に開講し12月に終了する3カ月間の予定。コースによっては実際の講義とほぼ同様の宿題も用意され、提出すると自動採点してくれるようです。 機械学習のコースを担当するAndrew Ng准教授は発表の中で次のようにコメントしています。 “Both in the United States and elsewhere, many people simply do not have a