2012年に正式リリースされ、現在までに全世界のMAU（月間アクティブユーザー）が1億360万人を超える語学学習アプリ「Duolingo（デュオリンゴ）」。42種類の異なる言語を扱い、合計100以上のコースを提供している。 9月25日には、ChatGPTの「GPT-4」および最新モデル「GPT-4o」を搭載した新プラン「Duolingo Max」（月額4490円、年額2万2800円）を、日本語話者ユーザー向けに提供開始した。 同プランは、文法などの誤りのフィードバックやロールプレイ、キャラクターとの会話によって、「英会話」に特化した学習ができる。 DuolingoでGlobal Principal Product Managerを務めるZan Gilani氏に、新プランの狙いと反響を聞くと共に、英語学習歴が約7年の筆者が新プランを体験してみた。 勤勉で語学学習の意欲が高い日本Duoling

gemma2-2b-jpn、日本語軽量モデルが登場。LLM-jpからも日本語が得意な軽量モデルが登場。楽しみになってきました。素人が少ないリソースで、独自データセットでファインチューニングすることもできるようになってきました。 引き続き、以前の挑戦に再トライしました。 bwgift.hatenadiary.jp データセット作成 対象論文は、ArXivのAPIを利用して"time series machine learning"のワードで検索した結果である、4500本の論文から無作為に1000件抽出したものとしました。得られたabstractからinstruct用データセットを作りました。まず、質問(question), 回答(answer), 理由(reason)を分析を実施しました。分析には、ローカルLLM（EZO-Common-9B-gemma-2-it-GGUF)を量子化をせずに用

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 所属大学にて9月に1日で機械学習なんもわからん状態から生成モデルを組めるようになろうというワークショップをした。普通に考えて参加者側の視点に立ったら無理なんだが, まあとにかくそういうイベントをやった。やってみたところ, 「何話してるのかわからん」という感想が多く大絶賛だった(反省しています)。 ただワークショップ中にきた質問が結構自分も最初のころは躓いたところだな〜〜というものも多く, ワークショップ中にきた質問点をまとめていけば案外生成AIをフルスクラッチで作れる技術者になるためのTips集が作れるのではないかと思い, この記事を書

先日、博士（情報学）になりました。学部と大学院をあわせた 9 年間で読んだ情報科学関連の教科書・専門書を思い出を振り返りつつここにまとめます。私は授業はあまり聞かずに独学するタイプだったので、ここに挙げた書籍を通読すれば、大学に通わなくてもおおよそ情報学博士ほどの知識は身につくものと思われます。ただし、特に大学院で重要となる論文を読み書きすることについては本稿には含めておりません。それらについては論文読みの日課についてや論文の書き方などを参考にしてください。 joisino.hatenablog.com 凡例：（半端）とは、数章だけ読んだ場合か、最後まで読んだものの理解が浅く、今となっては薄ぼんやりとしか覚えていないことを指します。☆は特におすすめなことを表します。 学部一年 寺田 文行『線形代数 増訂版』 黒田 成俊『微分積分』 河野 敬雄『確率概論』 東京大学教養学部統計学教室『統計学

みなさん、こんちにはmです。 今回は私が1年の期間でマルウェア解析のスキル0から習得するまでに取り組んだ方法をまとめました。 初めに開始時のスキルや1年間でかけたコスト、スケジュールなどを共有します。 開始時のスキルなど 表層解析、動的解析、静的解析の違いもあまり理解していない プログラミングはPythonを学び始めた程度 低レイヤーの知識なし アセンブリの知識なし Windowsアプリケーション開発の経験なし SOCアナリストとしてブルーチームの知識は多少 脆弱性診断の経験も（深くはないが）多少 エンジニア歴7、8ヶ月目くらい ざっくりですが、このようにマルウェア解析に絡んでくる知識はほぼ0でした。 学習にかけたトータルコスト 書籍：約5万円 オンライン教材：12万円 約17万円近く1年間に使いましたが、お金で直接スキルは買えないので必要経費です。 なお、オンライン教材の12万円について

機械学習初心者がKaggleの「入門」を高速で終えるための、おすすめ資料などまとめ（2023年12月版） こんにちわ、カレーちゃんです。Kaggle GrandMasterです。 Kaggleはデータサイエンスに入門するのにとても適しています。ですが、英語の問題などがあり、入門するのが難しい。そこで、Kaggleの「入門」をこうすれば高速に完了できるというnoteを書きます。 同じタイトルの記事を、2020年8月にも書いたのですが、それから2年以上がたちました。それから、おすすめできる資料が増え、また、私が思う入門のコースもやや変わりましたので、更新をしたいと思います。 1.Kaggleに入門（はじめに取り組むと良い資料）Kaggleには、「タイタニックコンペ」という、練習用のコンペがあります。 これは、事故が起こったタイタニックの乗客のデータから、乗客の生死を予測するという、やりたいこと

また、Emiと同時にクリーンな画像生成AI、Manga Diffusionの概念実証版も公開します。この画像生成AIはパブリックドメインの画像や著作権者から学習を許可された画像だけを学習しています。 （以下、画像生成AIのことをモデルとも呼びます。） Emiの特徴１．AIアートに特化このモデルは、アニメやマンガのようなAIアート生成に特化しています。GMOインターネットグループが提供する「ConoHa byGMO」のトライアル版の採用により最先端の開発機材NVIDIA H100と、画像生成Stable Diffusion XL 1.0、 AI Picasso社のノウハウを用いて高品質な画像が生成されるように尽力しました。参考として簡単な生成例を以下に紹介します。 比較のために、これまでのモデルと今回のモデルでほぼ同じ内容を生成した例を示します。これまでの生成画像よりも約2倍高精細になり、最

SlackやZoomは学生や教職員間のコミュニケーションに活用。学生が、一般企業でよく使われるITツールに慣れやすいようにするという。今回導入したシステムは大学の学生・教職員に加え、中学部や高等部の教員も利用する。各ツールの導入は日商エレクトロニクスや三井情報といったシステム開発事業者が支援した。 関連記事 新入生にiPad配布へ　名古屋文理大情報メディア学科 名古屋文理大学は、情報メディア学科に来春入学する新入生全員にiPadを無償配布すると発表した。iPadを学生に無償配布する大学は国内初という。 近畿大、全学生に「Slack」導入へ　絵文字もOK、教職員と気軽にやりとり目指す 近畿大学が、全学生に「Slack」を導入する計画を発表。2020年4月に830人の学生へ導入。対象範囲を順次広げていく。 近畿大、全教員が「Slack」利用へ　“お堅い”やりとりなくす 近畿大学が、全教員向けに

LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ

18年間テレビ番組制作者を務めたのち、文筆家として独立。家電から放送機器まで執筆・評論活動を行なう傍ら、子供の教育と保護者活動の合理化・IT化に取り組む。一般社団法人「インターネットユーザー協会」代表理事。 モノカキにとって、キーボードは絵筆のようなものであるが、日本語変換エンジンはさらにもっと奥深いところにあるツールである。自分の頭の中にある文章を実際に文字化していく際に、同音異義語で誤変換されたり、あるいは求める漢字が全然出てこないと、思考が止まってしまい、どう話を展開したかったのか忘れてしまうことがある。これはストレスというより、まあまあ死活問題となり得る。 現在日本語変換エンジンは無料でも優秀なものが多く、Windows付属のIME、macOS付属の日本語変換、Google日本語入力などを使っている人も多いだろう。ライターでもこれらを使う人は多い。 そんな中で有料の日本語変換エンジ

TL;DR ESD の手法で LoRA を学習してみたらそれっぽい感じのことができたよ VRAM 8GB で余裕で学習できるようになったよ (元は20GB要求) LoRA として保存できるようになったので重みの取り回しが良くなったよ マイナス適用によって、概念を削除するだけでなく強調することもできたよ 一度でも画像生成 AI に触ったことがあると、より楽しんで読めると思います。 論文とかどうでもいいから学習方法知りたい！ という方は 実際に学習してみる へどうぞ！ 今回作成したもの コード: モデルなど: 前提 Stable Diffusion とは、Stability AI らが公開したオープンソースの画像生成 AI であり、テキストによる指示で様々な画像を生成することができる。 本来の Stable Diffusion は、実写画像や海外風のイラストを出力することが得意だが、アジア系の

コーディネータ：羽田 正 ナビゲータ：後藤 春美 皆さんの多くは、高等学校で「世界史」を学習したはずです。大学入試の科目として「世界史」を選択した人も多いでしょう。ですから、ちょうど数学の定理や物理の法則のように、高校生が世界中で同じ世界史を学んでいるのだと信じているのではないでしょうか。しかし、実はそうではありません。 世界史という名前の科目は、日本や中国など東アジア諸国に特徴的にみられ、欧米や中東などでは単に「歴史」と呼ばれる科目しかありません。また、大筋は同じだとしても、国によって、教科書の内容は微妙に異なっています。世界史は、決して一つではないのです。なぜでしょう。 世界史の理解は、自分たちの生きる世界をどう認識するかということ、すなわち世界観と深くかかわっているからです。現代世界でも、人々の世界観は同じではありません。まして、過去においては、地域や時代によって様々な世界観があり、

連休を前に少し時間ができたので、以前から興味のあったStable Diffusion web UIをローカル環境にインストールし、さらに自分が描いた絵を追加で学習させて、画像生成AIに「自分の絵」を自動的に描かせる実験をしてみました。結論から言って、あっけないほど簡単に実現してしまい、いろいろと考えるところがありましたので、顛末を書いておきます。 前提としてわたしは長年趣味でイラストや漫画を描いている、一介のアマチュア同人作家。世間のいわゆる「AI絵」の是非はさておいて、基本的に新しいもの好きであり、去年Stable Diffusionが出たときにすぐさま触ってみて、なるほどこういうものねというところまでは理解していました。それにつけても、ここ半年ほどのAI関連の動きの速さ！　お絵描きAIにおいて現状何ができて、何ができないのかというのを改めて確認してみたくなりました。 AIをどう使いたい

カリフォルニア大学バークレー校などの研究チームがオープンソースの大規模言語モデル「Vicuna-13B」を公開しました。Vicuna-13BはOpenAIのChatGPTやGoogleのBardに近い精度で回答を生成でき、日本語にも対応しているとのこと。実際に動かせるデモも公開されていたので、使ってみました。 Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality | by the Team with members from UC Berkeley, CMU, Stanford, and UC San Diego https://vicuna.lmsys.org/ GitHub - lm-sys/FastChat: An open platform for training, serving, a

を一通りご紹介するという内容になっています。 Stable Diffusion系のモデルを使って画像を生成していると、 特定のキャラクターのイラストを出したい あるアニメの絵柄を再現したい といった欲求が出てくることがあります。ただ画像生成AIはそのままだと「特定の絵柄・キャラクターを決め打ちで出す」のは非常に難しいですし、それを解決する手法もありましたが高性能なPCが必要で時間もかかる…という問題がありました。 しかしそのような問題を解決する「LoRA」という手法が知られて、今ではかなりポピュラーなやり方になっています。ここではこのLoRAについて

共著で執筆した書籍「Kaggleに挑む深層学習プログラミングの極意」が明日(2023/2/2)発売するのでそちらの紹介です。既に書店によっては店頭に並んでいるようです。 Kaggleに挑む深層学習プログラミングの極意 (KS情報科学専門書) 作者:小嵜 耕平,秋葉 拓哉,林 孝紀,石原 祥太郎講談社Amazon https://www.kspub.co.jp/book/detail/5305133.html https://bookclub.kodansha.co.jp/product?item=0000323307 どんな本？ Kaggleを題材に深層学習の技術・活用法を解説している本です。深層学習が得意な分野として、画像処理（画像分類・画像検索）と自然言語処理を扱っています。 3章以降では章ごとに1つのコンテストを取り上げ、必要な技術を解説しつつ、PyTorchを使い実際にある程度高い

Cloud製品を担当しているソリューションアーキテクトの輿水です。 OpenShift Advent Calendar 2022の12/22の記事です。 以前 All learning | Red Hat Developerというサイトにハンズオン（英語）があることをご紹介しましたが、その一部を日本語に翻訳し、手軽に試せる自己学習型OpenShiftハンズオン環境として提供し始めました。非公式ではありますが、使っているプラットフォームとコンテンツは公式と同じですので、同等の内容を学ぶことができます。 rheb.hatenablog.com ハンズオンを行うために、ご用意いただくのはブラウザ（Firefox,Chrome）のみです。指定のURLにアクセスしコースをlaunchすると、環境がデプロイされて、OpenShiftの演習とターミナルがセットされた環境が使用可能になります。コースをla