Kohei Katada🦒 @kkatada 今日話した大学生の授業の受け方 → Notion AIを使いシラバスをベースにして授業「前」にノートを生成 → 授業中はノートと講義内容の差分だけNotion上で加筆修正 → メモ+参考資料のPDFを生成AIに学習させ、試験前に予想問題と回答例を作って勉強 2024-04-17 00:01:05

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ノーベル物理学賞を受賞したこともある偉大な科学者であり、愉快な先生でもあるリチャード・ファインマン（1918 - 1988）が推奨した学習メソッドである「ファインマンテクニック (The Feynman Technique」というのがあります。 今回はこの、知ってるだけでなく、使えるものになる学習をしたいときに最強のファインマン学習メソッドについて紹介したいと思います。 ところでまず最初に断っておきたいのは、ここでいう学習とは本を読み流して何らかの概要を知っているとか、試験のために暗記したりするといったものではなありません。 学んだこと

子どもの勉強のサポート、資格取得や仕事のスキルアップのための勉強…。毎日忙しくて、勉強に費やす時間がたっぷり取れないからこそ、効率を上げてインプットの質を高めたい。自分に合った勉強法は、必ずある。勉強のコツが詰まった、おすすめの本を5冊選びました。 1． 『私は合格する勉強だけする』 著者／イ・ユンギュ 実は、あなたは勉強の方法を知らなくて損をしているかもしれません。 たった9カ月で司法試験に合格し、韓国YouTubeで受験生の聖地と呼ばれる登録者数約35万人のYouTubeチャンネル「DreamSchool　イ・ユンギュ」を運営する著者。 やみくもに勉強しても点数は伸びません。必要なのは、自分が受ける試験に合った勉強法を見つけること。でも、その勉強法を見つけるのが難しいのです。 この本では、「合格者の手記を読む」ことから始まり、「教科書を丸暗記するにはマーカーをどう引けばいいのか」「試験

日本語のページをブラウザで見ているとおかしな位置で改行されることが多いのですが、単語と単語の間にスペースを入れる英語などと異なり、日本語では分かち書きがされていないのが原因。単語の途中で文章が折り返されてしまう原因になっています。BudouXは機械学習モデルを利用して容量を抑えつつ、サードパーティーのAPIやライブラリに依存せずに分かち書きを行ってくれるオープンソースライブラリなので、読みやすい改行が実現できます。 Google Developers Japan: BudouX: 読みやすい改行のための軽量な分かち書き器 https://developers-jp.googleblog.com/2023/09/budoux-adobe.html BudouXの使用イメージは下図の通り。従来は画面幅によっては「最先端」や「テクノロジー」などの単語の途中で改行が行われてしまう事がありましたが、

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。今回は、効率的にLLMのような事前学習済みモデルを再学習する手法(PEFT)についてご紹介します。 問題意識 ビジネスで利用する際に乗り越えるべき壁 PEFTとは何か？ PEFTのコンセプト分類 トークン追加型 Prefix Tuning P Tuning Prompt Tuning Adapter型 Adapter LoRA型 LoRA Ada LoRA まとめ 参考文献 こんにちは、アナリティクスサービス部の辻です。 今回は、LLMを効率的に再学習する手法として今後

LightGBM のバージョン 4.0.0 が 2023-07-14 にリリースされた。 このリリースは久しぶりのメジャーアップデートで、様々な改良が含まれている。 詳細については、以下のリリースノートで確認できる。 github.com リリースの大きな目玉として CUDA を使った学習の実装が全面的に書き直されたことが挙げられる。 以前の LightGBM は、GPU を学習に使う場合でも、その計算リソースを利用できる範囲が限られていた。 それが、今回の全面的な刷新によって、利用の範囲が拡大されたとのこと。 ただし、PyPI で配布されている Linux 向け Wheel ファイルは CUDA での学習に対応していない。 対応しているのは CPU と、GPU でも OpenCL の API を使ったもの。 そのため、もし CUDA を使った学習を利用したい場合には自分で Wheel を

こんにちは！　構造化データグループのグループリーダー小林広明です。 今回は表題について、いくつか資料の紹介と私なりに思うところを少し書いていきます。 免責事項 応募書類/履歴書 面接 終わりに 免責事項 弊社の選考基準について書いたものではありません。エクサウィザーズの他の面接官は異なる意見を持っていると思います。 ただし、私も書類選考や面接に関わっていて、その視点は入っています。 私は AI Frontier 部に所属していて、こちらのメンバーには基本的に機械学習エンジニアという職名を用いています。 ですが、特に私が所属している表形式データを主に扱うグループでは、一般にデータサイエンティストと呼ばれている職種が担う仕事も多く扱っていると思われるので、この記事では機械学習エンジニア・データサイエンティストの違いには触れずに書いていきます。*1 どちらかといえば中途採用（経験者）での転職希望

近年、機械学習分野で大きな成果をあげているTransformer[1]において、その中核をなすScaled Dot-Product Attention[1]には、革新的な仕組みが備わっています。その仕組みとは、後で詳しく説明しますが、入力に応じて重みを動的に変えることが可能なニューラルネットワークで、これにより驚くほど広範囲で膨大な情報に対する適応性と表現力を実現することができます。本記事では、Scaled Dot-Product Attentionのこの仕組みとその利点について解説し、私なりの解釈を紹介できればと思います。 先に結論を簡単に まず、結論から説明すると、Scaled Dot-Product Attentionは、入力に基づいて重みを変えることが可能なニューラルネットワークという解釈が可能です。ただし、Scaled Dot-Product Attentionは学習パラメータを

はじめに デリシャスマイル〜1、nikkieです。 控えめに言って神！なオンライン勉強会に参加してきました。 レポートを綴ります〜 目次 はじめに 目次 「勉強法の勉強会」 #YUMEMIxTORALAB 勉強法LTラインナップ（見つかった資料ツイートも一緒に） アーカイブ（みんなぜひ見て！） 感想ブログ（気づいた範囲で） 「内需ドリブン勉強法」ぶっ刺さった！ 会場が色めき立った、ツイート読書術 牛尾さんのnote「プログラミングというより物事が出来るようになる思考法」を思い出す 『エンジニアの知的生産術』の「プログラミングはどうやって学ぶか」も思い出す ツイートめっちゃ流れて楽しい 一人同窓会感！ 終わりに P.S. きっかけはKanonさん 「勉強法の勉強会」 #YUMEMIxTORALAB 今回はなんとあのとらラボ！（虎の穴ラボ株式会社）さんとのコラボレーション！ 今回のテーマは、エ

以下の記事が面白かったので、軽く要約しました。 ・Reinforcement Learning for Language Models 1. はじめに「ChatGPT」とそれに続く「大規模言語モデル」(LLM)のリリースに伴い、「RLHF」の重要性が議論されました。しかし、なぜ「強化学習」が「教師あり学習」よりも言語モデルの学習に適しているのか疑問に思いました。「教師あり学習」 (Instructionチューニング) で十分ではないでしょうか？ 私は、ある程度納得のいく理論的な議論を思いつきました。そして、特にChatGPTのようなモデルには、強化学習のケースを支持するだけでなく、それを必要とする追加の論拠があることに気がつきました。この追加の議論は、OpenAIのJohn Schulmanによる講演の（前半部分で）綴られています。この投稿は、彼の主張をより多くの言葉で繰り返し、また、明確

勉強について エンジニアの皆さん。エンジニア以外の皆さん。 ・勉強しようと思っているけど、何を勉強したらいいかわからない ・ネットを漁っても良質な教材が出てこない ・他人がどんなことをしているか気になる こんなお悩みありませんか？ 今回は、有名企業の研修資料をまとめましたので、勉強のネタにしてみてはいかがでしょうか？ 新人、ベテラン関係ありません！ GWに暇を持て余したら、こちらをご覧くださいね サイボウズ サイボウズです。 22年度の内容が公開されていました。 ■モバイルアプリ開発 ■サイボウズのアジャイル・クオリティ ■MySQL - テストデータが偏るということ ■モブに早く慣れたい人のためのガイド ■テクニカルライティングの基本 ■ソフトウェアテスト ■セキュリティ ■ソフトウェアライセンス 講義資料と講義動画まで公開されています。 資料が苦手な人でも学習が捗りますね。 ラクス こ

こんにちは、株式会社ACESでインターンをしている篠田 (@shino__c) と申します。普段は博士課程の学生としてNLPの研究をしています。 ここ数ヶ月で ChatGPT に加えて GPT-4 等の大規模言語モデル (LLM) が次々とリリースされていますね。 ChatGPT (gpt-3.5-turbo) はAPIの使用料が安いことから、多くの人が気軽にLLMを使用できるようになり、AI、特にNLPを売りにしている多くの企業は技術的にどうやって競争優位性を築けばいいのか模索しているのではないでしょうか。 その問いに対する１つの答えになりそうなものに、Retriever というものがあります。 例えば、社内にある外部には出せない文書を元に顧客からの質問に答える質問応答のサービスを作りたい場合、ChatGPT のような LLM の訓練にはそのようなデータは使われていないため、prompt

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

オンライン学習の新しい潮流としてのコーホート・ベース・モデルのオンライン講座（Cohort-Based Courses：CBCs) 新型コロナウィルスの感染拡大により教育現場、社会人の学びが大きな変化を余儀なくされる中で、よりインタラクティブで学びの成果を得るための取り組みとして、オンライン上で行われる「コーホート・ベースモデル」の講座（Cohort-Based Courses：CBCs)が注目されているようです。 「コーホート」という単語自体馴染みがないかもしれませんが、コホートベースの学習とは、個人が参加するグループが一緒に教育プログラムを通じて進める共同学習スタイルのことです。eラーニング、そしてMOOCs(Massively Open Online Courses）と呼ばれる、動画を通じた学習を中心としたUdemy, Courseraなどの講座との比較される形で最近注目を集めていて