組織に“できたてホヤホヤの暗黙知”をシェアする仕組みをどうつくるか？子どもの「逆上がり」習得過程を見て気づいたこと 今日は「子どもの日」ということで、個人的な話になりますが、先日、5歳の娘が「逆上がり」を習得しました。 一人の親として感動を覚える瞬間だったことはもちろん、習得のプロセスがまさにヴィゴツキーの言う「ZPD（Zone of Proximal Development、最近接発達領域）」そのもので、親としても、研究者としても非常に感激してしまいました。 そこで本記事では、「娘の『逆上がり』習得」というきわめて身近なエピソードを通じて私が感じた、ナレッジマネジメントにおける「できたてホヤホヤの暗黙知」の重要性と、「ZPD」を学びにつなげるためのポイントについて、書いてみたいと思います。 ある日の公園での「驚き」の出来事ある日、保育園の帰り道に寄った公園にて。5歳になったばかりの娘が、

本記事は日本オラクルが運営する下記Meetupで発表予定の内容になります。発表までに今後、内容は予告なく変更される可能性があることをあらかじめご了承ください。下記セッションでは、本記事の内容以外にデモンストレーションも実施する予定です。 ※セミナー実施済の動画に関しては以下をご参照ください。 はじめに 2022年暮れ、ChatGPTの登場以降、あらゆる企業がDXの在り方を問われはじめ、大規模言語モデルの仕組みをどのように業務に取り入れるかを検討されていると思います。 その検討の一つとして、「GPT(LLM)が学習していない企業内のデータや最新のデータも有効活用すべき」 という点は非常に大きな論点なのではないでしょうか。 ご存じの通り、LLMとはインターネット上に存在するドキュメントデータをクローリングにより大量に収集し、それを学習データとして機械学習にかけたモデルです。 従って、至極当たり

やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる

以下の記事を元に、「OpenAI API」のファインチューニングの学習データのガイドラインをまとめました。 1. 学習データの書式ファインチューニングするには、単一の入力「プロンプト」とそれに関連する出力 「コンプリーション」 のペアで構成される学習データが必要です。これは、１回のプロンプトで詳細な手順や複数の例を入力するような、ベースモデルの使用方法とは大きく異なります。 「学習データの書式」のガイドラインは、次のとおりです。 ・プロンプトが終了してコンプリーションが開始することをモデルに知らせるため、区切り記号 ("\n\n###\n\n"など) でプロンプトを終了する必要があります。区切り記号は、プロンプトの他の場所で使用されない文字列を指定します。 ・コンプリーションが終了することをモデルに知らせるため、停止記号 ("\n"、"###"など)でコンプリーションを終了する必要がありま

はじめに 近年、深層学習を用いた自然言語処理技術の進展が目覚ましいです。 その中でも、GPT-3をはじめとする大規模言語モデル（LLM）には大きな可能性を感じています。 最近ですと、AI技術者以外にも大きなインパクトを与えたChatGPTが記憶に新しいでしょう。 今後もLLMの進化は止まらないと予想されており、私たちもどうやって活用するかを具体的に検討すべきフェーズに入ったのではないでしょうか。 しかし、LLMを実業務に適用するとなると、越えなければならない課題がいくつも出てきます。 今回は、以下にあげた第2・第3のハードルを越えるために役立つlangchainというライブラリをご紹介します。 第1のハードル：機密データの扱い LLMはOpenAPIのGPT-3等、モデル自体は公開されておらずWebAPIだけが提供されているというパターンが多いです。 そのため、機密データを社外に送信すると

はじめに 今回の記事では、私たちプログラマーが開発や学習を進める中で必ず確認しておくべきGitHubリポジトリを20紹介する。今回の記事の対象は主に以下の通り。 開発・学習に必要な情報を収集しているプログラマー GitHubを開発・学習の参考にしたいプログラマー 情報収集の方法がわからないプログラマー freeCodeCamp 世界最大規模のプログラミングメディアであるfreeCodeCampのGitHubリポジトリ。扱う内容はWeb開発、モバイルアプリ開発やデータサイエンスなど非常に幅広い。特にPythonやReact、Node.js、Flutterを実務で扱うプログラマーは必見。 最大の特徴はGitHubリポジトリの名前にあるように完全無料で学べることだ。初心者から上級者まで毎日確認するべきGitHubリポジトリ。 free-programming-books ネット上にあるすべての無

学校で学習用デジタル端末が小中学生に１人１台配布されて１年以上たち、端末の故障が相次いでいる。端末を落とすなどの事故が目立ち、修理費が年間数百万円に上る自治体もある。今後、機器の更新でも自治体や保護者の負担が生じる可能性もあり、現場は対応を迫られている。 【写真】授業中に床に落ち、画面が割れた学習用端末 ４か月で４０台　「こんなに壊れるとは予想しなかった」。東京都の区立小学校の男性副校長（４８）は驚く。端末は全校約６５０人に配られ、昨年春から本格的に使い始めた。１年目の故障は約６０台だったが、今年度は４～７月だけで約４０台に上った。故障の多くは学校や自宅で落としたり、ぶつけたりしたことが原因だ。 学校の机には、教科書、ノート、文具に加え、端末も置かなければならなくなった。都内の公立小学校で６年を担任する女性教諭は「机に空きスペースがなく、よく端末が机から落ちる」という。「来年の１年生が使う

前回、Stable Diffusionをdanbooruデータセットを使用して追加学習することを試した。 今回は、自分でデータセットを作成して追加学習することを試す。 データセットには、画像とキャプションが揃っている必要があり、キャプションがない場合はCLIPで疑似ラベルを生成するなどする必要がある。 今回は、画像に対するキャプションがある「いらすとや」をスクレイピングして、データセットを作成した。 データセット作成 「いらすとや」から全ての画像とキャプションを取得した。 画像に複数バリエーションがある場合は、1つ目の画像のみを使用した。 キャプションは、日本語になっているため、Googleスレッドシートで、「=GOOGLETRANSLATE(XX,"ja","en")」を使って英語に変換を行った。 合計で、22891枚の画像とキャプションのセットが用意できた。 画像サイズ変換 画像は、5

未来の翻訳は全て脳活動の測定で行われるかもしれません。 米国の「Meta AI」社で行われた研究によれば、脳活動を脳磁場や脳波を測定することで、人間が聞いたり話している音声や単語を当てられるAIを開発した、とのこと。 この技術が発展すれば、言語にとらわれない翻訳が可能になります。 将来的には、脳活動から読み取られたデータを意味のある音声に変換することで、麻痺により言葉を介して意思疎通がとれなくなってしまった患者に、自らの言葉を伝える手段を提供することも可能になるでしょう。 脳活動と音声のリンクは、脳とコンピューターを接続するブレイン・コンピューター・インターフェースを実現する新たな方法として期待されています。 研究内容の詳細は2022年8月25日にプレプリントサーバーである『arXiv』にて公開されています。

本作では学びたい言語のナレーション指示に従いながら武器や装備を強化して、殺人ロボットの軍団が占拠する町で生き延びることを目指す。言語学習を目的としたゲームながら、没入度の高いアクション作品となっているのが特徴だ。 指示の内容は向かうべき場所や移動方法をナビゲートしたり、ドアのロック解除に必要なパスワードを伝えるものなどさまざま。画面上部には字幕がリアルタイムで表示されるため、指示を上手く聞き取れなかった場合は目視でも確認できる。 （画像はYouTube「Linguist FPS [英語、中国語、ロシア語などを学びましょう] 」より）（画像はYouTube「Linguist FPS [英語、中国語、ロシア語などを学びましょう] 」より）（画像はYouTube「Linguist FPS [英語、中国語、ロシア語などを学びましょう] 」より）（画像はYouTube「Linguist FPS [英

※ 一部ガイドラインに反する内容がありましたので、該当箇所を修正のうえ再投稿しております。 はじめに Axross は、エンジニアの"教育"と"実務"のギャップに着目し、「学んだが活用できない人を減らしたい」という想いで、ソフトバンク社内起業制度にて立ち上げたサービスです。 現役エンジニアによる実践ノウハウが"レシピ"として教材化されており、実際に動くものを作りながら、具体的な目的・テーマをもってプログラミングを学ぶことができます。 今回は、Axross運営が厳選した『AI・Python活用レシピを100選』をご紹介します。是非、みなさまのAIやPython学習の参考にしてみてください。 Axross：https://axross-recipe.com 公式Twitter：https://twitter.com/Axross_SBiv 基礎 スクレイピング 01 . JUMPの掲載順をスク

3つの要点 ✔️ Facebook AIが新しい音声認識フレームワーク「wav2vec 2.0」を公開 ✔️ 自己教師あり学習により，少量の文字起こし音声と正解ラベルなし音声で学習 ✔️ ラベルなしデータ・ラベル付きデータのみの場合の両方で最高精度を達成 wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations written by Alexei Baevski, Henry Zhou, Abdelrahman Mohamed, Michael Auli (Submitted on 20 Jun 2020 (v1), last revised 22 Oct 2020 (this version, v3)) Comments: Accepted at NeurIPS 2020 Subject

全国の小中学生らに一人一台のタブレット端末などの配備が進む中、閲覧や使用を制限する「フィルタリング」を学校側が設定しても、子どもが抜け道や裏技を使ってゲームや動画サイトに熱中する問題が起きている。「ＧＩＧＡ（ギガ）スクール構想」を掲げ政府が主導した高価な学習用端末が「ゲーム機」となってしまう状況に、学校関係者や保護者は頭を悩ませている。　（北村希）

@t_wadaさんが翻訳されていた技術的負債の記事をあらためて読んでみたら非常に面白かった。技術的負債の本来の意味が説明されているので、まだ読んだことがない人は一読をおすすめする。 その翻訳記事を読みながら、Jasper（僕が開発しているGitHub用のIssueリーダー）のv1.0で技術的負債を返済したことを思い出した。そこで、その翻訳記事を参考にして技術的負債の生態について自分なりに考えてみることにした。すると面白い生態がいくつか見えてきた。例えば「生態③: むしろ技術的負債が生まれることそれ自体はポジティブである」などである。今日はそのことについて書いてみようと思う。 ちなみに今回は技術的負債への対処までは解明することができなかった。いつか続きを書けたらいいなと思う。 技術的負債が生まれる背景 まずはJasperで経験した技術的負債を紹介する。負債の内容自体はそんなに重要ではないので

こんにちは。@shunk031 です。 普段は最先端の技術が大好きなパソコンのオタクですが、京都へ旅行して古き良き日本の文化に感化されました。 この記事は 法政大応情 Advent Calendar 2020 21 日目の記事です。 From http://codh.rois.ac.jp/ 今回は日本古典籍の分類タスクについて取り組んでみようと考え、近年の日本古典籍における「くずし字認識」に着目して調査をしました *1。 日本古典籍といった古文書に対して、OCR 等の文字認識技術によって文字情報をデジタル化し、それらの情報をもとに解析を行う流れは現代では自然だと考えています。 しかしながら、一般的に OCR は難しく、また古文書を機械に解析させることはさらなる困難があるのは容易に想像できます。 くずし字認識に対して、近年の取り組みでは ROIS-DS 人文学オープンデータ協働センターが K

アマゾン ウェブ サービス ジャパン株式会社（Amazon Web Services、AWS）は、同社のオープンデータセットに、日本語自然言語処理で定番の形態素解析器である「MeCab」を、ラッパーライブラリであるfugashi経由でPythonで使用する際の語彙（ごい）データに加えた、と公式ブログで明らかにした。 多くの機械学習デベロッパーが、AWS上でさまざまなアルゴリズムの開発やモデルを構築している。なかでも、自然言語処理をする際には、対象言語の特性に即した形で前処理をする必要がある。日本語の自然言語処理を実施する際には、一般的に「形態素解析」と呼ばれる文章の分解処理を前位処理として実施する。 日本語形態素解析をするためには、日本語の語彙データが必要になる。語彙データは大きなサイズになるだけではなく、これらを用いた計算の際にも大量のGPUおよびCPUが求められる。そのため、従来このよ

私はタイムラインとトレンドを一切見ないタイプのツイ廃なので、流行の話題に乗り遅れることが多々ある。（それでいいと受け入れている） そのため「不登校だった（？）VTuberが積分についてイチから勉強する配信」が少し前に話題になっていたらしいと今さら知った。 私はVTuberのオタクではない。ときどきのらきゃっとさんの放送を観るくらいで、今をときめくホロライブとかにじさんじについては何も知らない。 ただ、私は数学ガールのオタクである。 数学ガールとは、ラノベ風の数学読み物シリーズだ。ラノベと言っても、扱う数学は高校〜大学レベルかそれ以上と、ガチである。（派生した『数学ガールの秘密ノート』シリーズでは中学〜高校レベルの易しい内容を扱っている） 私は本当に数学ガールシリーズが好きで好きでたまらなく、約1年前からはレビュアーとして出版前の原稿を読ませて頂いている。だから「著者からの回し者とかではござ

この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built

はじめに エンジニアにとって、仕様書などの技術的な文章を書くこと（テクニカルライティングとも言います）は避けて通れません。ただ20年来多くのエンジニアの方々と同僚として接してきて思うことは、エンジニアの方の中には「文章を書く」ということに苦手意識がある方が一定数いるということです。 でもこの「テクニカルライティング」のスキルは、才能というよりは一種の「技能」だと思うんです。ある一定の原理原則を理解して実践を繰り返すことで、必ず一定レベルで習得できるものだと著者は信じています。 もしこのテクニカルライティングの原理原則をまだ体系的に学習したことがない、または過去学習したが改めて再学習したいという方に、お勧めのコンテンツを見つけたのでご紹介します。 https://developers.google.com/tech-writing Every engineer is also a write

ゆうべ、そろそろ寝ようかなと思っていたらものすごいものが投下され、興奮して結局3時半まで起きてしまいました。 ということで、昨晩公開された「AIきりたん」こと歌声合成エンジンNEUTRINO1について（今の興奮をあとで思い返すためにも）書いておきます。 AIきりたんとは とりあえずこれを聴いてみてください。 これが合成音声か！？と思ってしまうような仕上がりですが、これがAIきりたん……歌声合成エンジンNEUTRINOによって生成されたきりたんの歌声です。 NEUTRINOはSHACHIさん(@SHACHI_KRTN)によって製作されたフリーウェアで、昨晩公開されました。その標準の同梱ライブラリの1つが東北きりたんのものなので、そちらのことが「AIきりたん」または「AIシンガーきりたん」と呼ばれているというわけです。 ニューラルネットワークを用いた歌声シンセサイザー【NEUTRINO】を公開