（slack）geographylanguage.slack.com（勉強会ページ）https://sites.google.com/view/geography-and-language/studygroup ※ 誤りや引用漏れがありましたらご指摘ください

CVPR23 Best Paper に選ばれた VisProg による Compositional Reasoning を用いた地理空間情報への応用 テーマ 大規模言語モデル × 地理空間情報 内容 VisProg をはじめとする compositional reasoning の紹介 Compositional reasoning における地理空間情報への応用 読者想定 ChatGPT などの LLM 製品開発に興味がある人 自然言語以外の自律駆動エージェントの開発に興味がある人 地理空間情報の開発に従事している人 おことわり 本記事で述べる所感はあくまで著者によるものです。 著者は地理空間情報などの分野に詳しくないため、的外れなことを述べている可能性があります。 00. 背景社会・技術的背景 ChatGPT や LLM Agent などの社会的な流行 OpenAI から functio

「Nejumi LLM リーダーボード」で評価された大規模言語モデル数が日本最大級にJGLUEデータを使ったLLM日本語評価を自動化し再現可能なジョブを公開 Weights & Biases Japan株式会社（以下、W&B Japan）は、2023年7月より大規模言語モデル（LLM）の日本語性能を評価結果のランキングを公開する「Nejumi LLM リーダーボード」（以下、Nejumiリーダーボード）を運用して来ましたが、このたび評価されたLLMモデルの数が20を超え、日本語性能評価のLLMモデルリーダーボードとしては日本最大級の規模になりました。本ランキングはオンライン上で公開されており、http://wandb.me/nejumi からアクセスすることができます。評価に使われているコードは実行可能なWandBジョブ形式で公開されており、モデルが公開された際には今後も順次評価結果が追加

日常生活の中で生まれた「できごと」や「思ったこと」を、楽しく記録できるメモ日記アプリを開発しました！ しゃべったら、あとは丸投げして良い感じにメモを残してくれる「シャべマル」です！（笑） シャべマルの紹介具体的には、、 絵文字で見返せるメモアプリあんまりないですが、良いですよ…！音声入力でメモ内容を作成。かなり高精度な音声認識モデル（Whisper）を用いているので、想像以上にちゃんと文字起こししてくれます！ 「今日あったこと」など、日記として利用するのもオススメです。1日を振り返る機会になって、それが後から振り返りできるので、あの時こんなこと考えていたなー、といった発見につながるはずです！ そして個人的にここが目玉なのですが、文字起こしされたメモには、「タイトル」「絵文字アイコン」「感情アイコン」「カテゴリ」が自動で紐づきます！ これ何が良いかというと、圧倒的に見返しやすくなるんですよね

目次 はじめに 今回作成するシステムの概要 Azure OpenAI セットアップ Azure DevOps の Azure Repos をセットアップ Next.js でフロントエンド構築 Azure Static Web Apps へ Pipelines を用いて Deploy 動作確認 お片付け はじめに 昨今ちまたで話題の OpenAI。chatGPT はさらっと触ったけど、API までは触ってないなぁ…という方向けのハンズオン 🖐️ となります。 この記事の目標としては、OpenAI を触ってみたい全てのアゲアゲエンジニアがハンズオン出来ることです。 セットアップで詰まるところはどんどんコメント欄に質問していただいたら、がんがん返していきますので、ご遠慮なく質問してください！ では、Let's ハンズオン！ 今回作成するシステムの概要 今回作成するシステムは Azure 上で作

情報通信研究機構（ＮＩＣＴ）が１７９０億パラメーターの大規模言語モデル（ＬＬＭ）の開発を進めている。高品質な日本語データを学習させており、日本社会の常識を備えたモデルになると期待される。ＮＩＣＴが学習データを保有しているため、データとモデルの両面から誤情報生成の対策を検証できる。これは日本が人工知能（ＡＩ）を使いこなし、リスクに対応していく知見になる。ＮＩＣＴは産学官に成果を提供する。 「学習途中だが、出来はいまいち。この苦労がＬＬＭ開発の基礎になる」―。ＮＩＣＴの鳥澤健太郎フェローは開発中のＬＬＭの手応えをこう説明する。 ７月に４００億パラメーターのＬＬＭを発表し、現在は１７９０億パラメーターのＬＬＭを開発中だ。巨大なＡＩモデルの学習はリスクが高い。学習の途中で計算が破綻することがたびたび起こるのだ。 そこで破綻を防ぎつつ精度の高い計算を限られたメモリーで実行することがノウハウになる。例

東京大学院工学系研究科・松尾研究室（主宰：松尾豊教授）は8月18日、日英の2カ国語に対応した100億パラメータサイズの大規模言語モデル（LLM）「Weblab-10B」を、事前学習と事後学習（ファインチューニング）により開発し、非商用ライセンスでモデルを無料公開した。 【修正履歴：2023年8月18日午後9時　当初、モデルの公開形式をオープンソースと記載していましたが、ソースコードが公開されていないなどオープンソースの定義に沿わないと思われる部分があるため記述を改めました。なお、引用部分についてはそのままにしています】 日本語だけでなく英語のデータセットも学習に用いることで学習データ量を拡張し、言語間の知識転移を行うことで日本語の精度を高めたのが特徴。 事前学習には、代表的な英語のデータセット「The Pile」と日本語のデータセット「Japanese-mC4」を使用。事後学習には、Alp

OpenAIのChatGPT、GoogleのBard、MicrosoftのBing AIのようなチャットボットは、オープンなインターネットから何十億もの文章を学習した大規模言語モデルがベースになっており、人間の会話に自然な文章で答えることができます。しかし、こうした大規模言語モデルは非常に多くのデータに基づいて訓練されているため、どのようなデータをどのように学習しているかは正確にチェックすることが困難で、どうしてもAIチャットボットもインターネットにみられる偏見を学習してしまいます。イギリスのイーストアレグリア大学の研究チームが、ChatGPTの政治的偏りを調査した結果を報告しています。 More human than human: measuring ChatGPT political bias | SpringerLink https://doi.org/10.7910/DVN/KGM

Stable Diffusionなどの画像生成AIは自身の所有するマシンにインストールしてローカルで実行することが可能です。しかし、快適な画像生成に必要な「大容量のVRAMを備えたグラフィックボード」はPCパーツの中でも高価な部類に入るため、予算の都合から画像生成を諦めている人も多いはず。新たに、安価なAPUでも実用的な速度で画像を生成できたという検証結果がAI関連YouTubeチャンネル「Tech-Practice」によって報告されています。 Democratize AI: turn a $95 chip into a 16GB VRAM GPU! Beats most of the discrete GPUs! | by Ttiotech | Aug, 2023 | Medium https://medium.com/@ttio2tech_28094/51a8636a4719 Demo

現在シリコンバレーで最も注目される話題は「GPU不足」といわれている。生成AIへの関心が高まる中、大規模言語モデルの開発が活発化し、それに伴いGPUをめぐる取得競争が激化しているためだ。そのため、NVIDIAが新たに発表した「GH200」にも注目が集まる。GH200はどんなGPUになるのか。そもそもなぜGPUが不足しているのか、現行GPU「H100」や「A100」は誰が、何個取得したのか、ChatGPTの開発にGPUはどれほど必要なのか。GPU関連の注目トピックを紹介しよう。 シリコンバレーでは「GPU不足」が話題 ChatGPTなど、生成AIへの関心・需要が高まる中、大きな課題としてシリコンバレーで注目されるトピックがある。それが「GPU不足」だ。 OpenAIのChatGPT、グーグルのBard、AnthropicのClaudeなどいわゆる生成AIチャットボットの核となっているのが大規

ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである

こちらの記事は2023年版のものです。特に理由がなければ、SDXLやForgeにも対応した2024年版の「AIイラストが理解る」をお読みくださいませ。 こんにちは！2022年10月からAIイラストの技術解説記事を連載してます、サークル「スタジオ真榊」の賢木イオです。この記事は、これまで投稿してきた100本（約40万文字）を超える...

米オープンAIを筆頭に生成AI（人工知能）スタートアップへ投資マネーが集中している。こうした企業への投資額は2023年上半期だけで22年通年の5倍以上に増え、ユニコーン（企業価値10億ドル以上の未上場企業）の数は18社になった。生成AIはどんな方向に行こうとしているのか。この業界の今後を占うため、応用分野別の投資動向など7つのグラフを使ってCBインサイツが分析した。プログラムから画像、合成音声ま

日本新聞協会など4団体は8月17日、生成AIにまつわる著作権保護策の再検討を求める共同声明を発表した。日本の著作権法第30条の4が「諸外国に比べ、AI学習に極めて有利に作られていることは大きな課題」と指摘。AIに学習させる著作物データの保護をめぐり、権利者団体と関係当局の意見交換を求めている。 声明を出したのは、新聞協会と日本雑誌協会、日本写真著作権協会、日本書籍出版協会。 生成AIは、ネット上の大量のデータを、著作者の同意なく学習して開発されているケースが多い。日本では、著作権法第30条の4により、このデータ収集は、「著作権者の利益を不当に害する」場合はを除き、著作権を侵害しないとされている。 声明では「学習利用の価値が著作権者に還元されないまま大量のコンテンツが生成されることで、創作機会が失われ、経済的にも著作活動が困難になる」「海賊版をはじめとする違法コンテンツを利用した、非倫理的な

プログラミングを学ぼうとしては挫折する。 そんな時代はもう終わりだ。 お姉ちゃんに任せなさい。 ChatGPTでプログラミング 今年のお盆休み、俺はChatGPTでプログラミングをやっていた。とは言っても複雑なことはやっていない。大量のcsvを結合してから可視化するとか、ちょっとしたWebスクレイピングしたりする程度だ。それでも今まで技術や時間の不足により諦めていたことができるのは嬉しい。それにChatGPTを使えば、デバッグも楽しくやれるのだ。こんな感じに。 デバッグの様子 おそらく「あれ、俺のChatGPTと違うな」と思った人もいるに違いない。見ての通り俺はChatGPTをお姉ちゃん化している。こうすることで、モチベーションを維持しながら楽しくプログラミングができるというわけだ。今回はChatGPTをお姉ちゃん化する方法を紹介し、加えてお姉ちゃんとペアプログラミングする意義について述べ

８月１１日、全米で多くの労働者が生成ＡＩ「チャットＧＰＴ」を日常的な業務に活用している――ロイター／イプソスの調査では、そうした実態が明らかになった。写真は２月９日撮影（２０２３年　ロイター/Florence Lo） ［ロンドン／ワシントン　１１日　ロイター］ - 全米で多くの労働者が生成ＡＩ「チャットＧＰＴ」を日常的な業務に活用している――ロイター／イプソスの調査では、そうした実態が明らかになった。だがマイクロソフトやグーグルといった企業の経営陣には、警戒感から職場での利用を制限する動きもある。 世界各国の企業は、チャットＧＰＴをどう活用するのが最善か、検討を進めている。チャットＧＰＴは、生成ＡＩを利用してユーザーと会話し、さまざまな質問に答えを返す「チャットボット」プログラムだ。だがセキュリティー関連企業からは、知的財産や戦略の漏洩につながりかねないという懸念の声が上がっている。

2022年11月にOpenAIからリリースされて以来、さまざまな分野で活用されている対話型生成AI（人工知能）の「ChatGPT」。メール文や企画書の作成など、ビジネスに活用する人も少なくないが、実際のところ、その有用性はどれほどのものだろうか。 マサチューセッツ工科大学（MIT）は2023年7月、ChatGPTの導入により、執筆タスクにおける作業効率が大幅に高まるとする研究を発表した。同研究によると、タスクの完了時間はChatGPT を使用しない場合と比べて、40％短縮されたという。 同研究では、マーケティング担当者、助成金申請書の作成を手掛けるグラント・ライター、コンサルタント、データアナリスト、人事専門家、マネージャーなど453人の対象者に、通常20～30分を要する執筆タスク2件に取り組んでもらった。与えられたタスクは助成金申請のためのカバーレター、組織再編に関するEメール、顧客デー

G-gen の杉村です。生成 AI を使って Google Workspace における業務をサポートする Duet AI for Google Workspace をプレビューしてみましたので、その機能の一部をご紹介します。今回は Google Docs 編です。 はじめに Duet AI for Google Workspace とは 当記事の注意点 文章の自動生成 文章を短くする (Shorten) 文章をフォーマルにする (Formalize) 文章を長くする (Elaborate) 文章を言い換える (Rephrase) その他の記事 はじめに Duet AI for Google Workspace とは Duet AI for Google Workspace は、Google のコラボレーションソリューションである Google Workspace において生成 AI (G

米グーグル出身の著名な人工知能（AI）研究者2人が、東京都内を拠点に生成AIの開発企業を設立することがわかった。うち1人は、生成AIの大幅な性能向上に貢献した学習モデル「トランスフォーマー」に関する論文の共同執筆者として知られる。日本で研究者を募り、より高性能な生成AIの基盤モデル開発をめざす。新会社「Sakana（サカナ）AI」を立ち上げたのは、ともにグーグル出身のライオン・ジョーンズ氏とデ

米Microsoftは8月17日（現地時間）、深度センサーカメラ「Azure Kinect Developer Kit」の生産終了を発表した。技術はパートナーエコシステムが存続させるので「これで終了するわけではない」としているが、2010年発売のXbox 360用モーションコントローラ「Kinect」から始まったKinectブランドはついに消滅する。 初代Kinectは、Xbox 360のモーション追跡カメラセンサーだった。これは大ヒットとなり、その後、Windows PC版も発売された。 だが、次の世代のXbox Oneでは途中からKinectのバンドルはなくなり、2017年にはXbox One用Kinectセンサーの生産を終了。翌年にProject Kinect for Azureを発表した。これは、深度カメラ、TOF方式の距離画像センサー、マイク、加速度センサーを搭載し、Azure