連載目次 データサイエンスの基礎知識（リテラシー：いわゆる「読み・書き・そろばん」的な素養）は、多くの社会人が知っておくべきです。本稿では、データサイエンスの定義から、知るべき理由、必要なスキル、基本的な作業フロー、活用シーンまでを簡単に紹介します。 1分 ―― データサイエンス（DS：Data Science）とは データサイエンスとは、数学／統計学／機械学習といった科学的（学術的）な知識と、プログラミングといったITエンジニアリングのスキルと、組織や業務に関するビジネス知識を駆使して、（大量の）データから有用な結論や知見を導き出し、主にビジネス上の意思決定をサポートするアプローチのことです。 データ分析や人工知能との違い データ分析（データアナリティクス）とデータサイエンスの違いはこちらで説明しています。 また、AI（人工知能）とデータサイエンスの違いはこちらで説明しています。さらに説

一般社団法人データサイエンティスト協会（所在地：東京都港区、代表理事：高橋 隆史、以下 データサイエンティスト協会)は、学生向けにデータサイエンティスト（以下、DS）についての調査結果を発表しました。 <調査結果のまとめ> DSを「確かに知っている」＋「なんとなく知っている」割合は31％で横ばい、「名前を聞いたことがある」は増加 大学1～3年生では「確かに知っている」割合が徐々に増加、修士・博士課程での認知度は高い 多くの学生は「大学入学後に」認知しているが、1～2年生は「大学入学前から」知っている人も多い DSに対するイメージは「専門性が高い」（35％）、「頭がよい」（34％）などが多い DSとして働いている人は「将来性がある」イメージが高かったが、学生はその傾向が弱く、学生との違いが顕著であった DSへの就職意向は33％、就職してみたい理由は「おもしろそうだから」（38％） 大学におい

本教材は，行列の基本的な性質を学ぶために作成したものです。 行列については，平成21年告示の学習指導要領における新設科目「数学活用」の「社会生活における数理的な考察」の「数学的な表現の工夫」の内容となりました。行列は現代数学の基礎的な内容として様々な場面で活用されているにもかかわらず，繁雑な計算の意味やどのような場面で活用されるのかがわかりにくかったことから，「数学活用」の内容としたものです。ただし，「数学活用」の内容としたことから内容は大綱的に示すことになりました。そこで，専門教科理数科の「理数数学特論」の内容としてはそれ以前のもの（平成11年告示の学習指導要領における数学Cの内容）をそのまま残すとともに，高等学校数学を超える内容に興味をもつ生徒には「数学活用」の内容を踏まえ「線型代数学入門」のような学校設定科目を設けて指導することを推奨してきました。 平成30年告示の学習指導要領では数

VSCodeの拡張機能としてJupyter NotebookをベースにJavaScript/Mermaid/SQLなど多言語対応にした「Polyglot Notebooks」が正式リリース Jupyter Notebookはシンプルなエディタ画面にPythonやScala、Rなどのコードを打ち込んですぐに実行できる、インタラクティブなコード実行環境で、特にデータサイエンティストなどで重宝されているツールです。 結果も同じNotebook上に表やグラフ形式で表示可能なのに加えて、Markdown/LateX/HTMLなどを記述することでリッチなテキスト表現と画像や動画の埋め込みなどもできます。 このJupyter Notebookをベースに、C#やF#、JavaScript、Mermaid、SQLなど、さらに多くのプログラミング言語やマークアップ言語への対応を行ったVisual Studio

「PyTorch 2.0」には、PyTorch Transformer APIのより高性能な実装となるAccelerated PT2 Transformerが含まれ、以前はBetter Transformerと呼ばれていたfastpath推論アーキテクチャを拡張した、scaled dot product attention（SPDA）用のカスタムカーネルアーキテクチャを使用したトレーニングと推論がサポートされている。 さらにメインAPIとして、モデルをラップしてコンパイル済みのモデルを返すtorch.compile（ベータ版）が実装された。torch.compileは、Pythonフレーム評価フックを使用してPyTorchプログラムを安全にキャプチャするTorchDynamo、PyTorchのautogradエンジンを事前の後方トレースを生成するためのトレースautodiffとしてオーバー

PS C:\Users\hoge> nvidia-smi Sat Mar 18 12:58:39 2023 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 528.49 Driver Version: 528.49 CUDA Version: 12.0 | |-------------------------------+----------------------+----------------------+ | GPU Name TCC/WDDM | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Comput

Alpaca-LoRAという家庭用GPUでも大規模言語モデルのFineTuningが可能なモデルが発表されました。 本記事では、livedoorニュースコーパスを使用してAlpaca-LoRAをFineTuningしてニュースのタイトルを考えさせるというタスクに挑戦してみます。 技術の概要 Alpacaとは Alpacaとは、先日Metaが発表したLLaMa 7Bをtext-davinci-003によるself-instructで生成されたデータを使用してFineTuningした言語モデル。 生成したデータは52K個で生成コストは500ドル以下と低コストです。 人間による予備評価では7Bという比較的小さなモデルにも関わらず、text-davinci-003に似た挙動を示すという報告があげられています。 Alpaca-LoRAとは Alpaca-LoRAとはAlpacaで作成したデータセット

基盤モデルが自動運転車を操ってる筆者のイメージ created by DALL-E Turingで機械学習チームでエンジニアをしている井ノ上です。(Twitter: いのいち) Turingは2030年までにあらゆる場所で自動走行が可能で、ハンドルが必要ない完全自動運転システム（Level 5自動運転）の開発を目指して様々な技術の調査や検証を行っています。このテックブログではTuringがどのようにしてLevel 5完全自動運転にアプローチしていくのか、近年の基盤モデルやGoogleのロボティクス研究から考えていきたいと思います。 TuringのLevel 5への仮説 Level 5の自動運転をどのようにして作るのか。これは多くの人が気になるところだと思います。TuringではLevel 5自動運転の実現の鍵は「知能」にあると考えています。従来の自動運転の開発によって、LiDARやレーダー

はじめに 新規事業統括部Passregiチームの山本です。 最近、特に3月1日ChatGPTのAPIが公開されてから、AIを使ったチャットボットに関する話題が増えています。そんな中、ChatGPTを利用した、画像を対話的に生成したり説明させたりできる、Visual ChatGPTが公開されたので、早速動かしてみました。 Visual ChatGPTについて Visual ChatGPTは、クエリに関するプロンプトマネージャ介して、さまざまな画像のモデルとChatGPTを使用することで、画像を対話的に生成します。細かい内容は論文にゆずろうかと思います。 https://arxiv.org/abs/2303.04671 より これが実行できるソースコードが、つい先日（自分の知る限りだと3月9日に）githubで公開されました。当初、自分の持っているWindows機で実行してみたのですが、使用し

人工知能（AI）というと機械学習や深層学習が注目されがちだが、実はそれはAIの半分にすぎない。あとの半分、いわば「アナザーAI」は企業の生産計画や物流などで重要な役割を果たす「最適化AI」だ。最適化AIを実現するための技術が、「焼きなまし法」や「ビームサーチ」などの「ヒューリスティックアルゴリズム（メタヒューリスティクス）」である。この連載では、競技プログラミングサービスを提供しているAtCoderの高橋直大社長が、アルゴリズムに対する深い知識を生かし、最適化AIを活用している企業を訪ねて取り組みを探っていく。 今回は趣向を変え、最適化AI（数理最適化）による産学連携を進める大阪大学大学院数理最適化寄付講座の梅谷俊治教授に、数理最適化の意義やその活用などについて聞いた。（聞き手は高橋 直大＝AtCoder）。

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは、黒澤友哉と申します。 2022 年 8 月 15 日から 6 週間、LINE株式会社の NLP 開発チーム（現在は NLP チーム）で就業型インターンシップを行ないましたので、その内容を報告していきたいと思います。私は東京大学情報理工学系研究科コンピュータ科学専攻の修士で、自然言語処理を専門としています。所属は谷中研究室です。 0. 概要 本文に入る前に、このレポートの概要を書きます。以下の図はこのインターンレポートの背景と手法をまとめた図です。このレポートでは第 3 章で「言語モデルを用いた要約生成」、「hallucination」、「日本語のグラフ」について説明した後、第 4 章でグラフ生成手順と halluc

「Workshop OT 2023 最適輸送とその周辺 – 機械学習から熱力学的最適化まで」で用いたスライドです

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価す

はじめに 本家 OpenAI や Azure OpenAI Service で利用できる各言語モデルで使われているエンコーディングについて情報をまとめました。 エンコーディングとは OpenAI の言語モデルにおけるエンコーディングとは、テキストがトークンに変換される際の (トークナイズされる際の) ルールのようなものです。モデルによって使われるエンコーディングは異なります。 エンコーディングの種類 下記 4 種類のエンコーディングが存在しています。 エンコーディング コメント

Glazeはシカゴ大学SAND LabのBenZhaoさんをリーダーとするチームとアーティストが共同で開発したツールで、主にKarla Ortizさんというトップアーティストが協力しています。 1/ This might be the most important oil painting I’ve made: Musa Victoriosa The first painting released to the world that utilizes Glaze, a protective tech against unethical AI/ML models, developed by the @UChicago team led by @ravenben. App out now 👇 https://t.co/cNIXNDHMBy pic.twitter.com/Y1MqVK7yvZ

木内翔大＠SHIFT AI代表「日本をAI先進国に」𝕏 @shota7180 SHIFT AI 代表┃GMO他複数社AI顧問┃生成AI活用普及協会理事┃国内最大級AI活用コミュニティ運営(メンバー数：5000名超え、講師数：100名超え)┃小5でエンジニア→“SAMURAI ENGINEER”創業→上場企業へ売却→『日本をAI先進国に』実現の為に活動中┃最新のAIトレンド、ツール情報を発信 https://t.co/9NARGljpNn

AIに仕事を奪われるプログラマーの生存戦略は？　「GPT-4」に聞いてみた：シンギュラリティも近い？ 最新のAI「GPT-4」はコーディング能力も増している。プログラマーの仕事がAIに置き換わる可能性も、リアルに見えてきた。プログラマーの生存戦略を、GPT-4に聞いた結果は……？

Microsoftは強力なAIをどう生かすのか？　Azure、GitHub、Bingなど製品別の活用を見る：Azure OpenAI ServiceへのGPT-4搭載も予定 日本マイクロソフトはオンラインイベント「Azure AI Day 2023～最先端AIテクノロジーのこれからと今～」を開催し、自社製品、サービスに適用されたAIなどに関するアップデートを紹介した。

IT業界において大規模言語AIサービス「ChatGPT」が大盛り上がりだ。2023年に入ってからはあらゆる業界の企業がChatGPTを使ったサービスをこぞって発表している。IT超大手GAFAMも続々大規模言語AIの活用方針を打ち出している。 そんなChatGPTはどうやってここまでの人気を得るに至ったのか。日本語特化の大規模言語AIを開発してきた東大発ベンチャー・ELYZA（東京都文京区）は3月16日の発表会で、今この業界で何が起きているのかを、歴史とともに解説した。 GAFAMが続々アプローチ　IT業界が一瞬でAIカラーに染まる ChatGPTは2022年11月の公開以降、飛ぶ鳥を落とす勢いでユーザーを獲得してきた。ユーザー数はリリースから5日で100万人、2カ月で1億人を突破した。米Microsoftは開発元の米OpenAIにもともと10億ドルを出資していたが、ChatGPT登場後さら

米OpenAIが3月14日（現地時間）に公開した大規模言語モデル「GPT-4」の利用回数制限が、日に日に厳しくなっている。「需要に合わせて調整」しているといい、利用が殺到しているようだ。 GPT-4は、ChatGPTの有料版「ChatGPT Plus」（月額2400円／20米ドル）ユーザー向けに試用版が公開されている。当初は4時間当たり100メッセージを受け付けていたが、3月17日までに50に半減。3月20日までには、「3時間に25問」まで減った。

editGPT is an AI tool that allows you to proofread, edit, and track changes to your content using ChatGPT

OpenAIが作成したチャットAIの「GPT-4」を利用して、新しいプログラミング言語の「TenetLang」をコーダーのルークさんが作成しています。 GPT-4 Designed a Programming Language https://lukebechtel.com/blog/gpt4-generating-code GPT-4のような大規模言語モデル(LLM)は、世界中に存在するあらゆるプログラミング言語を何十億回も読み込んでいます。LLMはプログラミングも可能であることは知られていますが、ルークさんは「私の知る限り、GPT-4で独自のプログラミング言語を作成するといった事例はこれまでありません」と記しています。そこで、ルークさんはGPT-4を使って新しいプログラミング言語を創造することに決めた模様。 ルークさんは最初にGPT-4に対して「ソフトウェア開発における大まかな統一理論

データを用いて学習し新たなコンテンツを生み出すジェネレーティブAIの進化は日進月歩で、一説には「2025年までにオンラインコンテンツの90％はAIが生成したものになる」ともいわれています。そんな中、AIによるコンテンツの量産にあらがうことを目的に、人間が作った作品に名誉のバッジを掲げる取り組みがスタートしました。 Not By AI Badges — A Badge for Your AI-free Content https://notbyai.fyi/ ジェネレーティブAIは、人間が作った文章や絵を取り込んで機械学習し、それを元にコンテンツを作成しています。そのため、もし人間がAIコンテンツに満足して新しい作品を生み出さなくなってしまうと、「AIが出力したコンテンツを学習したAIがコンテンツを再生産する」というサイクルが発生し、オンラインコンテンツが反復的なものばかりになって文化の発展

LLaMAは米Metaが独自開発した大規模言語モデル。LLM分野の研究推進を支援するため、研究者向けに2月にリリースした。大規模インフラを利用できない研究者のために小規模ながら性能の高いことが特徴で、7B（＝70億）、13B、33B、65Bの4種類のパラメーターを用意している。13Bモデルはベンチマークで米OpenAIのLLM「GPT-3」を上回るという。 米スタンフォード大学は、LLaMAの7Bモデルを派生させ独自のLLM「Stanford Alpaca」を開発。このモデルは研究や学術目的でのみ利用でき、娯楽や商用での利用は禁止している。Alpaca LoRAでは、Stanford Alpacaが生成するトークン（単語列）を再現できるという。 関連記事 Meta、独自大規模言語モデル（LLM）の「LLaMA」を限定リリース Metaは独自の大規模言語モデル「LLaMA」（Large La

はじめに 面倒なことは自動化したいですね。とくにテストデータ、理論的には部分はわかって実際の値を作るのが苦痛です。 たとえば、名前は1文字以上10文字以下だったときに、境界値分析で0文字と1~10文字と11文字以上を用意すればいいまでいいけど、じゃ具体的な値を考えるとabcとかtestとか何がちで、もっとそれっぽい名前にしようとそれを考えるのに五分ぐらいかかりますよね。 ChatGPTでダミーデータを作ってもらえないか試してみた。 テストページを作成 シンプルなフォームを作りました、名前と年齢があります <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8" /> <title>Title</title> </head> <body> <form> <div> <label for="name-input">名前</lab

n番煎じ、今更ながら…。 ChatGPTは過去遊びでしか使ったことがなかったのですが、 今、超長文SQL群を改修してまして、何重にもなった副問合せと集計関数を読み解くのに疲れて…ChatGPTに手を出しました。 そして、 え！！ChatGPTやばい！！ 介護は必要だけどすぐ形にしてくれるしなんなら私より知識あるわ！！ 只今、職を失いました！！ ってなったので、この衝撃を書き残しておこうと思います。 やりたいこと 作るSQLの要件はざっくり、 dba_hist_sysstatから、physical readsなど各統計情報のvalueの増分値を取得する 統計情報種別毎・1日毎に、1ヶ月間集計 日時判別のために、dba_hist_snapshotと結合する valueには累積値が入っている。ただし、インスタンス再起動があるとリセットされる。 つまり、「累積だから」と直前のスナップショットのva

北川大空 @bukuta_3 株式会社エムフロ SNSマーケティング事業部｜趣味：ダイエット｜特技：リバウンド｜Webマーケティング、AI、ビジネス関係をつぶやきます。 北川大空 @bukuta_3 Note株式会社CXO「深津貴之」さんが考案したChatGPTの命令文が便利すぎたので共有。ChatGPTは無限にある言葉から、一番確率の高い単語を繋げて回答している。アイデアや思考をまとめる時は、AIに回答して欲しい条件を絞って質問することが、めちゃくちゃ大事です。 pic.twitter.com/gt1ERYScj6 2023-03-18 06:00:16 北川大空 @bukuta_3 ＜ChatGPTテンプレート＞ コピーしてすぐ使えます。▼ココから下▼ # 命令書 あなたは、プロの■■です。以下の制約条件から最高の●●を出力してください。 # 制約条件 ・（例）重要なキーワードを取りこ

こんにちは、画像生成AIでひたすら猫のイラストを生成している じょじお（＠jojio‗illust）です。 この記事は各種画像生成AIサービスのプロンプト（呪文）の記述方法の比較表をまとめた記事です。

Prompt engineering is a relatively new discipline for developing and optimizing prompts to efficiently use language models (LMs) for a wide variety of applications and research topics. Prompt engineering skills help to better understand the capabilities and limitations of large language models (LLMs). Researchers use prompt engineering to improve the capacity of LLMs on a wide range of common and

【徹底解説】これからのエンジニアの必携スキル、プロンプトエンジニアリングの手引「Prompt Engineering Guide」を読んでまとめてみた こんにちは。CX 事業本部 Delivery 部のきんじょーです。 ここのところChatGPT と戯れてアプリを作ったり、様々なプロンプトの検証をしていましたが、言語モデルの性能を最大限に引き出すために、体系的にプロンプトエンジニアリングを学びたいと考えていました。 GitHub に「Prompt Engineering Guide」という素晴らしいリポジトリがあったので、読んで検証した内容をブログにまとめていきます。 本記事は、執筆時点の上記リポジトリの内容を元にしていますが、意訳や独自に検証した日本語のプロンプトを含みます。 上記リポジトリも絶賛開発中の段階のため、最新情報や原文が気になる方はリポジトリを直接参照してください。 目次 プ

画像生成AIのStable Diffusionを動かすには十分な性能のGPUとVRAMが求められるため、ハイスペックなPCやワークステーションを使うか、あるいはGPUサーバーにアクセスして演算リソースを借りる必要があります。エンジニア向けに機械学習の講義を配信しているMachine Learning Compilationが、サーバーのサポートを必要とせずにブラウザ内でStable Diffusionを実行できる「Web Stable Diffusion」を公開しています。 WebSD | Home https://mlc.ai/web-stable-diffusion/ Web Stable Diffusionはデモ版が公開されていますが、記事作成時点ではM1あるいはM2搭載のMacでのみ動作が確認されています。今回はM1搭載iMac(8コアCPU・8コアGPU・256GBストレージ・R

をご紹介するという内容になっています。 Stable Diffusion web UIの拡張機能リストを見てみると「マイナーだけど便利な拡張機能」が色々あるのですが、中でもweb UIの生みの親・AUTOMATIC1111氏による拡張機能「Pixelization」がニッチな需要を満たす割にあまり知られていなさそうだったので今回記事を書こうと思った次第です。 ここではこの拡張機能について 概要とインストール方法 使い方 を解説していきます。使いこなせば2Dゲーム開発などにとても役立ちそうなのでぜひ最後までご覧いただければと思います。

画像生成AI「Midjourney」の開発チームが、2023年3月16日(木)に「Midjourney V5」のアルファ版をリリースしました。「Midjourney V5」では超高画質な画像生成が可能となっているだけでなく、画像生成AIの課題であった「『手』を正確に描写できない問題」が解決されたという報告も寄せられています。 Starting today our community can test Midjourney V5. It has much higher image quality, more diverse outputs, wider stylistic range, support for seamless textures, wider aspect ratios, better image prompting, wider dynamic range and more

OpenAIの大規模言語モデル・GPT-4や画像生成AIのMidjourneyなどのジェネレーティブAI技術は急速に発展し、実際に文章や絵画を作成するケースが爆発的に増えています。アメリカ著作権局が2023年3月16日付けで、AIが生成した素材を著作物として認める場合を明確にするガイダンスを発表しました。 Federal Register :: Copyright Registration Guidance: Works Containing Material Generated by Artificial Intelligence https://www.federalregister.gov/documents/2023/03/16/2023-05321/copyright-registration-guidance-works-containing-material-generate

人工知能（AI）を使って脳の視覚情報を解読し、ほぼ見た通りの画像を再現することに大阪大の研究チームが成功した。高性能の画像生成AIを「翻訳機」として活用し、複雑な脳の情報を効率よく読み取ることができ…