この記事は先日自分がGPTの背景にあるEncoder-DecoderやらTransformerやらについて雑に調べていたこのメモを元に不足する情報を補完してもらいながらChatGPT(GPT-4)に記事としてまとめてもらったものです。 雑なメモのままで埋もれさせておくよりもある程度体裁の整った文章として残しておいた方が後から見返した際に自分にとっても役に立つだろうという思惑と、単純にChatGPTでどれくらい記事が書けるのか？という実験をする目的で書いています。実験的な意味合いが強いので内容の正確性に問題がある部分もあるかもしれないのでその辺はご容赦ください。また、ChatGPTで中身のない薄っぺらな技術記事を量産しようなどという意図はないのであらかじめご了承ください。 自然言語処理の変遷とEncoder-Decoderモデルの登場 自然言語処理（NLP）は、コンピュータが人間の言語を理解

はじめに こんにちは、ACS事業部の谷合です。 Kubernetesリソースのトラブルシュートは難しいと感じたことはないでしょうか? 特にKubernetesビギナーの方であれば、最初何をどうすれいいか戸惑う方も多いかと思います。 そこでそんなトラブルシュートの際にAIの力を借りれるK8sGPTなるツールを見つけましたので、 ご紹介します。 github.com K8sGPTはAI providerであるOpenAIと連携でき、Kubernetesリソースの分析をAIに任せることが できるCLIツールです。なお、現在は以下のリソースのBuilt in analyzerが提供されています。 このリストにないリソースについては自前でanalyzerを書く必要があります。 Enabled by default podAnalyzer pvcAnalyzer rsAnalyzer serviceA

OpenAIが提供する「ChatGPT」などのチャットAIは要約やコーディング、翻訳などを人間の専門家以上の精度で実行できると報告されています。しかしチャットAIの訓練に必要な人間のフィードバックに基づいた強化学習(RLHF)を実行するエンドツーエンドなパイプラインが存在せず、最先端のチャットAIの訓練を行うことは困難でした。しかしMicrosoftが発表した「DeepSpeed-Chat」では誰でもChatGPTのようなモデルを作成可能です。 DeepSpeed/blogs/deepspeed-chat/japanese at master · microsoft/DeepSpeed · GitHub https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-chat/japanese これまでChatGPTのよ

これは LIVESENSE madeブログ 4月のお題 の参加記事です。 データプラットフォームグループの富士谷です。 ChatGPTのAPIの提供とポリシーの改変から、はや1ヶ月半くらい経ちました。弊社でも、ChatGPT（OpenAI API）を使った機能を開発し、転職会議や面接支援ツールのbatonnで、すでにリリースしています。 転職口コミサイト『転職会議』、ChatGPTのAIを活用した企業口コミの要約情報を提供開始 | 株式会社リブセンス 【業界初】面接最適化クラウド『batonn』、「ChatGPT」のAIを活用した面接内容の要約機能をリリース | 株式会社リブセンス 転職会議については、開発の裏側もブログで公開しています。 made.livesense.co.jp APIを使った機能開発や業務効率化は今後も模索していきたいと考えています。 重要なのは、各々がどのように使える

MicrosoftはOpenAIと提携し、ChatGPTを初めとした各種AIツールの自社ソフトウェア/サービスへの組み込みを進めています。 今回、Windows 11/10用のオープンソースの生産性向上ツール「PowerToys」へ、ChatGPTのサポートを組み込むための作業が進められていることがわかりました。 ChatGPTのサポートは、キーボードランチャー「PowerToys Run」のプラグインとして行われ、PowerToys Runの検索ボックスに質問を直接入力することができるようになる見込みです。 ChatGPTプラグインはデフォルトでオフになっていて、ユーザーはこの機能を利用するためにPowerToys Runの設定を開き、手動でこの機能を有効にする必要があります。また、OpenAIのAPIキーを入手し設定する必要があります。 このプラグインの開発は、Windowsデバイス上

米MetaのAI部門Meta AIのFAIRチームは、4月13日（現地時間）、手書きの絵をアニメーションに変換するAIツール「Animated Drawings」をオープンソースで公開した。クリエイターや開発者が、描画からアニメーション体験や製品を簡単に作成できるようにすることを目指す。 これは、FAIR が2021年に開発し、Web版をリリースした「Animated Drawings Demo」が基になっている。このデモは、コンピュータビジョンモデルを訓練するために必要な大量の描画とアノテーションを集める目的で公開したものだ。 Animated Drawings Demoは好評で、公開後数カ月で160万件以上の画像がアップロードされた。これらの画像は使用許可付きのものだ。そこで、FAIRはAnimated Drawings Demoで使用されているモデルとコードのオープンソース版をリリー

Stable Diffusionなどの事前学習済みモデルに対して、輪郭線や深度、画像の領域区分(セグメンテーション)情報などを追加して出力をサポートする技術が「ControlNet」です。このControlNetを使うことで、別途に読み込ませた画像に写っている線画や人の姿勢などを出力結果に強く反映させることが可能です。このControlNetを複数使用する「Multi ControlNet」で実写の映像を忠実にアニメ化したムービーが、オンライン掲示板のRedditで公開されました。 I transform real person dancing to animation using stable diffusion and multiControlNet : r/StableDiffusion https://www.reddit.com/r/StableDiffusion/comment

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 米スタンフォード大学とGoogle Researchに所属する研究者らが発表した論文「Generative Agents: Interactive Simulacra of Human Behavior」（プレプリント）は、ChatGPTなどで制御したキャラクター25人が1つの町で一緒に生活したらどうなるかを検証した研究報告である。それぞれ架空の人格を持ったキャラクター達がバーチャル世界で創発的な行動を繰り広げ、その様子を観察し考察する。 研究者らは、ChatGPT（GPT-3.5）とカスタムコードで制御する25人のキャラクターが、高度にリアルな行動で

近年は画像や文章を生成するAIの登場が大きな話題を呼んでいますが、その裏では既存の仕事がAIに奪われるという懸念が浮上しています。既に中国のゲーム業界からは「AIに仕事を奪われてしまった」という声が上がっているほか、サイバーセキュリティ専門家の多くが「2030年までにAIに仕事を奪われる」と予想しています。新たに、国際的な音楽企業であるユニバーサルミュージックグループが、SpotifyやApple Musicなどの音楽ストリーミングサービスに対し、AIのトレーニングに楽曲が使用されるのをブロックするよう指示したことが明らかとなりました。 Streaming services urged to clamp down on AI-generated music | Financial Times https://www.ft.com/content/aec1679b-5a34-4dad-9fc

PromptLab(プロンプトラボ)とは、AIプロンプトと呼ばれる「AIに適切な指示を出すための文章」を誰でも簡単に利用できるサービスです。必要項目を記入するだけで、面倒な作業を20秒程度でAIに片付けてもらうことができます。

データセンター設立により「Googleのツールやサービスを利用する際のアクセスを高速化し、より高い安定性を実現する」（Google）という。環境にも配慮するとして、寒冷期には外気を使ったサーバを冷却する仕組みなども搭載した。 関連記事 Googleが日本に約1000億円投資、ネットワークインフラ増強へ　2024年に千葉でデータセンター開設 Googleが日本のネットワークインフラに約1000億円を投資すると発表した。今後、日本とカナダを結ぶ海底ケーブルを開設する他、千葉県印西市に同社初の国内データセンターを開設する。 GoogleのピチャイCEO、「日本にも旗艦店を出したい」 Googleのスンダー・ピチャイCEOは来日中、日本でもオリジナルハードウェアの旗艦店を開設したいと語った。Pixelシリーズなどを体験、購入できる旗艦店の1号店はニューヨークにある。 AWS、日本リージョンに約34

対話型AIのChatGPTは非常に自然な文章を生成できるため幅広い分野で活用できる一方で、教育面でChatGPTが学習や研究を侵害する恐れから、ニューヨーク市が生徒と教師によるChatGPTの利用を全面禁止したり、ChatGPTなどのAIで科学論文を書くことが国際会議で禁止されたりと、さまざまな動きが見られています。そのような中で、エッセイの課題に対して教師が「AIが生成した文章を検出するツール」を使用したところ、100％人力で執筆したエッセイが「AIを使って書かれた」として0点になったという学生の体験を、学生の親であるfailnaut氏がツイートして話題になっています。 teacher just gave my kid a zero for an essay he completed with my support because some AI-generated-writing fl

Amazon Web Services（AWS）は、コメントやコードの一部からAIがコードを自動生成してくれるサービス「Amazon CodeWhisperer」が正式版になったことを発表しました。 Amazon CodeWhispererは昨年（2022年）6月に行われたAWSの機械学習にフォーカスしたイベント「Amazon re:MARS 2022」で発表され、プレビュー公開されていました。 参考：AWSも、プログラミングを機械学習で支援する「Amazon CodeWhisperer」プレビュー公開。コメントを書くとコードを提案 コメントや書きかけのコードからコードを自動生成 Amazon CodeWhispererは、オープンソースリポジトリ、Amazon内部リポジトリ、APIドキュメント、フォーラムなどから収集した数十億行のコードを基にした機械学習から、プログラマが書き始めたコード

いわさです。 先週、プレビュー中だった Amazon CodeWhisperer のエンタープライズ統合機能を紹介しました。 統合手順などをまとめていたのですが、昨日 Amazon CodeWhisperer が GA となりました。 上記検証を行った際には IAM Identity Center との兼ね合いなど気になる点がいくつかありましたね。 GA 後はどのようになったか変更点などを見ていきたいと思います。 プレビュー時との比較 料金が確定 プレビュー時は CodeWhisperer は料金が無料でしたが GA に伴って料金プランが確定しました。 専用の料金ページが用意されているのでこちらを確認しましょう。 Individual と Professional の 2 つの Tier が用意されています。 Individual は無料 個人が所有する AWS Builder ID を使

AWS Machine Learning Blog Announcing New Tools for Building with Generative AI on AWS The seeds of a machine learning (ML) paradigm shift have existed for decades, but with the ready availability of scalable compute capacity, a massive proliferation of data, and the rapid advancement of ML technologies, customers across industries are transforming their businesses. Just recently, generative AI app

【シリコンバレー=山田遼太郎】米アマゾン・ドット・コムは13日、ネットワーク経由で情報システム機能を使えるクラウドコンピューティングを通じ、文章などを自動でつくる生成人工知能（AI）を提供すると発表した。クラウドを通じた生成AIの提供は米マイクロソフトや米グーグルも準備する。業界最大手のアマゾンの参入で、生成AIの利用環境の整備が世界で進む。アマゾン傘下でクラウド事業を手掛けるアマゾン・ウェブ

はじめに 2023/4/13に、AWSが新しい生成AIプラットフォームである「Amazon Bedrock」を発表しました。 この「Amazon Bedrock」を通じて、ビジネスやアプリケーションに最適な生成AIモデルを見つけるための幅広いFoundation Model (FM)を提供するとの発表がされています。 この記事では、Amazon Bedrockがどのように機能し、どのようにしてビジネスに価値をもたらす可能性を秘めているのかを解説します。 1. Amazon Bedrockの仕組み 簡単にまとめると、次のような機能や特徴を持つようです。 AIスタートアップやAmazonが開発した幅広いFMから選択できます。 サーバレスでプライベートにカスタマイズでき、独自のデータを使ってFMを調整できます。 AWSの既存サービスや機能（Amazon SageMakerおよびSageMaker

AWS、API経由でジェネレーティブAIを利用する新サービス「Amazon Bedrock」を発表し、ジェネレーティブAIに本格参入。テキスト生成、文章要約、画像生成など Amazon Web Services（AWS）は、ジェネレーティブAIをAPI経由で利用できる新サービス「Amazon Bedrock」を発表し、ChatGPTに代表されるジェネレーティブAI市場に本格参入することを明らかにしました。 合わせて、Amazonの20年にわたる機械学習の経験を基に開発されたとされる、人間と自然言語で対話し質問に回答でき、要求に応じた文章の生成や要約などが可能で、不適切な入力や出力を検出し拒否するように設定された大規模言語モデル「Amazon Titan」も発表しました。 下記はAWS CEO Aam Selipsky氏のツイート。 We’re announcing Amazon Bedro

Amazon Bedrock The easiest way to build and scale generative AI applications with foundation models Amazon Bedrock is a fully managed service that offers a choice of high-performing foundation models (FMs) from leading AI companies like AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI, and Amazon through a single API, along with a broad set of capabilities you need to build generative

この記事は新野淳一氏のブログ「Publickey」に掲載された「AWS、API経由でジェネレーティブAIを利用する新サービス「Amazon Bedrock」を発表し、ジェネレーティブAIに本格参入。テキスト生成、文章要約、画像生成など」（2023年4月14日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Amazon Web Services（AWS）は、ジェネレーティブAIをAPI経由で利用できる新サービス「Amazon Bedrock」を発表し、ChatGPTに代表されるジェネレーティブAI市場に本格参入することを明らかにしました。 合わせて、Amazonの20年にわたる機械学習の経験を基に開発されたとされる、人間と自然言語で対話し質問に回答でき、要求に応じた文章の生成や要約などが可能で、不適切な入力や出力を検出し拒否するように設定された大規模言語モデル「A

第1　はじめに 前回の記事で大規模言語モデル（LLM）に関するビジネスは3つのレイヤーに分けると理解しやすいというお話をしました。 このうち、レイヤー1は「大規模データセットや大規模言語モデルを自ら開発して公開・提供するレイヤー」です。 このレイヤーに関する最近の話題としては、自民党が公表したホワイトペーパー（案）や、OpenAIのサム・アルトマンCEO来日＋日本への7つの提言などがありますね。 【関連リンク】 ▼　自民党AIの進化と実装に関するプロジェクトチーム ▼　来日したOpenAIのアルトマンCEO、日本へ7つの提案–自民党の塩崎議員が明かす 今回の記事は、このレイヤー1に取り組む際の法的な留意点について解説をしたいと思います。 レイヤー1に関する論点の全体構造は以下のとおりですが、全部を解説するとボリュームが大きくなりすぎるため、とりあえず最も良く問題となる①に絞ります。 ①　デ