はじめに データ分析においてデータの可視化はなくてはならない非常に重要な作業です この記事では、データ分析の現場でクライアントからよく相談を頂く 「データ可視化のコツは何か？」「こういうデータが見たいときはどういうグラフを使うと効果的か？」について、どういう視点でデータ可視化をすべきか、データ可視化の目的別のビジュアル（グラフ）の選び方と使い方を Power BI Desktop を使って具体例で説明します データの可視化とは ・数値データだけでは確認しにくい現象や事象を、グラフ・図・表などのビジュアルで表現することで数字からわかる情報の理解を助けること データの可視化の目的 ・データセットのパターン、傾向、関係性、外れ値を簡単に識別できるようにすること ・データを可視化することで、データから情報と知識を正確かつ効率的に抽出し、わかりやすく伝達して価値に変えること データの可視化のメリット

サイバーエージェントのGitHub CopilotのAnalyticsデータを公開！利用開始から約3ヶ月でエンジニアの生産性は向上したのか？ CTO統括室の黒崎(@kuro_m88)です。サイバーエージェントでは2023年4月下旬より、GitHub Copilotの導入を開始しました。 「実際のところどうなの？」という情報がまだまだ少ないと思われるので、本記事では導入から約3ヶ月が経過した現在の利用状況を公開します。 GitHub Copilotの利用状況 2023年7月現在、サイバーエージェントでは500名以上のエンジニアがGitHub Copilotを利用しています。 追記 7/20: そしてこの数字はGitHubによると現時点で日本で一番多いそうです🎉 サイバーエージェントではGitHub Enterpriseが導入されており、事業部や事業単位でOrganizationを保持してお

『Pythonによるデータ分析入門 第3版 ―pandas、NumPy、Jupyterを使ったデータ処理』 Wes McKinney　著、瀬戸山 雅人、小林 儀匡　訳 2023年8月12日発売予定 624ページ（予定） ISBN978-4-8144-0019-5 定価4,400円（税込） NumPy、SciPy、pandas、Matplotlib、Jupyterをはじめ、高機能で使いやすい数学・科学計算用ライブラリが充実しているPythonは、科学計算、統計解析、機械学習のみならず、金融や経済分野でも広く利用されています。本書はPythonの代表的なデータ分析ツール、pandasの開発者Wes McKinneyによる、データ分析を行うための基本を網羅しています。すべてのサンプルコードはダウンロード可能で、Jupyter Notebookで対話的に試し、実際に手を動かしながら知識を確実なもの

エンジニアの上野です。Cluster Servicesチームという、PFNのKubernetesベースの機械学習基盤を開発・運用するチームに所属して、基盤の改善や新機能の開発に務めています。本記事では、深層学習における学習データセット読み込み速度の改善を目指して開発し、現在もKubernetes上で運用中の分散キャッシュシステムを紹介します。 PFNの機械学習基盤については、ブログ「2022年のPFNの機械学習基盤」もご参照ください。 深層学習における学習データセット読み込み 深層学習を高速化するため、深層学習に向いたアクセラレータの開発が日々続けられています。PFNで開発しているMN-Coreシリーズや、NVIDIA社製GPUもそのひとつです。これらのアクセラレータは高速に行列演算を行うことができ、深層学習の1イテレーションにかかる時間を高速化、ひいては深層学習を活用する研究開発全体を加

Amazon SageMaker StudioのTerminal上のAWS CLIを最新のバージョン2にアップデートしてみた はじめに Amazon SageMaker StudioのSystem terminalで、AWS CLIを利用する場合、デフォルトでは、CLIバージョン1です。 Amazon EC2 インスタンスもCLIをバージョン2にアップデートしたことはありましたが、勝手が異なり色々詰まりましたので、今回方法をまとめました。 最新バージョンをインストール System terminalを起動します。 $ aws --version aws-cli/1.27.141 Python/3.9.15 Linux/4.14.314-237.533.amzn2.x86_64 botocore/1.29.141 現在は、CLIバージョン1と分かります。 デフォルトですとunzipコマンドが

[2023.09.19 追記] 本記事の執筆にあたり参考にさせていただいたUdemy講座の講師の方より、記事内容についてコメントをいただいたため一部修正しました。 はじめに こんにちは、アノテーション テクニカルサポートの Shimizu です。 突然ですが、私も含めた Python 初心者に、以下のような人は多いのではないでしょうか。 昨今の AI ブームに乗って API でデータをやり取りする基本的な Python プログラムを PC 上で動かせたものの、それを Web アプリとして公開するまでのハードルが高く感じる。 ブラウザ操作の UI を実装するには Django などの Web フレームワークを習得したり、アプリとして公開するには Python が動作するサーバーを用意したりと、なんだか難しそう・・ そんな私にピッタリのUdemy講座を見つけたため、今回受講してみました。 Ch

はじめに こんにちは、新卒2年目の佐藤です。 MonotaROでは先日、ChatGPTを簡単に利用できるSlackbot「MonoChat (β)」を全社員を対象にリリースし、大勢の方に利用されるようになりました。 私は、ChatGPTが社内全体で活用されることで一人一人の身の回りの業務がもっと楽になったり、生産性を上げられる良い機会に必ずなると思いMonoChat (β) を開発しました。 本記事では社内の大勢の方に利用してもらうために考えたこと、設計/開発/運用してみて得た結果や知見、またMonotaROでのChatGPT利用についても紹介します。 特に、開発部分だけでなく設計部分や結果も紹介しているのでChatGPTを社内に普及させたい方にとって何か気づきになれば幸いです！ はじめに MonotaROでは全社員がChatGPTを利用可能です 社内でのChatGPT利用 MonoCha

マイクロソフトは日本時間7月19日未明から開催中のパートナー向け年次イベント「Microsoft Inspire 2023」において、Azure OpenAIをアジア地域のリージョンで提供することを発表しました。 サティア・ナデラCEOは基調講演で、Microsoft Azure上でOpenAI社の技術を用いてAIサービスを提供する「Azure OpenAI Service」の提供リージョンを拡大すると発表。 北米および西欧州での提供を拡大するだけでなく、アジア地域にも初めてAzure OpenAI Serviceの提供リージョンを設置することを明らかにしました。 このアジアのリージョンが具体的にどこなのかは記事執筆時点で発表されていませんが、すでに先週から一部のユーザーのあいだでは東日本リージョンでAzure OpenAI Serviceの提供が開始されていることが話題になっていました。

カメラ好き機械学習エンジニアの@yktm31です。 先日、OpenAIから、公式のプラグインとして発表された「Code Interpreter」ですが、 趣味の写真でもなにか使えないかと思い、画像処理を試してみることにしました。 openai.com Code Interpreterの概要や有効化の方法は前の記事をご覧ください。 acro-engineer.hatenablog.com 以前撮影した、富士山の写真から、Zoomの仮想背景に使うことを想定し、色々と加工させてみたいと思います。 画像処理/加工 今回、以下のような画像処理／加工を実施してみました。 画像サイズの確認 画像をFullHDサイズにする 画像の明るさと彩度を調整する 指定の形で切り抜く データをダウンロードする 画像サイズの確認 まずは画像のサイズを確認します。 これくらいはお手の物。写真アプリで確認したサイズとも一致

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Editor's Note: This is another installation of our guest blog posts highlighting interesting and novel use cases. This blog is written by Shroominic who built an open source implementation of the ChatGPT Code Interpreter. Important Links: GitHub RepoIn the world of open-source software, there are always exciting developments. Today, I am thrilled to announce a new project that I have been working

AWS Machine Learning Blog Llama 2 foundation models from Meta are now available in Amazon SageMaker JumpStart October 2023: This post was reviewed and updated with support for finetuning. Today, we are excited to announce that Llama 2 foundation models developed by Meta are available for customers through Amazon SageMaker JumpStart to fine-tune and deploy. The Llama 2 family of large language mode

オープンソースで商用利用も可能な大規模言語モデル Llama 2はこのマイクロソフトの発表とほぼ同時にMetaが発表した最新の大規模言語モデルです。 オープンソースとして公開され商用利用も可能で、AI分野で高い実績を残してきたMetaが満を持して公開するモデルとして高い能力を備えていることが期待されています。 Llama 2はパラメータ数が7B、13B、70Bの3つのモデルに分かれており、Microsoft Azureではこの3つのモデルを現在パブリックプレビュー中のAzure AIモデルカタログから選択し、ファインチューニングし、デプロイが可能。 また、Windowsマシン上でもLlama 2が実行できるように最適化される予定です。 これらにより開発者は独自の生成的AIをMicrosoft AzureやWindows上で開発し、アプリケーションに組み込めるようになります。 マイクロソフト

米Qualcommは7月19日（現地時間）、米Metaが前日発表した「Llama 2」をSnapdragon搭載スマートフォン、PC、VR／ARヘッドセットで実行できるようにすることでMetaと提携したと発表した。2024年以降に実現する計画だ。 Llama 2は、Metaが開発した大規模言語モデル（LLM）で、自然言語処理、会話生成、翻訳などのタスクに使用される。Llama 2が端末上で実行できるようになれば、Llama 2採用アプリの開発者は、クラウドコストを節約できるだけでなく、プライバシーを保護しつつパーソナライズされたユーザー体験を提供できるようになる。 開発者は同日から、「Qualcomm AI Stack」を使用して端末上AI向けにアプリの最適化を開始できる。Qualcomm AI Stackは、SnapdragonでAIをより効率的に処理できるようにする専用ツールセットで、

米Metaは7月18日（現地時間）、大規模言語モデル「Llama 2」を発表した。利用は無料で商用利用も可能としている。最大サイズの700億パラメーターモデルは「ChatGPT（の3月1日版）と互角」（同社）という。 ダウンロードには、Metaが用意するフォームから名前とメールアドレス、国、組織名を入れ、利用規約に同意した旨を送信する。Metaが受理すると専用URLが送られてくるため、同社がGitHubで公開しているダウンロード用のスクリプトと合わせるとLlama 2の各モデルをダウンロードできるようになる。 モデルサイズは70億、130億、700億パラメーターの3種類があり、それぞれベースモデルとチャット向けに追加学習（ファインチューニング）したモデルを用意する。いずれも4096トークン（おおよそ単語数の意）まで文脈を読める。 性能は、Llama-2-70b-chat（700億のチャット

Discover amazing ML apps made by the community

The open source AI model you can fine-tune, distill and deploy anywhere. Our latest models are available in 8B, 70B, and 405B variants.

『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day

三井住友海上火災保険は7月14日、日本マイクロソフトが提供する生成AIチャット利用環境を、5月17日から全社員で使い始めたと発表した。OpenAIのGPT-4／3.5など大規模言語モデル（LLM）をMicrosoftのクラウドで利用できる「Azure OpenAI Service」を活用した。 自社専用の安全なAIチャットツール「MS-Assistant」を構築。社員の情報検索や質問、文章作成・校正、要約、翻訳、ブレインストーミングなどを対話でサポートする。 地域や部門ごとの利用ログをデータサイエンティストが分析し、業務プロセスの改善につなげていくという。 今後は、自社のマニュアルや約款にに応答できる機能の拡充や、当保険代理店への提供を計画している他、社員向け活用支援ポータルサイトの整備や活用アイデアコンテストを開くなど、活用を広げていく。 関連記事 「自社版ChatGPT」をグループ全社

CM3leon is the first multimodal model trained with a recipe adapted from text-only language models, including a large-scale retrieval-augmented pre-training stage and a second multitask supervised fine-tuning (SFT) stage. This recipe is simple, produces a strong model, and also shows that tokenizer-based transformers can be trained as efficiently as existing generative diffusion-based models. CM3l

FacebookやInstagramといったSNSを開発するMetaの人工知能(AI)研究所であるMeta AIが、テキストから画像を生成したり、画像からテキストを生成したりすることができる単一のAIモデル「CM3leon(カメレオン)」を発表しました。 Introducing CM3leon, a more efficient, state-of-the-art generative model for text and images https://ai.meta.com/blog/generative-ai-text-images-cm3leon/ Introducing CM3leon, a first-of-its-kind multimodal model that achieves state-of-the-art performance for text-to-image

Jul 18, 2023 | Yusuf Mehdi, Corporate Vice President & Consumer Chief Marketing Officer, and Jared Spataro, CVP Modern Work & Business Applications Updated November 15, 2023: To simplify the user experience and make Copilot more accessible to everyone, Bing Chat and Bing Chat Enterprise will now simply become Microsoft Copilot. For more information: https://aka.ms/BingIgnite At Microsoft, we are w

Adobeなどに所属する研究者らが発表した論文「VideoDoodles: Hand-Drawn Animations on Videos with Scene-Aware Canvases」は、専門知識がなくても映像内のオブジェクトにアニメーションスケッチ（動く落書き）を追加できる手法を提案した研究報告である。描いた動く落書きは、オブジェクトが動くと追従して動き、正しい遠近感とオクルージョン（オブジェクトによって隠れる現象）を回避して表現される。 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容 ビデオコンテンツと動く落書きを組み合わせると、ユニークで印象的な動画を作成することができる。ただし、このタスクでは、描かれたスケッチが映像内のオブジェクトの動きと調和しなければならない。 たとえば、路面電車の動画にいくつかの動く落書きを追加する場

ChatGPTの登場以来、国内外の多数の企業が企業向けのLLM開発支援に手を挙げている。ディープラーニングの第一人者でもある東京大学　松尾 豊氏の研究室から生まれたAI系のスタートアップ企業であるELYZAも、企業が独自の大規模言語モデル（以下、LLM）を構築するための支援プログラム「独自LLM開発支援プログラム」の提供を開始する。 企業独自のLLM開発のコストを1ケタ安く 独自LLM開発支援プログラムは、事前学習（Pre-Training）のプロセスを効率化しつつ、精度向上のカギを握る事後学習（Post-Training）については専用の基盤を構築して企業ごとのチューニングと運用を効率化するものだ。学習データの継続的な整備やフィードバック学習の運用も支援する。 ELYZAは、Pre-Trainingを効率化することで、独自のLLM開発にかかる費用を1ケタ安く提供できるとしている。

企業のDX（デジタルトランスフォーメーション）の推進と内製化を支援するSTANDARDは7月18日、生成AIに関する基礎知識を紹介する「生成AIリテラシー学習動画」を無償公開することを発表した。 STANDARDが生成AIに関する動画を無償で公開する 同社によると、この動画は「ChatGPTなどの生成AIをいつでも一緒に働いてくれる助手として使いこなそう」をコンセプトとして制作したという。生成AIと人間の決定的な違いである、労働時間への配慮が不要な点や、AIに指示を出す際に目的や目標を明示して明確で具体的な指示を出す必要がある点などを紹介する内容だ。 動画のメニューは生成AIの基礎知識を紹介する目的で決定し、「イントロダクション」「ChatGPTなどのLLM登場による新たな社会変革」「何がすごいのか」「身近にあるさまざまな利用シーン」「ChatGPTとより良い会話を行うためのポイント」「C

［速報］マイクロソフト、Bing Chatで手書きの画像からHTML/CSSを生成可能に、冷蔵庫の中身から料理のアイデアも、新機能ビジュアルサーチ。Inspire 2023 マイクロソフトは、日本時間7月19日未明から開催中のパートナー向け年次イベント「Microsoft Inspire 2023」において、AIチャットサービス「Bing Chat」に、画像を基に質問ができる「ビジュアルサーチ」機能（Visual Search in Bing Chat）を追加したことを明らかにしました。 ビジュアルサーチの機能はOpenAIのGPT-4モデルを活用したものだと説明されています。 下記はBing Chatのビジュアルサーチのデモ動画として、手書きのWebフォームの画像からHTML/CSSを生成させる様子を紹介したものです。 手書きのWebフォーム画像からHTML/CSSを生成 Bing Ch

［速報］ChatGPTを組み込んだ「Microsoft 365 Copilot」は月額30ドルの追加料金で提供。マイクロソフトが発表。Inspire 2023 マイクロソフトは、日本時間7月19日未明から開催中のパートナー向け年次イベント「Microsoft Inspire 2023」において、Microsoft 365にChatGPTベースのAI機能を組み込んだ「Microsoft 365 Copilot」を1ユーザー当たり月額30ドルの追加料金で提供することを発表しました。 2023年3月に行われたMicrosoft 365 Copilot発表時の様子。左はModern Work & Business Applications担当CVP Jared Spataro氏 Microsoft 365に自動生成機能などを追加 Microsoft 365 Copilotは、Outlookによる過

［速報］マイクロソフト、企業向け「Bing Chat Enterprise」プレビュー開始、個人ユーザーも月額5ドルで利用可能。Inspire 2023 マイクロソフトは、日本時間7月19日未明から開催中のパートナー向け年次イベント「Microsoft Inspire 2023」において、AIチャットサービス「Bing Chat」の企業向けとなる「Bing Chat Enterprise」プレビュー版の提供開始を発表しました。 Bing Chat Enterpriseは、従来のBing Chatと同様に自然言語での質問に対してAIがテキストやグラフ、チャート、画像などで回答してくれるサービスです。 ただしBing Chat Enterpriseでは、入力されたデータやAIによる回答は保護され組織外に出ないことが約束されます。 また、これらのデータは保存されることもなく、マイクロソフト自身も

まず、英語版のバードに行きます。 画像をアップロードしてほしい情報を入力すると教えていただけます。 生年月日について聞いてみました "平成元年3月31日生"と正しく認識できてます フォーマットも指定可能です 有効期限も聞きました "2025年3月31日まで有効"と正しく認識できてます 4桁の番号を教えて 何キロカロリーありますか？ まとめ 言われたことしかできない人は、仕事がAIに取られるかもしれません。 信じるか信じないかはあなた次第です 引用 Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you ca

使用したNegative Promptは、「1.無し」、「2.ほぼ最小限」、「3.筆者標準」、「4.embeddingsを使う」の4つパターン。 4番目だけ他と違い別途ファイルが必要となり、ダウンロードしたファイルを[Stable Diffusionのホームディレクトリ]/embeddingsへコピーする。Negative PromptでEasyNegativeなどをよく見かけるがそれだ。ここではng_deepnegative_v1_75tとbadhandv4が該当する。Promptで書く替わりに、特別に学習したModelで同じ効果を得られるようになっている。 無し (worst quality:2),illustration, 3d, painting, cartoons, sketch, illustration, 3d, sepia, (painting), cartoons, sk

国連安全保障理事会は１８日、安保理として初めて人工知能（ＡＩ）を議題に公開会合を開いた。ＡＩの発展がもたらす恩恵に多くの理事国が期待を示した一方、軍事利用に関しては意見の隔たりが大きかった。【EPA時事】

人工知能（AI）の進化がもたらす人類滅亡の危機がメディアを騒がせる中、米連邦取引委員会（FTC）は、同分野の企業の安全性におけるレースの審判員になろうとしている。 FTCは先日、ChatGPTの開発元のOpenAIに20ページにおよぶ書簡を送り、AIの「安全性の課題」に関する記録の提出を要請した。彼らが特に関心を示しているのは、個人の評判や個人情報に対するリスクだ。 OpenAIのGPT-4のような大規模言語モデル（LLM）は、「幻覚（ハルシネーション）」と呼ばれるつくり話をでっち上げる傾向がある。FTCは、消費者保護の試みの一環として、OpenAIが個人への「風評被害」につながりかねない幻覚を、軽減または防止するために何をしているかを調査している。 FTCのリナ・カーン委員長は5月にAI分野の競争を公正なものにすると同時に「これらのツールを使用する詐欺師だけでなく、それを提供する企業にも

米国の作家の経済的地位向上を目的とするAuthors Guild（全米作家協会）は7月18日（現地時間）、米OpenAIなどの生成AIに取り組む企業のCEOに対し、AIのトレーニングに作家の作品を無断で使わないよう求める書簡を公開した。本稿執筆現在、8500人以上が署名している。 宛先は、以下の企業のCEOだ。 OpenAIのサム・アルトマンCEO AlphabetおよびGoogleのスンダー・ピチャイCEO Metaのマーク・ザッカーバーグCEO Stability AIのエマド・モスタークCEO IBMのアービンド・クリシュナCEO Microsoftのサティア・ナデラCEO 書簡には、「大規模言語モデル（LLM）で構築される生成AIは、われわれの著作物のおかげで存在する」「これらのテクノロジーは、われわれの言葉、物語、スタイル、アイデアを模倣し、逆流させている。著作権で保護された何百