Amazon DevOps Guruが新機能、機械学習によるログの異常（アノマリー）検知と推奨される解決策の提示 Amazon Web Services（AWS）は、機械学習によってアプリケーションの異常動作などを検出、改善するためのサービス「Amazon DevOps Guru」の新機能として、アプリケーションログの異常値検知（Log Anomaly Detection）と、その際に推奨される解決策の提示（Recommendations）が可能になったことを発表しました。 異常値検知では、ログの中にキーワード、数値、HTTPステータスコード、データフォーマットなどの異常値が現れると、それらを検出。Amazon DevOps GuruのダッシュボードにログのサンプルとCloudWatch Logsへのディープリンクが表示されます。 これにより、異常を起こした原因を特定するとともに、推奨され

こんにちは、Wantedlyでデータサイエンティストをしている樋口です! 先日会社で買ってもらったデータビジュアライゼーションの基礎を読みました。データ可視化について網羅的にわかりやすく書かれており参考になったため、記事にまとめてみました。書籍の英語版は無料で公開されているため、よければこちらも参考にしてみてください。 データビジュアライゼーションの知識を学ぶことで、科学的に誤った表現をせずに、芸術的に美しい表現ができ、明確で明瞭かつ魅力的にデータから得られる示唆を伝えることができる様になります。📊 本記事では、特定のライブラリや描画手段によらないデータ可視化の基礎について紹介します。 分量が多くなってしまったので、本記事ではデータビジュアライゼーションの”グラフ"にのみ着目しています。グラフ以外の構成要素(色、タイトル、テキスト、etc.)については別途記事にしたいと思います。 本記事

仕事や学業で人工知能（AI）の知識が必要なことが増えてきた。AIを支える中心的な技術が機械学習だ。本特集では、AIの歴史と全体像から基本的な機械学習アルゴリズムのPython実装までを幅広く解説する。 機械学習のアルゴリズムは難しい…という印象をもたれがちですが、基本的なアルゴリズムは比較的シンプルなので、それほど難しくありません。 そこでこのPart 3では、scikit-learnなどのAIライブラリを使わずに、Pythonで線形回帰とk平均法を実現する方法を説明します。これらのアルゴリズムの実装方法はいくつかありますが、ここでは基本的な仕組みがよくわかるように、簡易的な方法で実装することにします。 線形回帰を実装してみよう 線形回帰の中でも最もシンプルな「単回帰」を実装してみます。 単回帰では、最小二乗法を使って、散布図の各データからの距離の2乗の総和を最小にする直線の式を求めます（

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

はじめに ひょんなことから、"Orange3"というGUIベースの機械学習用ソフトウェアの存在を知った。どうやら、Scikit LearnとScipyでできることは大体できる、というソフトウェアらしい。簡単に触ってみたところ、「コーディングはしたことがないけれど、機械学習のプロセスを学びたい」という人にはちょうど良さそうだった。せっかくなので、Orange3上での操作と、それに該当するPythonのコードを併記することにした。これを一緒にみれば、機械学習のプロセスとコーディングを同時に学べるのでは？という目論みである。 この記事で対象とする人 ・コーディングしたことはないけれど、機械学習の勉強をしたい人 ・↑のような初心者用の教材を探している人 ・管理職やマネージャーなんかで、現場からは距離があるし今さらコーディングを勉強するのは無駄では？しかし部下の評価をしなければ、、、という人 使用す

Orangeは、スロベニアのリュブリャナ大学を中心に1996年から開発されているオープンソースのデータ視覚化、機械学習、データマイニング用ツールキットです。この記事では、pipコマンドで仮想環境を作成してorange3をインストールし、動かすまでの作業例について記述します。 動作確認環境 windows 10, Microsoft C++ Build Tools 2019 https://visualstudio.microsoft.com/visual-cpp-build-tools/ python 3.9.5, orange-canvas-core 0.1.21, orange-widget-base 4.13.1 (※ 動作確認時、orangedatamining.com からダウンロード可能な Standalone installer のバージョンは Orange3-3.29.3)

Creative expression is central to human connection, and using artificial intelligence (AI) to augment human creativity is a powerful use of technology — whether it’s by generating expressive avatars, animating children's drawings, creating new virtual worlds in the metaverse, or producing stunning digital artwork using just text descriptions. It’s not enough for an AI system to just generate conte

こんにちは！ nakamura（@naka957）です。 今回はクラスタリングをご説明します。クラスタリングは教師なし学習に代表される手法の1つで、正解情報なしでデータ間の類似性を推定し、グループ化する手法です。DATA Campusでは、これまでに教師なし学習の概要とその手法の1つの主成分分析について解説しています。そちらも是非参考にしてみてください。 ■機械学習における教師なし学習の理解を深める ■教師なし学習の実践 主成分分析で高次元データを可視化する 本記事では、最初にクラスタリングの概念と主要な手法であるk-means法について説明します。次に、実装例の紹介に加え、同じ教師なし学習である主成分分析と組み合わせることで、クラスタリングをより有効に機能する例も紹介します。k-means法は単純なアルゴリズムで、様々な場面で簡単に適用できる手法です。是非、この機会にマスターしてみてくだ

DICOMO2022 6A 統一セッション：クラウド 招待講演 https://tsys.jp/dicomo/2022/program/program_abst.html#6A-1 情報サービスの利用者に必要な機能を頻繁に加え続けながらも、いかに必要十分な信頼性を継続させるかが従前より課題となっている。この課題に対するひとつの回答とも言える、Googleが提唱した情報サービスの新しい運用形態であるSite Reliability Engineering（SRE）の普及が進んでいます。本発表では、SREの中核概念を整理した上で、AI時代に向けて、AIとの対話を軸にした未来の運用のあり方を構想します。

米マイクロソフトは顔から感情や性別を推測するAIの一般公開を見合わせる。同社がこのほど改定した「責任あるAI基準」にそって決断、ただちに行動した。企業経営者とIT専門家にとり「責任あるAI」を正しく学ぶことが急務だ。 米マイクロソフトは2022年6月21日、人の顔を認識して感情や性別を推測するAIサービスの一般公開を見合わせると発表した。Azure Faceと呼ばれるサービスで「画像に含まれている人の顔の検出、認識、分析するAIアルゴリズムを提供」してきたが、このうち笑顔、性別、年齢などを推測する機能は今後一般公開しない。Faceの既存の利用者に対しても1年後の2023年6月30日をもって非公開にする。 注意すべきは事前の利用申請がいらない一般公開を見合わせるものの、顔認識に基づく推測技術の開発や実用化は続けることだ。同社のサイトを見ると「責任あるAIの原則をサポートするためにFaceサー

総務省は2022年7月12日、「社会人のためのデータサイエンス演習」を同年10月4日にリニューアル開講すると発表した。この講座はデータサイエンス力の高い人材育成を目的としたオンライン講座。 すでに受講者を募集している。開講期間は、2022年10月4日～2022年12月13日の予定。学習時間は1回当たり10分程度で、1週間当たり5～7回受講することで約5週間で修了することを想定している。Webページから受講登録が必要だが、登録料や受講料は無料だ。 「データサイエンス」「予測と分析」「ビジネスでの利用」を更新 各週のテーマは以下の通り。 関連記事 Diabetes Dataset：糖尿病（年齢／血圧／血糖値などの10項目）の表形式データセット データセット「Diabetes」について説明。442件の糖尿病の「表形式データ（年齢／血圧／血糖値などの10項目）」＋「ラベル（1年後の糖尿病進行度）」

5000社を超す企業が活用しているロゼッタの自動翻訳 AI翻訳のデータセンターを運営するロゼッタ社が、NVIDIA AI Days 2022 Springにおいて同社のデータセンターの裏側を説明する発表を行った。少し長いのであるが、このような内幕の発表は稀であり、興味深いので詳しく紹介して行きたい。 なお、ロゼッタ社と、ソースネクスト社が販売する語学学習プログラムのロゼッタストーンとは名前は似ているが、無関係である。 ロゼッタ社は高性能のAI自動翻訳の開発、サービス提供、運営を行う会社で、5000社以上の会社にAI翻訳サービスを提供している。一般的なAI翻訳はポケットに入るデバイスが発売されたりしているが、業務に使おうとすると、なかなかうまく行かない。一般の会話ではあまり使われないが、ある仕事の範囲では良く出てくる単語や言い回しに対応した翻訳ができないと、そこでつかえてしまって効率が上がら

Facebookの親会社であるMetaが、インターネット上に存在する膨大な情報を利用して、AIやその他のシステムが機能するためのナレッジベースを提供するためのAIツール「Sphere」を発表しました。 Introducing Sphere: Meta AI’s web-scale corpus for better knowledge-intensive NLP https://ai.facebook.com/blog/introducing-sphere-meta-ais-web-scale-corpus-for-better-knowledge-intensive-nlp/ How AI could help make Wikipedia entries more accurate https://tech.fb.com/artificial-intelligence/2022/07/