こんにちは！ エムスリーエンジニアリンググループ AI・機械学習チームの氏家です。 AI・機械学習チームでは多くのMLプロダクトを開発・運用していますが、そのうちのほとんどがgokartという機械学習向けパイプラインライブラリを使って実装されています。 gokartはとてもMLプロダクトの開発に便利な反面、gokartを100%活用する方法が確立、普及しているとはいえません。 そこで、本記事では、実際にエムスリーで活用しているTipsなどを紹介していこうと思います。 これを機にどんどんgokartの知見がネット上に溢れるようになっていければ嬉しいです。 なお、本記事は「gokartで爆速開発！MLOps勉強会」の発表をもとに加筆したものとなります。 www.m3tech.blog 発表資料も公開していますのでそちらもご参照ください。 speakerdeck.com gokart Param

データオーケストレーションとは データオーケストレーションという言葉をご存知でしょうか？日本ではまだ耳慣れない言葉ですが、data orchestrationでgoogle検索すると実に3000万件以上ヒットし、世界的には十分に市民権を得ている言葉です。Databricksではデータオーケストレーションを以下のように説明しています。 データオーケストレーションとは データオーケストレーションとは、複数のストレージからサイロ化したデータを取り出し、組み合わせて整理し、分析に利用できるようにするための自動化されたプロセスです。 このプロセスでは、レガシーシステム、クラウドベースのツール、データレイクといったあらゆるデータセンターが接続されます。データは標準形式に変換されるため、理解しやすく、容易に意思決定に利用できます。 オーケストレーションとは、コンピュータシステム、アプリケーション、および

ChatGPTのヤバいところは、論理処理が必要だと思っていたことが、じつは多数のデータを学習させた確率処理で解決可能だと示したことだと思います。 たとえば、このように正規表現にマッチする文字列を生成するには、特別に専用の論理処理が必要だと思っていました。 前のブログのときには特殊処理が必要だと考えてましたね。 ウソはウソと見抜ける人じゃないとChatGPTを使うのは難しい - きしだのHatena けど、123_45678world.mdはマッチするのにマッチしないと言っているので、そのような誤りが入ることを考えると、どうも確率処理だけでやっているようです。 考えてみると、3層以上のニューラルネットであれば論理素子を再現できるので、ディープラーニングで論理処理を模倣することは可能なんですよね。 バックプロパゲーションでニューラルネットの学習 - きしだのHatena そもそも論理は、多数の

プログラミング関連Q&Aサイトの米Stack Overflowは12月5日（現地時間）、AIチャットボット「ChatGPT」によって生成した回答の投稿を一時的に禁止した。ChatGPTによる回答に間違っているものが多く、「ユーザーにとって実質的に有害」だとしている。 ChatGPTは、OpenAIが開発した実験的なチャットボットで、コンプリートテキストジェネレーター「GPT-3.5」に基づいている。そのデモ版が1日に無料で公開されて以来、人気が高まっている。 Stack Overflowによると、ChatGPTが生成する回答が間違っている可能性が高いにもかかわらず、一見もっともらしく見え、かつ、回答が非常に簡単に生成できることから、投稿前に回答の正しさを確認せずに投稿している人が多数いるという。 数千件にも上るこうした回答の正誤を判断するために「専門知識を持つ誰かが確認しなければならないと

前置き省略。ChatGPT がゲーム作ってくれるならもうプログラムしなくていいじゃん！ヤッター！ ＊以後、Q：入力文　A：AI からの回答です。長いので飛ばし飛ばし読んでください。 セットアップ～移動までQ. Unity で 2D アクションゲームを作りたいと思います。空のプロジェクトをセットアップしましたが、何を配置すれば良いですか？ A. まず、2D キャラクター用のスプライトを配置します。次に、キャラクターを動かすためのスクリプトを作成し、キャラクターにアタッチします。さらに、背景や障害物などのスプライトを配置し、それらを動かすためのスクリプトを作成します。また、ゲームのルールやポイントなどを表示する UI エレメントも配置します。最後に、ゲームのシーンやゲームオーバーやクリアなどの状態を切り替えるためのスクリプトを作成します。 つくりました。素材は全部アセットストアです。Q. プレ

こんにちは！sakasegawaです！ ( https://twitter.com/gyakuse ) 今日は今流行のChatGPTについて紹介します！ ChatGPTとは OpenAIが開発するGPT-3(※)というめちゃくちゃすごい言語モデルをベースとしたチャットアプリです。 色んな質問にすぐ答えてくれます。 この記事ではさまざまな使い方を紹介します。 https://chat.openai.com/ ちなみにGPT-3関連では、noteの以下記事も便利なのでぜひ読んでみてください AIがコミットメッセージ自動生成！神ツール『auto-commit』『commit-autosuggestions』の紹介 ※正確にはGPT-3.5シリーズと呼ばれています ChatGPTの仕組みを考えながらプロンプトを作る手法はこちらに別途まとめています 文章 質問-応答 〜について教えて Wikiped

これなに? Luigiのラッパーライブラリであるgokartについてのまとめ記事です。 開発の動機や、基本的な使い方はM3さんのブログにとても丁寧にまとまっており、基本的な使い方はここを読めばよいやんという話ですが、逆引きリファレンス的にまとめたかったので、記事にしました。 なお、Luigi本体の機能についてはあまり説明しません。 Luigiとは? Spotifyが開発しているPipelineフレームワークのOSSの一種です。Pythonで実装されており、luigi.Taskを継承して requires(): 依存しているTask run(): 実行する処理 output(): 出力先 の３つのメソッドを記述するだけで、簡単にワークフローが作れます。 名前の由来は Also it should be mentioned that Luigi is named after the pipel

ビックデータ分析技術は情報処理技術を学ぶ上で重要となっている。本講義では、データ分析・データマイニングの基礎について学ぶとともに演習を通して実際にデータを分析するプロセスを学ぶ。特に、前期課程の「データマイニング入門」講義のさらに発展的な内容を学習することで、後期課程や大学院におけるデータサイエンス、人工知能、機械学習、自然言語処理などの関連講義の基礎となる知識を習得することを目標とする。

イントロNetflixは、スマホやPCがあれば、どこでもいつでも、映画やドラマを見放題で楽しむことができます。今年はお家時間が増えたことで、Netflixをより満喫している方も多いのではないでしょうか。実際に、2020年1月〜3月に会員が全世界で1600万人ほど増え、合計1億8000万人を超えています。 Netflixをいくつかの数字で見てみると、さらにその凄さに驚かされます。 ・全世界のインターネット通信量(下り)の15%をNetflixが占めており、YouTubeを超える世界一の動画サービス ・時価総額が20兆円超え ・サブスクリプション収入が月々約1500億円 そんな多くのユーザーを有するNetflixの魅力の１つに、推薦システムがあります。Netflixのホーム画面には、今話題の作品やユーザーにパーソナライズ化されたおすすめの作品が並びます。 Googleの検索と違って、Netfl

さくらインターネット、プログラミングと機械学習の学習コンテンツを無償提供 〜コロナウイルスを想定した「新しい生活様式」を見据え「Tellus Trainer」および 「Tellus×TechAcademy 初心者向け Tellus 学習コース」を再提供〜 インターネットインフラサービスを提供するさくらインターネット株式会社（本社：大阪府大阪市、代表取締役社長：田中 邦裕）は、新型コロナウイルスを想定した「新しい生活様式」を見据え、プログラミングと機械学習の基礎が学習できるeラーニング講座を5月22日から無償提供します。 当社は、経済産業省事業として衛星データをクラウド上で分析できる日本発の衛星データプラットフォーム「Tellus」を構築・運用しております。昨年度、Tellusをより多くの方にご活用いただけるよう「Tellus Trainer」「Tellus×TechAcademy 初心者向

前橋工科大学総合デザイン工学科2019年度秋学期、水曜日6時限 (18:00 – 19:30)対象年次 3教室: 413担当教員: 田所淳履修条件:PC (macOS、Windows、Linuxのいずれか) の基本操作について習得していることmacOS、Windows、LinuxのいずれかのOSがインストールされたノートPCを持参してくること 講義ノート オリエンテーションml5.js入門 – 画像のクラス分類ml5.js入門 2 – Webカメラの映像をクラス分類ml5.js入門 3 – 音声をクラス分類ml5.js 実践 – 転移学習1 : 特徴抽出による画像のクラス分けml5.js 実践 – 転移学習2 : 特徴抽出による画像の回帰分析ml5.js 実践 – 転移学習3 : 転移学習を活用してゲームを作るTeachable Machine + ml5.js + p5.jsで機械学習コ

はじめに こんにちは。 機械学習エンジニアの辻です。 本記事はdely Advent Calendar 2018の22日目の記事です。 dely Advent Calendar 2018 - Adventar dely Advent Calendar 2018 - Qiita 昨日は弊社のサーバサイド・エンジニアの山野井が「【Vue.js】算出プロパティの仕組みについて調べてみた」という記事を書きました！ とてもわかり易く解説しているので興味のある方は是非読んでみてください。 tech.dely.jp さて本日は「Lispの車窓から見た人工知能」と題しまして、プログラミング言語Lispから見た人工知能の風景を眺めていきたいと思っています。ぼくはEmacs使いのLisperですが、Lispを書くのは自分用のスクリプトや、Emacs Lispの設定変更といったものだけで、ふだんの機械学習に関す

コーディングをAIが支援してくれる「Visual Studio IntelliCode」がアップデート。既存コードからコーディング規約を推測し、適切な設定ファイルを生成 マイクロソフトが今年5月に発表したVisual Studioの拡張機能「Visual Studio IntelliCode」は、機械学習によってコーディングを支援してくれるというものです。 GitHubなどの公開されているコードによる機械学習を基に、コードの入力や補完における適切なレコメンデーションや、コードレビュー時のアドバイス、問題がありそうな部分の指摘などをしてくれます。 ［速報］AIがコードのレコメンドやバグの指摘など開発を支援してくれる「Visual Studio IntelliCode」発表。Build 2018 － Publickey そのVisual Studio IntelliCodeがアップデートし、既

プログラム問題としてあまりにも有名になってしまったので、今ではあらゆる言語のFizzBuzzがそろっています。面白いですね。 深層学習 で FizzBuzz この記事の読まれている大半の方は、FizzBuzzを書くのにあまり苦労しないでしょう。 しかし、あなたが何かの拍子でプログラムの書き方を忘れてしまったらどうでしょう？ 心配する必要はありません。そういうときこそAIの出番です。 最近は空前の人工知能ブームで、猫も杓子もDeep Learningです。 実際、Deep LearningによるFizzBuzzは、いくつも先例があります。 Fizz Buzz in Tensorflow TensorFlowコトハジメ Fizz-Buzz問題 Kerasでfizzbuzz問題を解いてみる 実装方法にはバリエーションがありますが、基本的には 入力は直前の数値 or 文字列 出力は「数値」「Fiz

［速報］AIがコードのレコメンドやバグの指摘など開発を支援してくれる「Visual Studio IntelliCode」発表。Build 2018 マイクロソフトは、米国シアトルで開催中のイベント「Microsoft Build 2018」で、AIを用いてプログラマの開発を支援する「Visual Studio IntelliCode」を発表しました。 Announcing Visual Studio IntelliCode - Enhancing everyday software development with the power of #AI across the entire development lifecycle. See what’s coming: https://t.co/k5eaYWcfnM #VS2017 #VSIntelliCode pic.twitter.co

という予感がしたので書く。正確に言うと機械学習の成果としての訓練モデルを。 まず事前に前置きしておくと、僕は機械学習をほとんど抑えていない。トレンドだけ追ってる。 大学生の時にニューラルネットワークを実装してみてフ～ンって言ってた程度に知識しかなくて、ディープラーニングが流行る前だから、「バックプロパゲーションってややこしかったけど、今は自動でモデルの最適化いい感じにやってくれるんでしょ？」ぐらいの雑な理解しかない。(この時点で怪しい) で、今はフロントエンドやってて、ここは機械学習は縁遠いように思えるかもしれないだろうけど、最近のGoogleはなんとブラウザで tensorflow を動かすのに情熱を注いでいる。 で、こんなのが Hacker News で流れてきた。 medium.com とりあえず試した。デモをそのままデプロイした。 PoseNet - Camera Feed Dem