はてなブックマーク

この記事の目的 DeepLearning 全盛期のこの時代、サーバーも python で書くということも多いのではないでしょうか。 この記事では python を使っていい感じの Rest API サーバーを作れるようになることを目的とします。 Rest API サーバー Rest API サーバーの指針 個人的には以下の記事が rest の設計において大変わかりやすく、そして実用的だったのでおすすめです。 翻訳: WebAPI 設計のベストプラクティス さて、上記の記事の中にも「かっこいい仕様書を作ろう」という項目があります。 API の価値はそのドキュメントの良さが表すと言っても過言ではありません。ドキュメントは誰もが簡単に閲覧できるようにしておく必要があります。ほとんどの開発者は、API の利用を検討する際にまずはドキュメントをチェックしますが、それが PDF だったり、閲覧に何かし

スクラムと KPT こんにちは新規事業でスクラムマスターをやっている halhorn です。 私のチームではスクラムの振り返りに KPT を使っています。 KPT は Keep Problem Try の略称で、良いことや問題点、改善方法を洗い出してチームをより良くする手法です。 Keep: 続けたいこと。良いこと。 Problem: 問題点。改善すべきこと。 Try: これからやりたいこと。 Problem があれば、対になる Try を書いた人が考えたり、チームで考えたりします。 これを定期的に行うことで、継続的にチームの良い部分をみんなで認め文化を定着させ、悪いところを改善していくことができます。 私のチームでは、この KPT にスプレッドシートを使っています。 KPT に付箋や Trello、その他ツールではなくスプレッドシートを使う理由としては以下の点があります。 Problem

tensorflow 2.0 の紹介（日本語訳） でも書いたとおり、 tensorflow 2.0 からはより Pythonic な、つまり keras ライクなモデルの作り方が主流になっていくようです。 この記事では tf.keras でのレイヤー・モデルの作り方、その中での weight の宣言のしかたとその罠を紹介します。 先にまとめ layer/model を使うと weight の一覧をオブジェクト指向的に取れて良い。 weight (variable) を直接使うものは Layer で実装 ただし内部に他の layer など重みを持ちうるものは持たないほうがいい layer を使って Model を作る Model は別の Model を含むこともできる 内部に持つ layer, model は必ず self. に入れておくこと Layer と Model tf.keras で

こんにちは。 mixi AI ロボットチーム の開発マネージャーをしているインコです。 この記事は Engineering Manager Advent Calendar 2018 の18日目の記事です。 この記事では褒める組織を作った話をします。 私の環境 環境が違えばマネジメントの方針も変わります。 ここでは私の環境を書きます。 mixi という Web 企業の、研究開発からハードウェアまで関わる新規事業 まだ製品は出ていないフェーズ 私 開発チームのマネージャ 企画やデザインを含む事業全体のスクラムマスター（上記と兼ねている時点で良い SM ではない！） 実装・研究とマネジメントそれぞれ半々 スクラム開発 上司から大きめの裁量をもらっている 機械学習の研究寄り人材からハードウェアエンジニアまで多様なメンバー 問題：研究からハードまで扱うチームの情報共有 多様なメンバー さて、環境にも

こんにちは。ミクシィ AI ロボット事業部でしゃべるロボットを作っているインコです。 この記事は ミクシィグループ Advent Calendar 2018 の5日目の記事です。 この記事の目的 この記事では2018年現在 DeepLearning における自然言語処理のデファクトスタンダードとなりつつある Transformer を作ることで、 Attention ベースのネットワークを理解することを目的とします。 機械翻訳などの Transformer, 自然言語理解の BERT やその他多くの現在 SoTA となっている自然言語処理のモデルは Attention ベースのモデルです。 Attention を理解することが今後の自然言語処理 x Deep Learning の必須になってくるのではないでしょうか。 この記事にかかれているコード (Github) 歴史 - RNN から

Define-by-run である Eager Execution がデフォルトとなり、 API も大きく変わりそうな tensorflow 2.0。 紹介の動画が詳しくそれらを説明してくれているので 英語のリスニング練習のために 大まかな内容を日本語に書き起こしました。 スクリーンショットはすべて上記動画のもので文章は基本的にはそれらの要点を引用し訳したものとなります。 訳は意訳で、細かい部分は書いていません。 動画の意図と異なる部分などありましたらご連絡ください。 最初に （このセクションは動画の翻訳ではありません） この動画では eager execution (eager-mode) の話が沢山出てきます。 eager execution を理解するには Define-and-run と Define-by-run の違いを理解しておく必要があります。 Define-and-run

これによって DialogueIntent は utterance つまり任意の発話がただやってくるんだな・・やってきたのは全部 utterance に突っ込めば良いんだなと学習してくれます。 本来は OshieteIntent {target}について教えて とか言うふうに書いておくと「インコについて教えて」と聞くと OshieteIntent が発火する、のような仕組みを作るためのものです。 設定 サービスエンドポイントのタイプ： AWS Lambda を使うのが楽なのでそのようにしましょう デフォルト： Lambda の arn を入れます。まだ Lambda を作っていないのでいれられません！ この先は Lambda を作るまでは進むことができないので、一旦ここでスキルの各種設定は中断します。 画面の上の方にうっすらスキルの ID が表示されます。これをどこかにコピーしておきましょ

こんにちは。 DeepLearning で対話ロボットを作ろうとしているインコです。 この記事は mixi Advent Calendar 2017 の 12/03 の記事です。 概要 近年対話モデルとして DeepLearning を用いた End to End のアプローチが盛んに行われています。 この記事ではこれらに用いられるモデルとして一問一答に使われる Seq2Seq から出発して、複数発話コンテキストを扱いベイズ的なアプローチを組み込んだ VHRED を理解することをゴールとします。 会話モデルのもろもろ Seq2Seq https://arxiv.org/pdf/1506.05869.pdf DeepLearning で対話！と言ったときにまず出てくる基本的なモデルが Sequence to Sequence こと Seq2Seq です。 これは発話・応答のシーケンスのペアを

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

このドキュメントは 「スクラムを始めるぞ！」というチームに対し スクラムとは 何のためで どんな役割があり 何をやるのか をスクラムマスターがざっくり説明するための資料 参考にすべき書籍 スクラムガイド(2016年版) たった17ページ。無料。 スクラムの大元 エッセンシャルスクラム 過去のスクラムの経験や例を元に、実践的なプラクティスの紹介 スクラムは何のためのものか 向いている対象 物事を予期できない ユーザーに出してみるまで何がウケるか分からない、等 検証が可能 数値を計測する等の方法によりそれが良かったのか悪かったのか検証可能 思想 設計段階から全てを見通すのは無理 少しずつ作って、検証と適応を繰り返す スクラムの核心 透明性 今何が起きているかチームの皆が知れる 検査 作ったもの・作り方を評価する 適応 検査に従ってより良いやり方を探索する スクラムの3つの役割 プロダクトオーナ

SentencePiece とは 日本語のようなスペースで単語が区切られていない言語にも対応したトークナイザー。 文章を単語のようなトークンに分割してくれる。 動かしてみた 追記：作者の taku910 さんからのコメントにもありますが、この実験で設定した語彙数256000は大きすぎるそうです。コメント部分に適切な語彙数での実験結果もありますので合わせて御覧ください。 過去に集めた1000万ほどの Twitter のつぶやきで学習。（ただし、当初集めた目的の関係で短い文章ばかりです。） vocab_size: 256000 model_type: unigram echo "私たちの考えや感情は心の中にあって、それは心の中の言葉を使って表されることも多いけれども、本来言葉・音・視覚その他の 五感のどれでも無い、なにかもやもやとしたかたまりだとおもう。言葉はその表現でしかない。 " | sp

これはただの妄想とアイディアです。考えがまとまりきらないうちから書いてます。 私は会話系の AI の専門家ではないので、「そんなの常識だよ」だったらすみません。 現状の音声対話 AI の辛さ 最近、ロボホンを使ってみたり、 某社の雑談ロボットのデモを見たりで、音声を使ったロボットとの対話や雑談を体験して、以下の部分が辛いなぁと感じました。 発話のタイミングの重要さ 現在の技術では音声認識が間に合わず間が持たない 対話はタイミングとノリがとても重要 相手が話しているところに割り込むととても印象が悪い 声のトーンや速度の問題 話者と話す速度が合っていないと会話はとてもストレスを感じる つまり、音声の会話においては、会話の内容も大事ですがそれ以上にタイミングやノリのようなものが合っていないととてもつらいということです。 音声会話に必要なことの階層的構造 会話には階層構造があるのではないか 会話の

mizti さんの AWS Step FunctionsとLambdaでディープラーニングの訓練を全自動化する を自分の求めるものに従って微修正したものです。 背景 AWS の高性能 GPU マシン、 p2 インスタンスで DeepLearning (TensorFlow) の学習を回したい でも p2 は高い！！ スポットインスタンスを使うと安い！ しかしスポットインスタンスは実行中に入札額によって強制シャットダウンされる 学習中データを定期的に S3 にアップロードしたい スポットインスタンスを立ち上げて学習開始するのを自動化したい 学習完了時に勝手にインスタンスをシャットダウンしたい 仕様 学習開始の Slack 通知 データ格納先の S3 のチェック bucket は存在するか？ 既に学習結果格納ディレクトリが無いか？（上書きしないようチェック） スポットインスタンスへの入札と、結

概要 シーケンス（例えば文章）のペアを関連付けて学習させる DeepLearning の手法 sequence-to-sequence learning において、長いシーケンスでの学習の精度を上げると言われている Attention Mechanism の論文を読んだので備忘録を兼ねて概要を書いておきます。 元論文: Neural Machine Translation By Jointly Learning To Align And Translate そもそも seq2seq とは シーケンスのペアを大量に学習させることで、片方のシーケンスからもう一方を生成するモデルです。 元論文： Sequence to Sequence Learning with Neural Networks tensorflow 上にも実装があります。 実用例としては以下のようなものがあります。 翻訳: 英

DeepDream Googleの研究者が、画像認識に使われる人工神経ネットワークが見た『夢』と称する画像を公開しました。 画像を入力すると、その画像を解釈し、画像として出力し、さらにそれを解釈し、という伝言ゲームを繰り返すことでとんでもない「夢」を見るニューラルネット。 大変面白そうなので自分のMac で試してみました。 ボルダリングの壁から次々と犬が生えてきます。 そんな DeepDream を動かすまでの流れをメモしました。 環境によってハマりどころは違うとは思いますが DeepDream を動かしたい人の参考になれば幸いです。 追記：Deep Dream のアルゴリズムについて自分なりに解釈したもの を SlideShare に Upload しました。 対象読者 コマンドラインはとりあえず使える とりあえず自分の環境で DeepDream を使ってみたい。いじってみたい。 CUD

この記事のゴール 以下の環境で GitHub へのプルリクエスト・プッシュ時にユニットテストが走る環境を構築することを目指します。 GitHub は公開リポジトリ Swift CocoaPods 使用 全体の流れ Travis CI に登録 XCode のプロジェクトの修正 .travis.yml の作成 以下その手順です。 Travis CI に登録 Travis CI に登録をします。 Travis CI のプロフィールページに行き、 CI したいリポジトリを ON にします。 プロジェクトの修正 出展：Building an Objective-C Project Travis CI を使うために XCode でプロジェクトに以下の修正をする必要があります。 テスト対象のプロジェクトを Shared にする 依存モジュールを明示的にビルドするようにする 以下手順 メニューから Pro