機械学習はインフラやフレームワークの技術革新によって、開発者にとって身近なものとなりました。一方で、インフラやフレームワークに対して適切な整備・運用を行う必要があります。数週間・数ヶ月かけて整備した機械学習の環境も、進歩の速い機械学習技術に合わせて、絶えず更新を続けなくてはなりません。 今回ご紹介します 3 つのパートを一通り実施していただくことで、AWS の機械学習サービスである Amazon SageMaker を利用した機械学習の開発・学習・運用に関する知識を、実装レベルで身につけることが可能です。ハンズオンの内容を、現在の機械学習の業務に適用いただくことで、業務の効率化だけでなく、困難な機械学習タスクへの挑戦も可能にします。 Amazon SageMaker は、機械学習のワークフロー全体をカバーするフルマネージド型のサービスです。機械学習の開発者は、機械学習のためのインフラ管理か

機械学習チームの林田(@chie8842)です。好きなスポーツはテニスとスノボです。 システムは、その当時の最新の技術で作ったとしても必ずレガシー化します。 機械学習システムも他システムと同様、一度デプロイしたら終わりではなく、継続的なメンテナンスが必要です。昨今機械学習は、特に技術の進歩が目覚ましいため、レガシー化するのも早い分野といえます。本稿ではレガシー化した機械学習アプリケーションのメンテナンスと、それに伴うGPU環境からCPU環境への移行によって、大幅にシステムの運用コストを削減した例をご紹介します。 機械学習アプリケーションにおけるコスト課題 クックパッドにおける最初の大きな機械学習プロジェクトである料理きろくがリリースされたのは、2年前のことです。それ以来、様々な機械学習アプリケーションがデプロイされ、現在では大小含めて30を超える機械学習アプリケーションが運用されています。

ユーザーローカルは7月24日、入力した文章から重要部分を取り出して要約する「ユーザーローカル自動要約ツール」を公開した。Webサイト上で無償利用できる。 入力フォームにテキストを貼り付けるか、テキストファイルをアップロードすると、文章構造を分析して特徴語（特徴的な言葉を機械的に抽出した単語）や重要文を自動抽出するツール。重要な文章をマーキングやヒートマップ、モノクロ強調で視覚的に捉えられる強調表示にも対応する。 要約文は「3行ダイジェスト」「5行ダイジェスト」「10行ダイジェスト」といった分量調整もできる。 重要文の抽出には、重要単語を多く含み、他の文に類似度が高い文を抽出するアルゴリズム「LexRank」を活用した。 ツールが公開されているWebページには、ニュース配信各社から引用したニュース本文の要約をダイジェストとしてランキング表示している。 同社は「インターネット上には、日々ニュー

[db tech showcase Tokyo 2016] B31: Spark Summit 2016＠SFに参加してきたので最新事例などを紹介しつつデ...

LINEでClovaの開発をしている上村です。これはLINE Advent Calendar 2017の13日目の記事です。今日は文字列の話をします。 はじめに 与えられた文字列によく似たものを大きな文字列集合から探すということは、古典的でありふれていながら奥が深く難しい問題です。文字列の類似度を正確に見積もるには複雑な計算が必要ですが、膨大な量のコーパスが与えられたときも可能な限り高速に応答を返す必要があります。 検索する文字列の性質をよく把握することも、品質のよい類似文字列検索を行うためには極めて大切です。ここで、今回考える問題の例を見てみます。 この例では、1文字ずつ違いを見つけ出したり、単語単位で見たり、文全体が疑問文や否定文であるかどうかを調べ、それらを総合的に見ることで最終的な判断を下しています。文字だけを見た場合、1文字の違いによって全く違う単語になることは見つけられませんし

ディスプレイを一新し、大きな話題となったiPhoneX。そのiPhoneXと同時に発表されたiOS11で、新たに搭載された機能のひとつが「QRコードの読み取り」だった。 手軽に文字情報を読み込めるとして、カメラ付き携帯電話の普及と共に広がったQRコード。登場から20年あまり経った今も、LINEのID交換や電子チケットに活用されるなど身近なものとなっている。iPhoneへの機能追加も、QRコードが海外で決済などに利用されていることを受けてのものだ。 このQRコード、実は開発者が日本の会社員であることをご存じだろうか。 その人物が、デンソーウェーブの原昌宏さん。QRコードはデンソーで開発され、現在はデンソーウェーブの登録商標となっている。今なお広がりをみせるQRコードは、いったいどのように開発されたのか。あの特徴的な白黒のドットにはどんな技術が秘められているのか。「QRコードの生みの親」に話を

PHPConference 2017 ChatWork株式会社 田中佑樹

2017年10月2日 golangを使って開発したWebAPIを1年半運用して改善してきたことー月間20億PVのマンガサービス開発の裏側 はじめに 初めまして、サーバーサイドエンジニアの曽根田です。 0から立ち上げ3年で月間20億PV達成！マンガZEROの開発を牽引するエンジニアチーム での紹介にもあるように、弊社では複数のマンガアプリの開発が並行して進められています。 その中で今回はマンガZEROの成長過程でぶつかり、 乗り越えてきた問題をサーバーサイド視点で紹介していきたいと思います。 乗り越えてきた問題 最初はPHP5.6+Phalconというマイクロフレームワークでプロダクトを運用していました。 マンガZEROメジャーバージョンのアップデートの際に、golangを採用しました。 理由は以下の2点です。 バイナリ一つで動作する(外部依存しない) 軽量でハイパフォーマンス 弊社には積極

西田@大阪です。 クラスメソッド大阪事務所にて、エウレカ様と合同で Go をテーマとした勉強会を 8/18日に開催させていただきました。 ブログ告知 connpass募集ページ Go開発で実際にやった事一通り Goで開発するにあたって、はまったところなどを、Goのインストール 〜 デプロイまで一通りをご紹介させていただきました。 Goroutine Patterns Goの特徴である、Goroutineを使ったパターンを話していただきました。 PHPからGoフルスクラッチの戦後入社組から見た、Pairsの開発について Goフルスクラッチで書かれたPairsの、PHP　からの移行、現在使われているライブラリ、現状の問題などを話していただきました。 まとめ お盆中ということもあり、参加者が集まらないかもと懸念しておりましたが、ほぼ満員となりました。 ご参加頂いた皆様、ありがとうございました。

システム開発ではデータベースを使うことが多いです。開発のはじまった段階でしっかりしたER図を作っている場合、開発が進んでいる中で生じた仕様変更を常にドキュメントに反映していかなければなりません。これは大きなコストです。 そこで使ってみたいのがSchemaSpyです。SchemaSpyは現在のデータベーススキーマを取得してドキュメントを生成してくれるソフトウェアです。 SchemaSpyの使い方 生成された内容です。テーブル一覧。 カラム。 リレーションは分かりやすく可視化されます。 さらに改善すべきポイントなど。 SchemaSpyを使えばER図を作ったりする手間なく、既存のスキーマから必要なドキュメントが生成できるようになります。きちんと設計を行っているならば、実際に動いているものは正確なドキュメントになるでしょう。作る手間もないのでお勧めです。 SchemaSpyはJava製のオープン

皆さんネコがお好きですが、ネコのフンが好きな人はいませんよね。 そこで、NVIDIAのエンジニアであるロバート・ボンド (Robert Bond) は、ディープラーニングとNVIDIAのJetson TX1開発プラットフォームを利用し、ネコを認識すると家のスプリンクラー・システムのスイッチが入る仕組みで、敷地内のネコを優しく追い払っています。 システム・ソフトウェア・エンジニアとしてNVIDIAに8年以上勤め、65歳になるボンドは言います。「ガーデニング好きの妻が、庭をきれいに清潔にしておきたいんだ」 ボンドは、ネコに罠を仕掛けるというアイデアをすぐに却下しました。それでは隣人として友好的とはいえません。そこで、より技術的な解決策を利用しようと決めました。 ボンドは、ディープラーニングやJetsonの素人ではありません。昨年、台所の床を時折小走りするアリに、無害の5ミリワットのレーザ・ビー

マッチングアプリ女「お仕事何してるんですかー？」僕「ドーナツ屋さんで販売してますよ」女「…そうなんですね…」

こんにちは！クックパッド編集室メディア開発グループ長の @yoshiori です。 このまえ夏の技術職インターンシップの前半の開発講義・課題部分が終わったのでさっそく公開しちゃいます！ ちなみにこのインターンの対象者はプログラミングはわかるし自分で（授業とかではなく）コード書いている人なので超初心者向けでは無く、少なくともひとつ以上の言語でプログラミングが出来る人向けです。 一日目 TDD + git 編（@yoshiori） 講義初日なのでまずは簡単に肩慣らし & 開発の基礎の部分として TDD と git で始めました。 git については軽く説明し TDD は基本のテストファーストで進めて行きました。 ちゃんと何かをするたびにテストを実行し、メッセージを見れば次にすることが分かるというのを体験してもらい、GREEN が良くて RED が悪いのではなく、GREEN を想定しているのに

Malwarebytes は、驚くべき成長を見せています。1年以上前にこのシリコンバレーの会社に入社して以来、私の主な仕事は急成長するセキュリティ企業の力となるシステムの設計と開発です。日々数百万人が利用する製品をサポートするために必要な、全ての基盤をつくります。私は12年以上、アンチウイルスとアンチマルウェアに関わるいくつかの会社で働いてきました。毎日処理する膨大なデータのせいで、これらのシステムがどれだけ複雑なものになるかを理解しています。 面白いことに、ここ9年ほどで私が携わったWebのバックエンド開発のほとんどは、Ruby on Railsが使われていました。誤解されないように言っておきますが、私はRuby on Railsが大好きですし、すばらしい環境だと思っています。しかし、Rubyでシステムを設計し始めると忘れてしまうのは、マルチスレッド化や並列化、高速化、メモリオーバーヘッ

ピクシブ社内広告サーバーでのGoの開発・運用

There seems to be a lack of documentation and tutorials around debugging golang using gdb. Here is a short tutorial to get people started. Here is our golang example project. - gdbtest/ - main.go Inside main.go we have package main import "fmt" type MyStruct struct { x string i int f float64 m map[string] int64 } func main() { x := "abc" i := 3 fmt.Println(i) fmt.Println(x) ms := &MyStruct{ x: "cb

キャリアを充実させる『カギ』に！PR TIMES CTO金子達哉から学ぶアウトプット術 / output_method

目指すは世界市場! 英語版アプリ開発のために、UIやメッセージでよく使われる英単語や構文パターン、さらに英語ライティングの基本やメッセージの書き方、I18N/L10Nの基本から翻訳業者への依頼まで、幅広く紹介。 サポートサイト著者によるサポートページが公開されています。 翻訳者 西野竜太郎 Webサイト 内容紹介最近スマートフォン用やWeb 用のマーケットが登場したことで、アプリケーションを海外に展開しやすくなりました。パソコンに加えてスマートフォンやタブレットといった新しい機器や、有線および無線の高速ネットワークが世界的に普及しつつあることを考えると、アプリケーションに対する需要は今後さらに拡大するものと思われます。海外は日本の開発者にとって魅力のある市場です。しかし海外展開には外国語での開発が必要となります。特に英語は世界共通語と位置付けられている面があるため、まず対応を考えるべき言語