この記事はGoogle Cloud Platform その１ Advent Calendar 2018 - 18日目の記事です。 以前こういうブコメをしたのですが、言いっ放しだとダサいので、具体的なやり方を書きます。 "アカウントごと/日付ごとのBigQueryコストを可視化できるダッシュボード" なら Stackdriver + BQ + Datastudio を使うと作業時間10分・ほぼ無料で作れるので、うちはそのやり方を採用していますね。… https://t.co/9yoni22iw7— ゆずたそ (@yuzutas0) August 17, 2018 もくじ もくじ はじめに この記事のゴール 解決したい課題 課題の背景 実行方針 完成イメージ 作業手順 1: BQクエリ実行ログを流す 2: DataStudioでダッシュボードに表示する 応用編 1: 全体コストを可視化する 2

※ Retty Advent Calendar 15日目の記事です おしながき はじめに ベンチャー企業とデータ活用 完璧さよりも早さを重視する Rettyにおける現状 DWHの開発で大切にしていること プロダクトとしてのUXを大事に プロダクトとしての変化を大事に 開発者として横断的な動きを大事に RettyにおけるDWHの開発プラクティス BigQueryを中心としたデータ基盤 アウトプットを最大化するためのダッシュボードツール スプレッドシートによるお手軽ダッシュボード データポータル (Datastudio) データソースのUX/DX データソースの集約化 As-is ではなく As-was 分析者も巻きこみDWHの品質改善を行っていく 技術スタックはSQLを中心とする 仮想テーブル (View) <-> 実テーブル による スキーマのPoC SQLによるView/データソースのユ

This domain may be for sale!

IT Leaders トップ ＞ テクノロジー一覧 ＞ AI ＞ イベントレポート ＞ “AIの民主化”を促すグーグルのML/DLサービス群と、それを支える最先端データセンター AI AI記事一覧へ [イベントレポート] “AIの民主化”を促すグーグルのML/DLサービス群と、それを支える最先端データセンター クラウド&データセンターコンファレンス2018 Summer 特別講演レポート 2018年9月18日(火)柏木 恵子 リスト グーグルにとってマシンラーニング（機械学習）やディープラーニング（深層学習）はもはや前提の技術だという。同社は「TensorFlow」や「Cloud ML APIs」「Cloud AutoML」といったサービスをクラウドで提供し、AIの適用範囲の拡大と“民主化”を推し進めている。2018年7月3日に開催されたクラウド&データセンターコンファレンス2018 Su

Googleがクラウドサービスとして提供している「Google Cloud Platform」の中に、「Cloud Speech-to-Text」というサービスがあります。このサービスは音声ファイルをAIが認識して文字にしてくれるというものなのですが、一体AIはどれくらい正確に文字起こししてくれるものなのか実際に使って試してみました。 Cloud Speech-to-Text - Speech Recognition  |  Cloud Speech-to-Text API  |  Google Cloud https://cloud.google.com/speech-to-text/ まず、GoogleのクラウドサービスであるGoogle Cloud Platformの登録を済ませておきます。まだ登録していないという人は以下の記事の冒頭部分を参考に登録しておいてください。 無料でGoo

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleは米国時間8月16日、「Android」アプリや「iOS」アプリ向けのバックエンド開発プラットフォーム「Firebase」に多くの新機能を追加したと発表した。今回のアップデートは、洗練されたアプリとモバイル開発者に対するサポートを開発サイクル全体を通じて向上させるためのものだという。 新たに追加された機能の1つに、アプリを活発に利用しているユーザーとその開発者がコミュニケーションを図れるようになるアプリ内メッセージングツールがある。Googleによると、開発者はこのツールを使うことで、特定のユーザーを対象に、コンテキストに応じたメッセージを送信し、ユーザーの注意を得られるようになるという。またこのツールにより、それぞれのメッ

「BigQuery ML」：SQLで機械学習ってどういうこと？試しにSQLでロジスティック回帰を書いてみた。 はじめにGoogle Cloud Next 2018でBigQuery MLが発表されました。 文字通り、「BigQuery + 機械学習(Machine Learning)」を実現するもののようです。さっそく試してみたので、どんなものなのかと、その原理（の一部）を紹介したいと思います。この記事ではBigQuery MLの紹介と、それを直接SQLでやったらどのくらい大変かを見てみます。 BigQueryとは？BigQuery は、Google が提供するサーバーレスでスケーラビリティに優れた、低コストのエンタープライズ向けデータ ウェアハウスですとあるように、Googleのクラウドサービスの一つで、大規模なデータを貯めておくことができ、大量のデータに対しても分散して高速なデータの取

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleは米国時間5月8日、開発者向けカンファレンス「Google I/O」で、「ML Kit」を発表した。ML Kitは、モバイルアプリに機械学習（ML）を組み込むための新たなSDKだ。 ML Kitは、同社のモバイルアプリ開発統合プラットフォーム「Firebase」上で利用でき、「Android」向けと「iOS」向けの双方が用意されている。またML Kitは、テキスト認識と顔認識、ランドマーク検出、バーコードのスキャン、イメージのラベル付けなどのMLの一般的なユースケースに対するAPIを提供している。これらすべては、「Google Cloud Platform」（GCP）のMLテクノロジを活用したクラウドAPIとして利用可能だ。

Google Cloud デベロッパーアドボケイト 佐藤一憲 Google Cloud マシンラーニング スペシャリスト 大薮勇輝 NTT ドコモ（以下、ドコモ）は今年 2 月、タクシー需要予測サービス 「AIタクシー」の運用を開始しました。このサービスでは携帯電話ネットワークから得られるリアルタイムの人口統計情報を利用し、TensorFlow で構築したディープラーニング モデルとの組み合わせにより、500 m 四方のエリアごとの 30 分後までの乗車数を 93〜95% の精度で予測します。 このサービスは現在、東京と名古屋で徐々にサービスを拡大し、2,500 台のタクシーに順次導入を進めています。その結果、1) 乗客の待ち時間の短縮、2) 急な需要変化へのすばやい対応、そして 3) ベテランドライバーと新人ドライバーの経験差の緩和が実現。タクシー事業者の売り上げの顕著な向上として、その

merpayでは積極的にStorybookを活用してコードと見た目の両方の観点でレビューを行なっていますが、Pull Requestが飛んでくるたびに該当ブランチをpullしてローカルでStorybookを起動するのが大変という運用上の問題を抱えていました。 そこでソリューションチームの協力のもと、PRが作成されるたびにCIからGAE上にユニークなpathをもったStorybookを配信する仕組みが導入されたのが先週のこと。とてもめでたい👏👏 これによってPRのデザインをチェックする時もURLをクリックするだけでよくなりました。 UI開発の概念がひっくり返るほど便利だったので、この仕組みをプライベートの開発でも導入したいと思います。 やりたいこと Storybookをホスティングする環境(URLの共有だけで完結するもの)を作りたい Pull Requestが作成されるごとに自動で新しい

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 railsのアプリログをstackdriverに送りたい Gemを使った方法がうまくいかなかった fluentdの設定追加であっさりできたので困ったらこっちのほうがいいよ やりかた 1. Gem使う 公式のRuby 用 Stackdriver Logging の設定で設定する 一般的にはこっちのが楽だと思う。 このgemいれてUnicorn起動するとレスポンスが返ってこなくなる現象が解決できず諦めた 2. ロギングエージェント(fluentd)のカスタム設定する 今回はこっちを採用した fluentdの設定追加方法 前提: GCEにロギングエージェントがインストールされている fluentdのカスタム設定をする ->ドキュメント /etc/google-fluentd/config.d/* にfluentd用の送信設定ファイルがおいてある。ここに送信したいログの設定を追加する。 例:

さくらのクラウドのマネージドなL4ロードバランサーをKubernetesから使えるようにCloud Controller Managerを実装してみました。 Kubernetesでserviceを作成する際にtype: LoadBalancerと指定することで動的にマネージドロードバランサーを作成してくれます。 GitHub: sacloud/sakura-cloud-controller-manager 今回はこの仕組みをどう実現しているか/どう使うのかについてご紹介します。 3/30 追記: コメントで「ループバックへのVIP設定は不要」とのご指摘をいただきました。 改めて0からクラスタを再構築して試したところ上手くいきましたのでVIP関連の記述を修正しました。 id:masaya_aoyama さんご指摘ありがとうございました！ Kubernetesでtype: LoadBalanc

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 今回はDataprepで国勢調査のデータをBigQueryに入れてみたいと思います。 GoogleではBigQueryに色んな公開されているデータが入っているのですが、ほとんどがアメリカのデータで日本のデータもどうにかならんかなぁと思っていた矢先に、Dataprepが出てくれました。これなら面倒なデータの準備も楽に出来るかなと。 あと、最近になって政府が公開しているデータも細かなものになってきました。 と、いうことで国勢調査のうちの町単位で人口が入っているデータを今回はDataprepで加工して、BigQueryに入れてみたい

Spotify と Google が共同開発 : オープンソースの GCP セキュリティ ツール Forseti Security クラウド リソースのセキュリティを大規模に保護することは Google Cloud Platform（GCP）のユーザーにとって極めて重要ですが、GCP リソースのセキュリティを確保するためには適切なツールとプロセスが必要となります。 Spotify と Google Cloud は、GCP プロジェクトの保護を目的とした画期的なセキュリティ ツールを共同で開発し、Forseti Security としてオープンソース コミュニティに送り出しました。Forseti Security はすべての GCP のお客様が利用できます。 この投稿は、GCP セキュリティ コミュニティ向けのツールを共同開発した経緯について Spotify のチームに話を聞き、それをまとめ

2017 - 05 - 19 Firebaseが進化してできるようになったこと | Google I/O 2017 現地レポート2日目 イベント デザイン&テクノロジー Tweet こんにちは、ビズリーチでHRMOS採用管理のマーケティングを担当しています、現王園です。 昨日から Google I/O 2017 の現地レポートをお届けしています。 昨日の記事はこちら reachone.bizreach.co.jp 今回は、Firebaseのアップデートについて、特にレポート機能について詳細をお伝えします。 Firebaseについて まずは、少しFirebaseについておさらいです。 Firebaseは昨年のGoogle I/Oでモバイルの統合プラットフォームに大幅アップデートされました。 Firebaseは、「より良いアプリを開発し、ビジネスをグロースする」ための様々な機能を提供し、D

今回は以下の本の紹介をいたします。 加嵜 長門 田宮 直人 丸山 弘詩 マイナビ出版 2017-03-27 「ビッグデータ分析・活用のための」と描かれている通り、文中は大規模データを想定したSQL文が並びます。このビッグデータな時代、色んなSQL本が出版されていますが、ここまで実用的で、かつサンプル例が揃った本に初めて出会いました。 著者はDMM.comラボに勤められているエンジニアの方だそうですが、この書籍の元ネタは現場で実際に使っているSQL文か著者の個人的なメモなのではないでしょうか。それくらい「痒い所に手が届く」「困った時に知っておきたい」サンプル例ばかりです。 今回は、この本で着目すべき3つの注目点を簡単に纏めてみました。 その1：非エンジニア向けの易しい解説書スタンス そもそもビッグデータと一口に申しても、データを管理しているエンジニア、データを分析するデータサイエンティスト、