基本KPIや応用KPIが決まり、実際に、毎日の運用の中で定期的にデータを更新して、可視化するためには、一連の処理を自動化する必要があります。今回は、データパイプラインを扱うためのワークフロー管理ツールを紹介していきます。 データパイプラインとワークフロー管理 データパイプライン （⁠以下、パイプライン）とは、データ処理を行なう小さなタスク（1回のファイルコピーや、SQLの実行など）を順次実行することにより、最終的に求める結果を得るための一連のプロセスを指します。狭義には、単体のシステム内で完結するパイプラインを指します（SparkやGoogle Cloud Dataflow、など⁠）⁠。 また、広義には、複数のシステムを組み合わせて大きなパイプラインを構成することもあります（MySQLから取り出したデータをRedshiftで集計する、など⁠）⁠。今回、取り上げるパイプラインとは、広義のパイ

人間に勝つのはほぼ不可能と思われた囲碁で勝利を上げたばかりのGoogleの人工知能（AI）プロジェクト「DeepMind」が、今度は目のスキャンという分野にその頭脳を活用する。 英国の新興企業だったDeepMindを2014年に買収したGoogleは、英国営保健サービス（NHS）と提携する。目的は、視力に支障をきたす状態が目を一度スキャンするだけで診断可能になるシステムを構築することだと、同社は米国時間7月5日に述べた。 ロンドンのMoorfields Eye Hospitalと共同で、DeepMindは、糖尿病性網膜症と加齢性黄斑変性症という2つの特定の疾患の兆候検出に取り組む予定である。Googleによると、2つの疾患を患う患者は合わせて世界中に1億人以上いるという。 Googleは、DeepMindの技術に2つの疾患のスキャン結果の分析を学習させる方法を調査する。2つの疾患の診断は、

Help us understand the problem. What is going on with this article? 18日午前（日本時間で19日深夜）に行われたGoogle I/O 2016のKeynoteでは、Google社から新しいメッセージングアプリ「Allo」が夏にリリース予定であることが発表されました。実際にAlloが動作しているデモがKeynote内で行われていましたので、どんなアプリになっているのか、そのデモを見ることで理解することができるでしょう。 AlloのAndroidアプリは、すでに事前登録を開始しています。 このデモを見たときに、他社と比べてアプローチの仕方が大きく違うことに気がつきました。Alloの登場によって役者が出そろった感があるので、僕の知っている範囲で少し整理をしてみたいと思います。 主力メッセージングアプリ 基本的に、メッセージングア

Emerging technology review シリコンバレーからの先端技術分析レポート。先端技術を学び、日本企業の経営戦略と製品計画策定に寄与。未来を生み出すベンチャー企業やファウンダーと接し、イノベーション誕生の思想に迫る。 “Emerging Technology Review” is research reports featuring the latest technologies.  The articles analyze the new wave of the technologies and explores the Silicon Valley culture and innovations. ■featured stories シリコンバレーからの先端技術分析レポート (ブログへのリンク) ■about シリコンバレーで生まれる先端技術を解析 VentureCl

Googleの会話型AI「Google Assistant」がスゴすぎる、人間の執事のように状況を把握してユーザーを手助け 米Googleは現地時間5月18日、「Google Assistant（グーグルアシスタント）」を発表しました。 このGoogle Assistantは、いわば自分だけの執事として機能する会話型AIで、音声検索機能「OK, Google」が大幅に強化されたものだと考えれば分かりやすいかもしれません。この会話型AIの凄まじさは、人間と会話するように自然言語で理解して必要な情報・行動を提示してくれるだけでなく、ユーザーの置かれたコンテキスト（状況、文脈）を把握し、しかもシームレスにデバイスを超えて適切に動作するというところにあります。 たとえば、ユーザーが「映画を観たい」とGoogle Assistantに尋ねれば、会話するような流れで必要な情報の入手や次になすべき行動を

囲碁最強戦は思わぬ方向に。中国、グーグルにAI同士での対戦を希望2016.04.01 17:03 渡邊徹則 まさかの展開。 グーグルが開発した最強囲碁ソフト｢AlphaGo｣が、現在世界最高峰の棋士といわれる、李セドル氏を倒したのは3月の半ば頃でした。 そしてここで、中国がAlphaGoへの対戦に名乗りを上げたというニュースが飛び込み、遂に現在世界ランク1位、18歳の天才棋士・柯潔氏が登場するのかと思いきや、まさかの｢AIで対決したい｣との宣言でした。 中国のShanghai Securities Newsが報じたところによると、中国にも碁のAIを研究している開発者がおり、今年中にもAlphaGoとの対決を希望しているとのこと。 詳細などはまったく未定のようですが、AlphaGoがこれだけ世間の話題を集めたこともあり、やはり碁の発祥地としては黙っていられないというところなんでしょうか。 そ

GoogleがGCP NEXT 2016で、Googleの使うクラウドベースの機械学習プラットフォーム「Cloud Machine Learning」を公開。アプリ開発者が自社のサービスで強力な機械学習機能を利用できるようにしました。 Google Cloud Platform Blog: Google takes Cloud Machine Learning service mainstream https://cloudplatform.googleblog.com/2016/03/Google-takes-Cloud-Machine-Learning-service-mainstream.html Google Cloud Machine Learning at Scale — Google Cloud Platform https://cloud.google.com/produc

［速報］Google、クラウドで高速にディープラーニングを行う「Cloud Machine Learning」発表、TensorFlowベース。GCP Next 2016 Googleは同社のクラウドに関するイベント「GCP Next 2016」を3月23日、24日の2日間にわたり米サンフランシスコで開催しています。 初日の基調講演で、最後の話題は機械学習（Machine Learning）でした。Googleはクラウドサービスの1つとして機械学習機能にも注力することを表明しています。Google Senior FellowのJeff Dean氏は、機械学習はコンピュータの歴史のなかで最も重要な出来事の1つだと説明。 Googleは2012年以来機械学習をさまざまなサービスに利用し、いま社内ではより使いやすくなった第二世代を機械学習を利用しているとのこと。 トレーニング済みの機械学習サービ

米グーグルで今年、有能な人材の流出が相次いでいる。まず5月には、同社の基礎研究所Google Xで最先端のAI（人工知能）技術「ディープラーニング」を開発してきたスタンフォード大学准教授のアンドリュー・エン（Andrew Ng）氏がグーグルと袂を分かった。「中国のグーグル」とも呼ばれる「百度（Baidu）」がシリコンバレーに新設した、AI研究所の初代所長に就任するためだ。 続いて7月には、同じくGoogle Xで「Google Glass」等を開発してきたババク・パービズ（Babak Parviz）氏がアマゾンに移籍した。さらに9月に入ると、Google Xの副社長ミーガン・スミス（Megan Smith）氏がグーグルを退社して、オバマ政権の最高技術責任者に就任した。 同じく9月、Google Xで自動運転車の開発プロジェクトを指揮してきたセバスチャン・スラン（Sebastian Thru

「『F1層』も『M1層』も、もういません」――Google日本法人は12月16日、複数のデジタルデバイスを利用しているマルチスクリーンユーザーの行動分析に基づき、情報接触行動に関する5つのタイプを発表した。男女や年代による傾向はあまり見られず、「単純な区分けは意味を成さなくなりつつある」とまとめている。 インテージのシングルソースパネル「i-SSP」を利用し、テレビ、PC、スマートフォンの3つを保有し利用している20～60代の男女500人を対象に、それぞれのツールの使用時間や視聴・行動内容をデータで取得して分析を行った。意識的に回答するアンケートに比べ、ユーザーの先入観やバイアスが入らないのが特徴の手法だ。 情報接触行動データに基づき、同社が類型化した5タイプは以下の通り。 1.キマジメ大食らい（全体の22％） デバイス利用時間が全体的に長く、朝起きたらすぐにテレビの電源をオン。情報番組が

FINDJOB! 終了のお知らせ 2023年9月29日にFINDJOB!を終了いたしました。 これまでFINDJOB!をご利用いただいた企業様、求職者様、様々なご関係者様。 大変長らくFINDJOB!をご愛顧いただき、誠にありがとうございました。 IT/Web系の仕事や求人がまだ広く普及していない頃にFind Job!をリリースしてから 約26年間、多くの方々に支えていただき、運営を続けてまいりました。 転職成功のお声、採用成功のお声など、嬉しい言葉もたくさんいただきました。 またFINDJOB!経由で入社された方が人事担当になり、 FINDJOB!を通じて、新たな人材に出会うことができたなど、 たくさんのご縁をつくることができたのではないかと思っております。 2023年9月29日をもって、FINDJOB!はその歴史の幕を下ろすこととなりましたが、 今後も、IT/Web業界やクリエイティブ

米Googleは4月4日、IaaSサービス「Google Compute Engine」の機能強化と料金値下げを発表した。料金を4％値下げするほか、Google Cloud Platformの有償サポートサービスでゴールド契約を結んだ会員全員に、Google Compute Engineを提供する。 Google Compute Engineは2012年6月に発表され、一部ユーザー向けのプレビュー版として公開されていた。ゴールドサポートは月額400ドルから。24時間年中無休の電話サポートなどが含まれる。 フィードバックに基づく新機能も加わった。ルートファイルシステムとしてマウントされた永続性ディスクから起動できるオプションが追加されたほか、管理コンソール「Google Cloud Console」も強化され、Google Cloud Platformのサービスを全て1つのインタフェースから

Googleは、同社をかなり痛烈に批判するゲスト論説を掲載したThe Wall Street Journal（WSJ）に反撃した。 Nextagの最高経営責任者（CEO）であるJeffrey Katz氏は、米国時間6月7日夜にWSJが掲載した記事で、Googleは大きく膨れ上がって独占に至っており、（少なくとも検索の分野において）Googleに次ぐ競争相手もまったく勝てる見込みがないと主張した（その競争相手であるBingが、過去にやはり独占に関わる問題で知られたMicrosoftの検索サイトであるのは興味深い）。 Katz氏には確かな証拠がある。主としてそれは、検索分野におけるGoogleの独占を証明する統計と、独占禁止に関する問題をめぐって行われたGoogleと欧州連合（EU）との論争だ。 しかしながら、Katz氏は価格比較サイトのトップであり、市場に対する心からの懸念というより嫉妬から

Googleは、宿敵のAppleが2012年に巨額のモバイル収益をもたらしてくれたことに感謝しなければならない。 検索大手のGoogleが同社の「Maps」アプリと「Search」アプリについてAppleと交わしたライセンス契約は、「iPhone」が2007年に登場して以来、高い収益を上げ続けている。2012年もその例外ではない。 Piper JaffrayのアナリストGene Munster氏は、米国時間6月6日にリリースした投資家向けメモで、Googleの2012年のモバイル売上は約45億ドルになると予想している、と述べた。また、iOSはその最大またはそれに近い割合の寄与度となるであろう。 同氏は、Googleのモバイル検索の総売上の40％にあたる16億ドルをiOSが占めるだろうと予想する。突き詰めると、iOSがGoogleの通年の総売上の約2％を生み出していることになる。 しかし、A

My iPhone 11 is perfectly fine, but the new buttons on the iPhone 16 are compelling

The Knowledge Graph is a huge collection of the people, places and things in the world and how they're connected to one another. With this Search technology, Google can get you the best possible answers and help jump start your discovery. Get an under the hood look at the next frontier, from the team at Google behind the technology. Learn more at https://www.google.com/search/about/ Dive into th