Databricksで築く未来のデータメッシュ組織/The Datamesh Organization Built with Databricks

概要 この記事では、SQLクエリをより効率的に記述するためのベストプラクティスとテクニックに焦点を当てています。データベースのクエリはシステム全体のパフォーマンスに直結するため、最適な書き方を知ることは重要です。インデックスの効果的な活用方法、適切な結合の選択、そして条件の効果的な書き方など、SQLの最適化に関する具体的な手法を解説します。各SQL文に関する実行計画の結果も掲載していますので、ぜひご確認ください。 なお、Oracle19cとOracle12cでの利用実績がありますが、他のデータベースやバージョンにおいての検証は行っておりません。 新しい情報は随時追加されますので、お楽しみにしてください。 SQLの最適化に関連する基本的なアイデア 以下の通りと考えています。 1.インデックスの利用 2.正しいJOINの選択 INNER JOIN、LEFT JOIN、RIGHT JOINなど、

ビッグデータのリアルタイム分析基盤「Jubatus」を活用し、センサデータ機械学習検証システムを構築 プレスリリース発表元企業：Briscola Inc. 配信日時: 2014-02-12 13:30:00 （東京）- （ビジネスワイヤ） -- 住友精密工業株式会社（本社：兵庫県尼崎市、社長：三木伸一、以下、住友精密）は、クラウドコンピューティング専門の事業企画・開発会社である株式会社ブリスコラ（本社：東京都港区、代表取締役社長：下川部知洋、以下、ブリスコラ）とともに、ビッグデータのリアルタイム分析基盤「Jubatus」を活用したセンサデータ機械学習検証システムを構築しました。 構築にあたっては、「Jubatus」の開発元であり、検索・データ解析技術の先端的企業の株式会社 Preferred Infrastructure(本社：東京都文京区、代表取締役：西川徹、以下、PFI)と緊密な連携の

「社内の至るところでExcelを駆使して、業務に必要なデータを計算している。まさに『人間BI（ビジネスインテリジェンス）』の状態でした」。先日、取材をした企業で、業務改革の担当者の方にこんな話を聞いた。この企業は経理、生産管理、営業といった社内の各部門がそれぞれ、基幹系システムから必要なデータをダウンロードし、日本マイクロソフトの表計算ソフトExcelで加工して必要なデータを作り、それを電子メールやファイルサーバーで共有し、業務に活用しているという。

12月9日、クラウド型のビッグデータサービスを手がけるトレジャーデータは、ビジネスのアップデートのほか、新サービス・新価格プランについて説明する発表会を開催した。アドホックデータ解析向けの新エンジンが投入されたほか、初めて可視化ツールが標準で提供される。 1兆件から2兆件までは2ヶ月で達成 発表会では、米トレジャーデータ CTOの太田一樹氏が会社とサービスの紹介を行なった。ビッグデータの収集・保存・解析を一手に行なえる「Treasure Data Service」を提供するトレジャーデータは、2011年12月に米国で創業されたベンチャー。「他社と異なって、数日で開始できるのがもっとも大きい」と太田氏が語るとおり、「すぐに使い始められる」「クラウドサービスとして提供」「シンプルな機能セット、手厚いサポート」といったオールインワンのコンセプトを持っている。 同社が設立されてちょうど2年が経った

これまでデータ・サイエンティストの選ぶプログラミング言語はRだったのだが、急激にPythonに置き換わろうとしている。 このシフトの理由はいくつかあるようだが、第一にはPython自体が汎用的で比較的学びやすい言語であるのに対し、Rが習得するにあたってやや複雑であることがあげられるだろう。 データにますます依存しつつある現代社会とデータに飢えたサイエンティストにとっては「簡単さ」こそが鍵となるのだ。 Rは実際にはプログラミング言語ではないRを覚えることに苦労する人が多い理由として考えられるのは、Rが実際にはプログラミング言語ではないからかもしれない。R専門家のジョン・クックいわく、Rとは「統計のためのインタラクティブな環境」であり、厳密にはプログラミング言語ではないのだ。彼はさらに「Rをプログラミング言語だと考るのではなく、Rがプログラミング言語を内包しているのだと考えた方が良いと分かった

日経情報ストラテジー2013年12月号に「統計学が最強の学問である」著者特別インタビューがあったのでメモ。 「統計学が最強の学問である」の本は立ち読み程度しか読んでいないけれど、記事は面白かった。 最近のバズワード「ビッグデータ」「データサイエンティスト」が気になっていたから。 記事で気になった点は２つ。 一つは、最近のコンピュータ能力の向上のおかげで、プログラマのレベルの人でも統計学という理論を背景に、手持ちの大量データを解析する環境が揃ってきたこと。 １０年以上前まで、Excelでグラフ化したり、Excelで財務分析したりするぐらいだった。 でも、今は、業務システムで貯められた大量のトランザクションデータを元に、回帰分析など統計学の手法を使って色んな観点で分析できる。 その時、ビジネス系のエンジニアならば、RDBに関するSQLは必須。 さらに、最近のビッグデータというバズワードを背景と

この勉強会の概要 一昨年前からビッグデータという言葉が注目されており、テレビなど一般層むけのメディアでも頻繁に紹介されています。しかし、実際のところデータ分析をどう行えば良いのか？　それにはどういう製品が必要なのか？　その製品は高価ではないのか？　などの疑問や課題をお持ちの方も多いのではないでしょうか。 それらの疑問や課題の解決に Tableau（タブロー） と AWS(Redshift & EMR)はいかがでしょうか。 Tableau は標準で様々なビューを用意しており、お客様の「データをこうやって見たい」といったニーズに応えます。 Redshift これまでのデータウェアハウス製品に比べて驚くほど安価であり、マネージドサービスとして提供されています。 これらのトピックはすでに注目されているものの、実際に使ってみたという事例を目にする機会はあまり多くありません。 そこで今回、Tablea

NTTデータは2013年4月15日、スマートフォンやタブレットの「自動モード切り替え技術」を開発したと発表した。場所や時間、ログインしたユーザーなどによって業務モードと私用モードを自動的に切り替える。同日、GooglePlayで同技術を実装したAndroidアプリの無料配信を開始した。また2013年4月よりNTTデータ社内でBYOD（私物デバイス活用）を導入することを明らかにした。 「自動モード切り替え技術」は、スマートデバイスの物理的な位置（GPS情報や検知した接続している無線LAN）、時間帯、ログインしたユーザー、社内ネットワークなど指定したネットワークとの接続の有無によって、業務モードや私用モードなどを自動切り替えする技術。モードにより、ホーム画面を自動的に切り替え、カメラや無線LANなどのデバイスやアプリケーションの利用を許可したり禁止したりすることができる。 ユーザー認証機能も備

特許庁の新システムの開発が頓挫して55億円が無駄になったというニュースは既によく知られています。特許庁は特別会計で運営されているのでこの55億円の出元は税金ではなく特許庁に出願人が支払ってきた料金なのですが、それでも国民の金であることに変わりはありません。加えて旧式化したシステムをしばらく使い続けなければならないということで、知財立国をめざす我が国にとって大きな痛手であります。 なんで、この話を今更持ち出したのかというと、昨日のTBSの報道特集でこの問題が取り上げられていたからです。番組では、開発に反社会的勢力がからんでいた的な話が中心になっていましたが、それに関する議論は別の方におまかせするとして、この機会に以前に書こうと思って書き忘れた話を書いておきます。純粋に情報システムとして見たときに特許庁のシステムはそんなに難しいのか、というお話です。 特許庁の内部事情は全然知らないので、特許庁

政府は国民一人ひとりに番号をふり、年金や健康保険などの社会保障給付と納税を1つの個人番号で管理する「共通番号制度」を2016年から導入する。給付の申請や税の確定申告などが簡単になるほか、税・社会保険料の適正な徴収や給付につながる。行財政を効率化するIT（情報技術）政府のインフラが本格的に動き出す。政府は1日、関連法案を閣議決定し、国会に提出した。昨年の衆院解散でいったん廃案になった法案を自民、

ひと月ほど前にアジア各国を回って、現地で働いている人や起業している人たちと会ってきました。彼らは口々に「大変だけど、楽しい！」と言っていました。実際、彼らの顔はイキイキしていました。 そして、日本に帰ってきて、今度は就職活動に苦労している学生や社会人に会いました。「いや、ホント、大変ですよ」。確かにその大変さが顔に表れていました。日本で普通に生活したいだけなのに、なぜこんなに大変なんだろう？ 「海外就職研究家」の私が言うのもなんですが、日本国内で楽しくイキイキとできる仕事がたくさんあったら、わざわざ海外に行く必要もないでしょう。でも、そうもいかないから、いろんな選択肢を検討している人が多くなっていると思うのです。 同じことしかできないなら仕事は安い方に流れる 日本で普通の生活が難しくなっている理由は、東南アジアを歩くとすぐに分かります。先進国の人が貧しくなっている代わりに、途上国の人が豊か

2012年に相応しい裏方チームです。 有名数学者、ネイト・シルバー（Nate Silver）氏は、ヴァーチャル選挙を何度も行ないそのデータからオバマ大統領の再選を予想していました。が、オバマ陣営だって数学者に負けず劣らず、ヴァーチャル選挙を行いそのデータ解析を行なっていました。 ネタ元のTime誌がその様子を報じています。選挙にはデータを解析し先を見通す力が不可欠。現代ではそのデータ解析計算は、もちろんコンピューターが行なっています。オバマ陣営のオフィスには、｢The Cave｣と名付けられた部屋があります。そこで行なわれていたのは、公開された投票データを解析し、全米の投票を予想するというプログラム。大統領選挙直前の10月には、毎日6万6000回もの解析を行なっていました。毎朝、はじき出されるデータ結果を見て、この州での勝利の確率はこうだ、このようにリソースを配分するとこうだ、と打ち合わせ

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 選挙でソーシャルメディアを活用するのは当たり前、情報は分析してこそ価値が生まれる。写真はオバマ大統領とFacebookのマーク・ザッカーバーグCEO（出典：Christopher Dilts/Obama for America） 米国の大統領選挙でオバマ大統領が再選を果たした。 この勝利をもたらした重要な要因がオバマ陣営の「情報戦」に求められるようだ。 オバマ陣営は徹底してビッグデータを活用したという話が、開票日翌日のTIMEの記事に載っていた。 アップルやマイクロソフト（とくにXbox）など、すぐにでも採り上げておかないといけない話題が山積みだが、今回はこの米大統領選挙に関する「旬のネタ」を紹介したい。 選挙対策のプロが頼ろうとする「