データの活用が当然のことのようになってエンジニア以外でもSQL書いてデータ抽出するのが一般的になってきました。さらにデータサイエンティストの登場により高度な分析もされるようになってきて、顕在化してきたのがHadoopクラスタの無法地帯化とエンジニアの疲弊なんじゃないかと最近思っております。なおHadoopに限らずElasticsearchでも言えたりします。 これって要はユーザと管理者のバランスの問題で、Hadoopエンジニアを採用するのが難しいというのが背景にあります。 SQL書ける人はそれなりにいるけど、インフラ側の人材不足ですね。この状態でデータの民主化が進むとどうなるかというと、 クエリの数が増える -> なかにも重いクエリも結構ある -> 管理者がそれをチェックするのに疲れて放置するようになる -> クラスタの負荷が増えて障害も出るようになる -> クエリ実行にも時間かかるように

米オラクルは9月20日（日本時間）、オンラインでの記者発表を開催。同社創業者兼CTOのラリー・エリソン氏は、クラウドサービスで提供される次期Oracle Databaseが世界で最初の全自動運用を実現するデータベースになると説明しました。 ラリー・エリソン氏。 「それは世界で初めての自律的なデータベース（autonomous database）であり、完全な自動運用（completely self driving）になる。 実行に人手を必要とせず、管理に人手を必要とせず、構成も、アップグレードも、パッチも、チューニングもそれ自身で実行する。 もうセキュリティパッチを当て忘れることも、遠隔地へのディザスタリカバリを忘れることも、バックアップを忘れることもできなくなる」 SLAは99.995％を保証。つまり、年間の計画停止、無計画停止は合計で30分以内。 今年12月から提供予定。詳細は10月1

電力小売りの全面自由化が始まった2016年4月以降トラブルが続いていた、東京電力パワーグリッド（東電PG）の「託送業務システム」。新たに小売り事業に参入した企業が、顧客の電気使用量を入手できず、料金を請求できない事態に陥った。 本来なら、電力メーターから集められた電気使用量のデータは託送業務システムに集約され、小売電気事業者に通知されるはず。しかし、その機能が正常に機能しないケースが多発した。未通知件数は、最大時に3万件にのぼったという。 その東電PGが2017年6月9日、システムの不具合や再発防止策などをまとめた報告書資料を公表した。東電PGは「これが（一連のトラブルの）総括となる」としている。 東電PGのシステムで何が起きていたのか。その原因が見えてきた。 一部データのコピー処理ができない 託送業務システム内部における不具合のうち、最も大きなものは、内部に複数あるデータベース（DB）間

米国では警察が犯罪者を追跡するため、DNAデータベースを独自に構築しつつあるという（AP、EFF、Slashdot）。 このローカルなデータベースは独自のルールで運用され、犯罪で逮捕されたことのない人からもサンプルの採取が行われていると指摘されている。また、サンディエゴ警察が、黒人の子どもに対して不法なDNA収集を行ったという指摘もあるそうだ。 こういったシステムを早期に採用した警察の1つが、ペンシルベニア州ベンサレム郡共安全局だ。窃盗犯のDNA鑑定を研究所に依頼すると18か月の期間が必要になるが、警察内であれば一か月以内に鑑定結果が出るという。同局は2010年にローカルDNAデータベースを構築した結果、盗難や泥棒が激減したと主張している。また、関係者によると独自のDNAデータベースを持つ警察は60を超えるという。

「Google Cloud Spanner」発表。地球規模の大規模分散環境で稼働するミッションクリティカルなリレーショナルDB。NoSQL並のスケーラビリティでSQL対応、トランザクション処理を実現 Googleは、クラウド上で高度なスケーラビリティを実現する、ミッションクリティカルな業務に対応したリレーショナルデータベースサービス「Google Cloud Spanner」を発表しました。 Google Cloud Spannerは、地球規模の大規模分散処理データベースとして、NoSQL並の非常に高いスケーラビリティと高い可用性、そして高速な処理を実現しつつ、SQLに対応。強い一貫性を持つトランザクション処理も実現。企業のミッションクリティカルな業務にも使えると説明されています。 地球規模に分散したリレーショナルデータベース 一般に、ミッションクリティカルな業務に対応したリレーショナルデ

最近はあまり技術的な仕事をしていないんですが、実は私は元々DBエンジニアです。 OがつくDBとか、PがつくDBとか、mがつくDBとかをいじくって、クエリを書いたり、テーブルの設計をしたり、パフォーマンスのボトルネックをあれこれ調べて解消したり、INDEXヒントを総とっかえして頑迷なオプティマイザをぶん殴ったりすることが主なお仕事でした。今でもたまーにそういうことをします。 同業の方であればお分かりかと思うんですが、DBのパフォーマンスは凄く唐突に、かつ多くの場合極端に落ちます。そして、DBのパフォーマンスが落ちると物凄く広範囲に影響が及びます。 アプリケーションサーバ、重くなります。クライアント、ろくに動かなくなります。お客様、切れます。カスタマーサポートにはわんさか電話がかかってきます。 ただ「遅くなる」だけでも十分に影響は甚大なのですが、それ以上のトラブルが発生するとまあエラいこっちゃ

オラクル、AWSとAzureでのOracle DBライセンス体系を変更。コア係数が適用外になり、ライセンス価格が2倍に オラクルはAmazonクラウド（以下AWS）とMicrosoft Azure（以下Azure）でOracle Databaseなどを利用する際のライセンス体系を変更、新しいライセンス体系（Licensing Oracle Software in the Cloud Computing Environment）（PDF）を明らかにしました。 オラクルは以前からAWSとAzureを認定クラウド環境としており、これは新ライセンス体系でも変わっていません。新ライセンス体系での最大の変更点は、AWSとAzureでは「コア係数」が適用外になったことです。 When counting Oracle Processor license requirements in Authorized

戦略的提携の柱は3つ。1つ目は富士通の国内データセンターにOracle Cloudを設置することで、データを国外に持ち出すことなく利用できること。2つ目はOracle Cloud Database Serviceを富士通のサービスとして提供すること、3つ目は人材管理サービスのOracle HCM Cloudを富士通グループで採用し、そのノウハウをもとに外販していくことです。 富士通 代表取締役会長 山本正巳氏は、今回の提携の発端がラリー・エリソン氏と昨年4月に話をした時にクラウドで一緒にやろうという話からであり、1年かけてそれが実現したと説明。 ラリー・エリソン氏は、富士通とオラクルは長期的なパートナーであり、次世代のコンピューティングを一緒に進めていけるのをとても嬉しく思うと発言しました。 オラクルとしては実質的にはじめてOracle Cloudのデータセンターが日本国内に設置されること

『モンスターハンター フロンティアＺ』(MHF-Ｚ)メモリアルサイト

米Microsoftは3月7日（現地時間）、リレーショナルデータベース管理システム（RDBMS）「SQL Server」のLinux版「SQL Server on Linux」を発表した。特設サイトでプライベートプレビューへの参加申し込みを受け付けている。公式版は2017年半ばにリリースの予定だ。 Linux版でもオンプレミスとクラウドの双方を提供する計画。現在プレビュー段階の次期SQL Server「SQL Server 2016」の新機能、「Stretch Database」が利用できるという。ただ、SQL Server 2016の全機能が利用できるわけではなさそうだ。 特設サイトの応募ページによると、プレビュー版はUbuntuあるいはDockerイメージで利用可能。 Microsoftは、「Linux版SQL Serverの提供は、Microsoftの製品とイノベーションを幅広いユー

日本オラクルが1月30日にデータベース（DB）ソフト「Oracle Database」のライセンス体系を変更した。中小規模システム向けで安価な「Standard Edition One（SE1）」を廃止。「Standard Edition（SE）」のライセンス内容を変更した「Standard Edition 2（SE2）」に一本化した（図）。 同社は2月29日に、旧ライセンスであるSE1とSEの販売を終了。3月1日からSE2と大規模システム向けの「Enterprise Edition（EE）」だけを販売する。 SE2に移行する場合、SE1のユーザーにとっては機能が高まるが、保守料が上がる分、費用増となる。SEユーザーは費用は変わらないが機能面での制約が増す。結果としてライセンスの追加購入やシステム構成の見直しを迫られる可能性がある。特にSE1は国内で中小規模のサブシステムなどで多用されてお

"Nested Loop Joinしか取り上げて無いのにタイトルが大きすぎないか" と指摘を頂いたので、タイトルを修正しました。Merge JoinとHash Joinのことはまた今度書こうと思います。 「JOINは遅い」とよく言われます。特にRDBを使い始めて間がない内にそういう言説に触れた結果「JOIN=悪」という認識で固定化されてしまっている人も多いように感じています。 たしかに、JOINを含むようなSELECT文は、含まないものに比べて重たくなる傾向があることは事実です。また、本質的に問い合わせたい内容が複雑で、対処することが難しいものも存在します。しかし、RDBの中で一体どういうことが起きているのかを知り、それに基いて対処すれば高速化できることも少なくないと考えています。 本稿では、JOINの内部動作を解説した上で、Webサービスを作っているとよく出てくるJOIN SQLを例題に

4月中旬ころになりますが、新著が出ます。SQLのパフォーマンスを主題にした本で、実行計画を読むことで、なぜこのSQLは遅いのか、あるいは速いのかをデータベースの内部動作まで把握して理解しよう、という趣旨です。 リレーショナルデータベースというのは、SQLという自然言語を模したインタフェースによって、低次のレイヤーを隠蔽する意図で作られたミドルウェアなので、本当は実行計画などという手続レベルの世界をユーザが覗き見るのは、本末転倒なところもあります。ただそうはいっても、現実にSQLが遅かったら原因を解析せざるをえないわけだし、大体本当にブラックボックスにしたいなら、なんでどのDBMSも実行計画を見られる手段なんか用意してるんでしょうね不思議ですね、という理想と現実の狭間で悩むエンジニアの方々に少しでもベターな解に辿りつけるアプローチを提示できれば、と考えております。 以下まえがきと章立てです。

米国の著名なコンピュータ学会の1つであるACM（Association for Computing Machinery）は、毎年コンピュータの分野で優れた功績を残した人物に「チューリング賞」を贈っています。 チューリング賞とは、現代型コンピュータの基礎を築いたアラン・チューリング氏の名前を戴く賞で、コンピュータ分野で最高峰の賞ともコンピュータ分野のノーベル賞とも言われています。 そのチューリング賞を、MITの教授をつとめるマイケル、ストーンブレイカー氏が受賞したことが発表されました（ACMのプレスリリース、MITニュース）。 ストーンブレイカー氏はデータベース研究者のパイオニアで、初期のリレーショナルデータベース実装の1つであるIngresを1970年代に開発し、1980年代にはオブジェクトリレーショナルデータベースのPostgresを開発。InformixのCTOなどデータベースベンダの

ベクトルの違うデータ まあ、それは事実。 ただ、履歴をそのまま残したいということも事実。 いちいち削除履歴テーブルなんて作ってられないのも事実。 ※ここでの論理削除は、復活する論理削除じゃなく、物理削除の代わりとして履歴のための論理削除を指します。(復活する論理削除って、そもそも削除とは言えないって気も...) 本来、論理削除されたデータって... そのテーブルの定義するデータとはベクトルの違うデータ である考えます。 でも、わざわざ削除されたデータを保持するテーブルを作ると、それはそれで面倒なのでそのまま同じテーブルに持ったままにする。その方が扱いが簡単なことが多いから。削除フラグを true にするだけで済むから。 個人的には、業務上重要なテーブルに関しては、しっかりと「削除履歴テーブル」を用意して、本体のテーブルには常に有効なデータだけがある状態の方が、データメンテもプログラムも遥か

仕事柄、奇妙なDB構造を目にすることが多い。どういう発想からそんな設計がされるのかを理解したいと思っていたのだが、モデラー仲間の秋里さんが先日うまい指摘をした。「主キーをインデックスみたいなものと勘違いしているからではないでしょうか」。インデックス（キー）というのは、レコードの並び順を規定するキーのことだ。 たしかに思い当たる節がある。「こんな順にレコードが並んでいれば処理上都合がよさそうだ」という考えで主キーが設定される。さらに主キーはユニーク制約でもあるので、重複が起こらないように「多め」に項目を突っ込んでおく。つまり「ユニーク制約をともなう代表的インデックス」程度に主キーが理解された結果として、グダグダなDB構造が出来上がるのではないか。 じっさい、昔こんなことがあった。{a,b,c,d}の複合主キーをもつテーブルＸがある。ところが、別のテーブルＹからテーブルＸの特定レコードにアクセ