本記事は、『Software Design 2019年8月号』の第2特集「ゲームを題材に学ぶ 内部構造から理解するMySQL」をWeb掲載用に再編集したものです。 本記事のテーマを、より基本的なところから丁寧に解説した『SQLの苦手を克服する本　データの操作がイメージできれば誰でもできる』が2019年8月26日に発売されました。本記事と併せてご活用ください。 「NoSQLはRDBMSより高速」は本当か？ NoSQLが登場したころ（あるいは、今でも⁠）⁠、「⁠NoSQLはRDBMSに比べて20倍高速」などというホワイトペーパーが出たりすることがあり、「⁠20倍」という表現が独り歩きすることがよくありました。この倍率については、レコード長やページサイズ、その他もろもろのチューニング項目をどうするかで、いかようにも変化しますからほぼ意味がないうえ、実際のシステムでそれほどの差が出ることはありませ

Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.

昨日僕の Twitter タイムラインで q というツールが話題に上がっていました。 GitHub - harelba/q: q - Run SQL directly on CSV or TSV files Text as Data q is a command line tool that allows direct execution of SQL-like q... https://github.com/harelba/q 標準入力を SQL で抽出できるという物です。ただ個人的には「こういうの python じゃなくて Go でビルドされてると助かるよなー」と思ったので q と同じ様な動作になるツールを作ってみました。 GitHub - mattn/qq Select stdin with query https://github.com/mattn/qq 例えば msys2 のシ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

jOOQ (http://www.jooq.org/) についてのメモ。 jOOQは、type safeかつdatabase orientedなクエリビルダーである。 database orientedなので、「アプリケーションからDBのことなんて全然意識したくないねん」的な思想に基いて作られた類のプロダクトとは異なり、思い通りのSQLを生成できるようになっている。 以下gradle前提で。version等はよしなに。 gradle dependenciesはこんな感じ compile 'org.jooq:jooq:3.7.1' compile 'org.jooq:jooq-meta:3.7.1' テーブル等に相当するクラスをgradle taskから生成するためにbuildscriptのdependenciesにも以下をかいておく classpath 'org.jooq:jooq-cod

会員事業部の有賀(id:chezou)です。 今年一年、社内では勝手に"Jupyterの伝道師"を標榜してJupyter notebookの普及活動を展開してきました。 先日、社内でハンズオンも行ったおかげもあり、かなり社内のマシンにPython環境が構築されてきました :) Jupyter notebookとは？ ひとことで言うとブラウザで動くすごい便利なREPL*1です。 百聞は一見にしかず、見てみましょう。 このように、Rubyの対話環境であるpryを触っているようにインタラクティブにコードを書くことができます。 以降で説明をしますが、Jupyter notebookは記録・共有・再現がとても得意です。特に図表があるときにその効果を発揮します。 Jupyter notebookの良い所 過去のコードを改変、再実行できる セルと呼ばれる入力部分にはMarkdownやコードが記述できます

データベース開発支援用の高機能SQL開発環境。テーブル定義書をリバース生成したり、ER図を作成したりすることも可能。軽快に動作する。「A5:SQL Mk-2」は、リレーショナルデータベース（RDBMS）を操作・定義するための言語「SQL」を対話的に作成・編集・実行できるSQL開発環境。 強力なSQL入力補完機能、Insert入力支援機能を備えたSQLエディタパフォーマンス上、問題のありそうな個所を確認し、修正できる実行計画取得機能（PostgreSQL、MySQLなどに対応）インデントを制御したり、大文字・小文字変換したりできるSQL整形機能をはじめ、便利な機能を数多く搭載。SQLでの開発効率を大幅に向上させてくれる。Oracle、PostgreSQL、MySQL、SQLiteには直接、接続することが可能。そのほかのデータベースにもOCI、ADOまたはODBCなどを経由して接続できる。「A

q を利用すると、CSVやTSV形式のファイルに対して直接SQLを発行できます。 インストール手順 http://harelba.github.io/q/ qを使ったデータ解析の例 以下の様な受注データのCSV (ファイル名はorders.csv) が手元にあった時。 OrderId,OrderDate,ProductID,UserID,Quantity,TotalPrice 10000005,2015/2/13,100,10000,1,10000 10000006,2015/2/13,101,10001,2,2000 10000007,2015/2/13,102,10002,3,6000 10000008,2015/2/13,100,10003,1,10000 10000009,2015/2/13,101,10004,2,2000 10000010,2015/2/14,100,10005

はじめに Apache Drill 1.0がリリースされました！ Drill 1.0 Released Apache Drillは、NoSQL向けのSQLクエリエンジンで、ファイルシステム上のJSON/CSV/Parquetなどのファイル、Hiveソース、HBase、MongoDBなどに直接SQLクエリを投げることが出来ます。 何はともあれ、触ってみないとどんなモノなのかわかりません。早速試してみました！ やってみた 試した環境はEC2(on Amazon Linux 2015.03)です。 セットアップ Drillの動作にはJDK 7が必要になりますので、インストールされていることを確認します。 $ java -version java version "1.7.0_79" OpenJDK Runtime Environment (amzn-2.5.5.1.59.amzn1-x86_64

WEB+DB PRESS plus SQL実践入門 ──高速でわかりやすいクエリの書き方 著者 ミック　著 発売日 2015年4月11日 更新日 2019年9月25日

4月中旬ころになりますが、新著が出ます。SQLのパフォーマンスを主題にした本で、実行計画を読むことで、なぜこのSQLは遅いのか、あるいは速いのかをデータベースの内部動作まで把握して理解しよう、という趣旨です。 リレーショナルデータベースというのは、SQLという自然言語を模したインタフェースによって、低次のレイヤーを隠蔽する意図で作られたミドルウェアなので、本当は実行計画などという手続レベルの世界をユーザが覗き見るのは、本末転倒なところもあります。ただそうはいっても、現実にSQLが遅かったら原因を解析せざるをえないわけだし、大体本当にブラックボックスにしたいなら、なんでどのDBMSも実行計画を見られる手段なんか用意してるんでしょうね不思議ですね、という理想と現実の狭間で悩むエンジニアの方々に少しでもベターな解に辿りつけるアプローチを提示できれば、と考えております。 以下まえがきと章立てです。

エンジニアから営業まで、社員全員がSQLを使うデータドリブン組織はどのようにできたのか。コラボレーションツールに記録された実データから辿るケーススタディ。巻末には、今すぐ学べるSQL練習帳も収録。未経験の方でもブラウザだけで簡単に練習できます。 Read less

元マイクロソフトのプログラマで書籍「Joel on Software」などでも知られる著名なプログラマであるジョエル・スポルスキー氏が立ち上げた、プログラマ向けのQ＆Aサイト「Stack Overflow」。 月間1600万ページビュー、300万ユニークビジターのこのWebサイトがどのような構成になっているのか、Webサイト「High Scalability」の記事「Stack Overflow Architecture」に分かりやすいまとめが掲載されていました。 最大の特徴はスケールアップ型 Stack Overflowの特徴は2つあります。1つはスケールアップ型のアーキテクチャだということです。現代のマルチコア、大容量メモリ、パラレルプログラミング技術においては、スケールアップ型のアーキテクチャも重要な選択肢だと記事では説明しています。 その説明の通りStack Overflowでは、

http://cs.hatenablog.jp/entry/2013/07/09/234554 RDB操作でデッドロックは不可避です。ご確認ください。 DBでのデッドロックの発生は、直ちにシステムが停止することを意味しません。DBMSはデッドロック発生を検出してトランザクションを失敗させる機能を持っているからです。 アプリケーションの開発者がすべきことはただ一点、 デッドロック検出時のリトライ です。更新処理だけじゃないです。参照処理でも忘れちゃいけません。約束です。 Javaの場合デッドロック発生はコード的にどう検知すればいいかというと、SQLExceptionが内部にSQLSTATEというRDB共通のエラー番号を持っているのでこれで判別可能となっています。 SQLSTATEの一覧は日立さんのこのまとめが役に立ちます。拝承。 http://www.hitachi.co.jp/Prod/c

sqlt-diagram はPerl製のオープンソース・ソフトウェアです。データベース構造を示すスキーマからイメージファイルを作成するCUIのソフトウェアになります。面倒な設定は必要ありません。テーブル構造やテーブル同士の相関を気軽に確認できる便利なソフトウェアです。 sqlt-diagram の主な特徴 1) 面倒な設定は不要 コマンドラインでデータベースの種類、出力先、スキーマを記したファイル名を指定するだけです。以下は実行例となります。データベースは SQLite で、PNG形式の画像を出力します。 sqlt-diagram -d=SQLite -o=sample.png sample.sql 2) 画像は PNG/JPEGが選択可能 既定値はPNG形式となります。 3) フォント・サイズを4種類 small、medium、large、huge の４種類を指定できます。既定値は me

前書き - インデックスの作成はなぜ開発者のタスクなのか インデックスの 内部構造 - インデックスは何に似ているか インデックス リーフノード - 二重連結リスト 検索 ツリー(Bツリー) - バランス木 遅いインデックス パートI - インデックスを遅くする2つの原因 where 句 - 検索のパフォーマンスを改善するためにインデックスを作成 等価 演算子 - 一致するキーの検索 プライマリキー - インデックスの使い方を確認 複合インデックス - 複数列に対するインデックス 遅いインデックス パートII - 前の問題点が再び 関数 - where句の 中での関数 大文字・小文字を区別する 検索 - UPPERと LOWER ユーザ定義 関数 - 関数インデックスの制限 インデックスの作り過ぎ - 冗長性の排除法 パラメータ化 クエリ - セキュリティとパフォーマンスのために 範囲 検

SQLのIN句で複数の条件を指定する方法のメモ。 PostgreSQL 8.4 で確認。 適当なテーブルを作成 $ createdb in_test_db $ psql in_test_db in_test_db=> CREATE TABLE sample(id serial primary key, name text default '', age integer default 0); NOTICE: CREATE TABLEはシリアル列"sample.id"用に暗黙的なシーケンス"sample_id_seq"を作成します。 NOTICE: CREATE TABLE / PRIMARY KEYはテーブル"sample"に暗黙的なインデックス"sample_pkey"を作成します CREATE TABLE テストデータ投入 in_test_db=> INSERT INTO sample