SQLite、複数クライアントからの同時書き込みを可能にする「BEGIN CONCURRENT」文を実装へ SQLiteの開発チームは、複数クライアントからの同時書き込みを可能にするBEGIN CONCURRENT文を実装していることを明らかにしました。 これまでSQLiteでは書き込みの同時実行はできず、つねに1つのクライアントだけが書き込み可能でした。 同時書き込み処理は、データベースのジャーナルモードが「wal」（Write-Ahead-log）もしくはwalを改良した「wal2」で、BEGIN CONCURRENT文を実行した場合に可能となります。 どのように同時書き込み処理が行われるのかについては、上記のWebページの説明を引用しましょう。 ロックが延期されることで同時書き込みが可能に まず、書き込み時のロックがCOMMITまで延期されることで同時書き込みが実現されると説明されて

「えっ、SQLite3ってこんな仕様なの！？」と最近ビックリしたことを紹介します。 たとえばこんな2つのテーブルがあったとします。 CREATE TABLE blogs ( id int primary key, title varchar(32) ); CREATE TABLE comments ( id int primary key, content varchar(32), blog_id int, foreign key (blog_id) references blogs(id) ); ポイントはcommentsテーブルのblog_idにはblogs(id)への外部キー制約が貼ってあることです。 もちろん、blog_idもblogs(id)も、どちらもint型です。 で、以下のようなSQLを発行します（blog_idの値に注目）。 -- blogsにデータを追加 INSERT

SQLite3 WASM/JS、Origin Private File Systemを用いてChrome上の高速なローカルDBが機能するとGoogleが明らかに、廃止されたWeb SQLの代替として利用可能 Google Chromeの開発チームは昨年（2022年）9月に、非推奨となったWeb標準のWeb SQL Database API（以下Web SQL）をChromeから削除、その代替機能としてSQLite開発チームと協力してWebAssembly版のSQLiteを開発し、提供する予定であることを明らかにしていました。 参考：Chrome開発チームがSQLiteチームとWebAssembly版SQLiteを開発中。Webブラウザ上からのファイル書き込みで永続化も可能。Web SQL APIの代替として Web SQLはWebアプリケーションがSQLを通じてローカルなリレーショナルデー

SQLite Internals: Pages & B-trees Author Name Ben Johnson @benbjohnson @benbjohnson Image by Annie Ruygt Fly.io runs apps close to users around the world, by taking containers and upgrading them to full-fledged virtual machines running on our own hardware around the world. Sometimes those containers run SQLite and we make that easy too. Give us a whirl and get up and running quickly. Ok, I’ll admi

はじめに SQLite は世界で一番使われている　だから世界で一番凄いものに決まってるだろ SQLite は世界で最も使われている RDBMS です。名前に反して（？）おもちゃの RDBMS ではありません。元ネタと同じで 一番普及しているからと言って必ずしも一番凄いものであるとは限りませんが、普及しているのであればそこには何かしらの理由があるはずです。その理由を調べないことには、凄いか凄くないかの結論は出せないので SQLite のなにがそんなに凄いのかを調査しました。 2022/04/01 続編記事↓を書きました。 注意 この記事は「なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQLで解決する」の補足記事して書いたものです。ところどころ不自然にシェルスクリプトや Unix コマンドの話が登場するのはそのためです。基本的

MySQLやPostgreSQLといったクライアント・サーバー型のデータベースで大量のクエリを発行すると、クライアントとサーバー間の通信が大きなボトルネックとなることがあります。一方、軽量データベースのSQLiteは、その設計上「大量の小さなクエリ」の処理が得意であるとのこと。なぜSQLiteが効率的に大量のクエリを処理できるのかについて、SQLiteが説明しています。 Many Small Queries Are Efficient In SQLite https://sqlite.org/np1queryprob.html SQLiteの利用方法を記したページによると、SQLiteでは1つのウェブページにつき200クエリが適切であるとのこと。この記述について、開発者からしばしば「1つのページにつき200クエリなんて、ばかげている」と指摘されることがあるそうです。 SQLiteは開発者か

2019年12月の冬休みに1週間程かけて"Let's Build a Simple Database"という、C言語でSQLiteのクローンを作るチュートリアルをやりました。この存在を教えてくれた同僚に感謝 :pray: cstack.github.io チュートリアルの内容 Richard Feynman先生の“What I cannot create, I do not understand.”という言葉が掲げられているように、データベースを作ることでデータベースをより深く理解することに主眼が置かれているチュートリアルです。 これは重要事項説明かつタイトル詐欺に関する謝罪なのですが… 残念ながらこのチュートリアルは完成しておらず、Part 13が2017-11-26に公開されたのを最後に更新が止まってしまっており、以下の13章しかありません。 Part 1 - Introduction

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 広く普及している「SQLite」データベースエンジンにセキュリティ上の脆弱性が発見された。この脆弱性により、膨大な数のデスクトップアプリやモバイルアプリがリスクにさらされているという。 TencentのBladeセキュリティチームによって発見されたこの脆弱性が悪用された場合、被害者のコンピュータ上において悪意のあるコードの実行が可能になるとともに、それほど深刻ではないケースでもプログラムメモリのリークやプログラムのクラッシュが引き起こされる可能性がある。 SQLiteは膨大な数のアプリに組み込まれているため、この脆弱性はIoTデバイスからデスクトップソフトウェア、ウェブブラウザ、「Android」アプリ、「iOS」アプリに至るまでの広範

1. 概要 SQLiteを使うと小さなBLOB（例：サムネイル画像など）を読み書きする場合、fread()やfwrite()を使って個別のファイル上に記録されたBLOBを読み書きするよりも35％も速く (*1) 読み書きができます。 さらに、10キロバイトのBLOBを扱うようなSQLiteデータベースを考えた場合、個別のファイルにそれぞれのBLOBを格納する場合に比べてディスク領域を約20％も節約可能です。 このようなパフォーマンスの差が生じる理由は、（私たちの考えでは）SQLiteデータベースの場合、open()やclose()システムコールが呼び出されるのが1回だけなのに対して、個別のファイルに格納されているBLOBを使用する場合は、open()やclose()がBLOBの数だけ呼び出されるためだと思われます。どうやらopen()とclose()を呼び出すオーバーヘッドは、データベース

SQLite 3.14 Released With CSV Virtual Table Support Written by Michael Larabel in Free Software on 8 August 2016 at 01:24 PM EDT. 3 Comments SQLite 3.14 is now available as the newest version of this popular, cross-platform, embed-able SQL database software. New to SQLite 3.14 is CSV virtual table support, which allows reading comma-separated value files. The CSV virtual table can then be interact

アニマネの内部ではアプリとサーバー間でどのようにデータを受け渡ししているかという話をしてみます。 一般的にアプリとサーバー間のデータの受け渡しだとJSONやXML、YAMLなどが多いと思います。 ここにSQLiteという選択肢を入れると色々幸せになれるという話です。 もはや何で今までJSONという固定観念が捨てられなかったのかというぐらい、個人的にはコロンブスの卵でした。 あまり事例はなさそうなので、ここで紹介してみます。 アニマネでの問題点 アニメアプリのアニマネでは主にアニメの番組表やニュースをサーバーから受け取って表示しています。 都道府県にもよりますが、一つの都道府県の1週間分の番組表（アニメだけ）をJSONにすると大体750KBぐらいになるんですね。 これを開発初期ではMessagePackに置き換えてました。 話の本筋とは関係ないですが、JSONよりはMessagePackの方

SQLiteのDBファイルを暗号化したい、と思って調べ、SQLCipherを利用できるようにするまでのエントリです。 SQLiteの暗号化ライブラリ SQLiteには暗号化の手順は決められているのですが、オフィシャルの暗号化ライブラリ“SEE”がありました。 SQLite Encryption Extension しかし、なんと有償！ The cost of a perpetual source code license for SEE is US $2000. ですって！ エンタープライズな開発ならいいけど、個人の利用には、、ちょっと高いわー・・。 という感じで、他にもいくつか探してみました。 今回はiOSアプリで使いたかったのでその条件で絞りこまれたのが“SQLCipher”です。 SQLCipher – Open Source Full Database Encryption for

前回に引き続きMobile Touch for iOSをRubyMotionで開発していきます。 前回までのコードではデータを常にWeb APIを通じて取得しなければなりません。リーダーアプリとしてはオフラインでも使いたいところです。またリーダーに限らずオフラインでも使えるようにするためやキャッシュのためにデータベースを使いたいと思うことは多いはずです。 そこで今回はRubyMotion用のデータベースライブラリNanoStoreInMotionを使ってデータをキャッシュする仕組みを作ってみたいと思います。 データベースについて データを保存するためのライブラリは幾つかあります。例えばCoreDataを使えるようにするMotionDataやKVS風に使えるライブラリもあります。幾つか試しては見たのですが、どうも今回の使い方にはあっておらず断念しました。そんな中で最終的に辿り着いたのがNan

SQLiteの開発チームは8月26日、最新安定版「SQLite 3.8.0」を公開した。次世代クエリプランナーの採用、部分インデックスのサポートなどが加わっている。 SQLiteはマルチプラットフォーム対応のSQLデータベースエンジンライブラリ。軽量かつ高速、信頼性の高さなどを特徴とし、さまざまなアプリケーションで採用されている。ライセンスはパブリックドメイン。 SQLite 3.8は2010年7月に公開された3.7系からのメジャーアップデートとなる。3.7.18ではなく3.8としてリリースした理由は、Next Generation Query Planner（NGQP）の採用が理由という。既存のクエリプランナーを新たに書き直したもので、アルゴリズムの強化と高速化を図った。ただし、既存のクエリプランナーに依存するアプリケーションの中には、NGQPにより性能が劣化する可能性があると警告してい