SQLite3 WASM/JS、Origin Private File Systemを用いてChrome上の高速なローカルDBが機能するとGoogleが明らかに、廃止されたWeb SQLの代替として利用可能 Google Chromeの開発チームは昨年（2022年）9月に、非推奨となったWeb標準のWeb SQL Database API（以下Web SQL）をChromeから削除、その代替機能としてSQLite開発チームと協力してWebAssembly版のSQLiteを開発し、提供する予定であることを明らかにしていました。 参考：Chrome開発チームがSQLiteチームとWebAssembly版SQLiteを開発中。Webブラウザ上からのファイル書き込みで永続化も可能。Web SQL APIの代替として Web SQLはWebアプリケーションがSQLを通じてローカルなリレーショナルデー

#はじめに 最近、プライベートでデータ分析のツールを作成している関係でpandasというpython外部ライブラリを活用している。が、いざ使って見ると、「pandas?なにそれかわいいの？」と動物のパンダ🐼を連想させるヤバい思考に行きつつある状況になる。 これはまずいと感じ、投稿者はpandasを探し求める旅に出る。 この記事は、pandasを飼いならすためにpandasをSQLっぽく考えるというデータサイエンス初学者に向けた記事となります。 #そもそもpandasとは何か pandasとは、構造化された（表形式、多次元、潜在的に不均質）データと時系列データを簡単かつ直感的に操作できるように設計された高速で柔軟な表現力のあるデータ構造を提供するPythonパッケージで、実際的な実世界のデータ分析を行うための基本的な高レベルのビルドを行う事が可能なツールです。 要は、表データをpython

Use the jOOQ Parser to translate any SQL statement(s) to a different dialect.* -- Put your schema definition here (optional) -- -- While this is not a strict requirement, you will -- get much better results as jOOQ knows about constraints, -- data types, column names, etc. Especially when -- translating to jOOQ/Java code, in case of which the -- resulting jOOQ code can table and column references

#はじめに 最近、プライベートでデータ分析のツールを作成している関係でpandasというpython外部ライブラリを活用している。が、いざ使って見ると、「pandas?なにそれかわいいの？」と動物のパンダ🐼を連想させるヤバい思考に行きつつある状況になる。 これはまずいと感じ、投稿者はpandasを探し求める旅に出る。 この記事は、pandasを飼いならすためにpandasをSQLっぽく考えるというデータサイエンス初学者に向けた記事となります。 #そもそもpandasとは何か pandasとは、構造化された（表形式、多次元、潜在的に不均質）データと時系列データを簡単かつ直感的に操作できるように設計された高速で柔軟な表現力のあるデータ構造を提供するPythonパッケージで、実際的な実世界のデータ分析を行うための基本的な高レベルのビルドを行う事が可能なツールです。 要は、表データをpython

[アップデート] API で非同期な SQL クエリが実行できる！Amazon Redshift で Data API が利用可能になりました 先日のアップデートで Amazon Redshift で Data API が利用可能になりました。 Announcing Data API for Amazon Redshift Data API サポートによるメリット ドライバーが不要！ 従来、Redshift クラスターに接続するには JDBC/ODBC といったドライバーを介して SQL クライアントツールで接続していたかと思います。 Data API はその名のとおり API によって SQL ステートメントを実行することが出来ますので、クライアント環境にドライバーのインストールは必要ありません。Amazon EventBridge によるイベントまたはスケジュールをトリガーとして La

こんにちは！Kyashで事業開発を担当しているnozomuです。今日はプロダクトマネージャー、経理、カスタマーサポート、事業開発など様々なメンバーがエンジニアとSQLを学ぶ、SQL部について紹介をしたいと思います。 SQL部発足のきっかけ Kyashには以前から部活動が存在していて、「3人以上で活動すること」等の条件を満たせば活動費が会社からサポートされる仕組みがあります。活動頻度は様々ですが、ボードゲーム部やフットサル部などが存在します。ちなみに私はフットサル部の部長を自認しております(笑) そんな中2020年初めに、当時入社したばかりだったメンバー(以下、Tさん)からこんな声が上がりました。 このコメントだけ抜粋してもよくわからないかもしれないですが、データエンジニアが書いたデータ抽出のSQLの載っているKibela(社内wiki)に対して、コメント通り「唐突」にリクエストをしています

本稿では、分析用のSQLを書くときに則っている思考回路について述べて行こうと思います。 この言語化はあまりきちんとされている印象が無いので、自分がそこそこ初めての言語化だと思って頑張ってやってみようと思います。 言い換えれば、私はこういう思考回路でSQLを書きますが、みなさんどうですか、という話でもあります。 あとは、前提として、現代的な分析用の分散エンジンにSQLを投げるときを考えています。それ以外の場合はむしろ非効率になることも多いかもしれません。 0.問題設定今回の題材は、待てばチケットが復活する無料単話があり、有料で無料単話も買える、そして単行本購買もできる、というマンガサービスとしましょう。 このサービスの企画者から、チケットで無料単話だけ読むユーザが、もし有料で単話を買うようになったらどれくらい売上が伸びるのか教えてほしい、という依頼が来たとします。 これを仮説形式に直すと、

slack とかを使っていると、新たに部屋に参加した人は挨拶するじゃないですか。「こんにちは！」って。そしたら、既に部屋にいる人は「こんにちはこんにちは！」って返しますよね。その後に入ってきた人は、これを見て「こんにちはこんにちはこんにちは！」って挨拶したり、次の人は「こんにちはこんにちはこんにちはこんにちは！」って書き込んだり、しますよね。 これを SQL でさくっと書けないか、と、とある チャンネルに @yoku0825 さんが書いた疑似SQLがこれ。 WITH RECURSIVE t AS (SELECT 1 AS c, 'こんにちは' AS str UNION ALL SELECT c + 1, CONCAT(str, str) FROM t WHERE c < ?) SELECT CONCAT(str, '！') FROM t; 実はこれ、実行すると、 Data too long

sqlsとは sqlsとは、いま私が開発中のSQL用Language Serverです。SQLをエディタで編集するときの支援機能を実装したサーバとなっており、主な特徴は以下です。 Language ServerなのでLSクライアントが存在するエディタであればどんなエディタでも利用可能 SQL編集支援機能 自動補完(テーブル名、カラム名など) 定義参照 SQL実行 複数のRDSMSに対応 MySQL PostgreSQL SQLite3 Language Serverとは Language Server(あるいはLanguage Server Protocol)とは、プログラム言語の開発支援機能をエディタに提供するサーバ、およびその通信内容を規定したプロトコルです。ただしサーバといってもほとんどの場合ローカル内にホスティングしてローカルのエディタと通信をします。 ここでは主題ではないので詳し

※この投稿は米国時間 2020 年 4 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。 機械学習はかつては専門の研究者の領域で、ソリューションの構築には複雑なモデルや独自のコードが必要でした。しかし、Cloud AutoML によって機械学習はこれまでになく身近なものになりました。モデルの構築プロセスを自動化することで、ユーザーは最小限の機械学習の専門知識（しかも最小限の時間）で高性能のモデルを作成できます。 ただし、多くの AutoML チュートリアルや入門ガイドでは、適切に整理されたデータセットがすでに用意されていることを前提としています。とはいえ実際には、データを前処理して特徴量エンジニアリングを行うために必要な手順は、モデルの構築と同じくらい複雑になることもあります。この投稿では、実際の元データからトレーニングされたモデルに至るまでどのような道のり