dbtplyr を使ってみる 2024/12/07 Japan.R 2024 (#JapanR) 小坪琢人 (@airspace_nobo) Here is the English version of the document (I also upload Engilsh version on X with #JapanR tag.) https://x.com/airspace_nobo https://www.docswell.com/s/airspace_nobo/K4V4ML-try_using_dbtplyr_japanr_english_ver/1 https://x.com/hashtag/JapanR?src=hashtag_click

tl;dr SQLiteのOLAP版だよ OLAP系のクエリにおいて、PandasやSQLiteより早いらしいよ CSV・Parquet・Pandas DataFrameの読み書きできて便利だよ 背景 ポジション・競合 一言で言うとSQLiteのOLAP版です。位置づけとしては、論文(DuckDB: an Embeddable Analytical Database (SIGMOD 2019 Demo))記載のSystem Landscapeがわかりやすいです。 （DuckDB: an Embeddable Analytical Database (SIGMOD 2019 Demo)より） このLandscapeでは、データベースを Standalone（クライアント・サーバモデル）か、組み込み（シングルマシン・インプロセス）か OLTPかOLAPか の二軸に分割しています。その上で、 ク

DuckDBを触っていて特に興味を持った機能を中心に雑解説します。

普段開発とかしない人達にもデータベースに簡単に触れられるようにしたお話です． 安全なデータベースを作る 本番サービスのデータベースと同等，だけど個人情報的なものは隠しておきたい，よく聞く話ですね． これについては様々なアプローチがあるようですが，できる限り安定させたい＆バッチでやるにしてもサーバの面倒を見たくない，とう方針のもと，RDSのスナップショットを利用して作成することにしました． 処理の流れ RDSが1日1回スナップショットを取っている(これはRDSの機能) RDSのスナップショットが取られると，RDSからイベント通知が投げられるので，SNS→SQSへ届くようにしておく(これもRDSの機能) CloudWatchでSQSのキュー数を監視するようにしておき，キューが1つ以上になると処理用のインスタンスを立ちあげる設定にしておく(CloudWatch，AutoScalingの機能) イ

今回掲載の内容 SQLで集計を行うには？ 「GROUP BY」句の制約 列名の指定「AS」 特定の集計行のみの表示 SQLで集計を行うには？ 今回は、SQL文での集計の方法（GROUP BY）を説明します。前回までに説明した「SELECT」文では、データを取得し表示させた場合、表示されるデータは元のデータの一部、もしくはすべてでした。今回使用する「GROUP BY」句を使用すると、特定の列をキーにした合計値や平均値などが表示される結果となります。まずは、例1のSQL文を実行してみましょう。前回説明したとおり、「Order Details」テーブルの指定に " "（ ダブル・クオーテーション）を使用していますので、注意してくださいね。

W3Schools offers a wide range of services and products for beginners and professionals, helping millions of people everyday to learn and master new skills. Free Tutorials Enjoy our free tutorials like millions of other internet users since 1999

5. Apache Sparkの概要 ■ OSSのインメモリ処理の分散並列基盤． ■ RDDという分散コレクションに対して， map, filter, reduceなどのデータ処理を繰り返して 目的のデータを得る処理モデル． ※ RDD: Resilient Distributed Dataset ■ 2009年，UC Berkeley(当時)のMatei Zaharia氏が 関数プログラミング言語Scalaを用いて開発． 5 6. Apache Sparkの概要 ■ Sparkのコアとなる分散処理エンジン (Apache Spark Core) ■Spark SQL: SparkのアプリでSQL ■Spark Streaming: ストリーム処理 ■MLlib: 機械学習 ■GraphX: グラフの処理 6

DBにクエリを投げてテストする際、RStudioからRPostgreSQLなどのライブラリを利用すると非常に便利です。 なぜかというと、DBからの戻り値をRのデータフレーム型の変数に格納することができ、 その値をR言語の豊富な関数によって集計することができるからです。 overlap.hatenablog.jp ただ、私の場合sqlのクエリの文字列を手入力しなければならず、毎回面倒な上自由度が低く、ぐんにょりしていました。 sql <- " SELECT date, sum(sales) AS amount FROM table WHERE amount > 100 ORDER BY date " db.con <- RPostgreSQL::dbConnect( drv = dbDriver("PostgreSQL"), host = "192.********", user = "ta

For over a decade, integrating Python and q has been crucial to the infrastructures of many of our largest clients. Seamlessly combining these technologies provides […] Read now

PostgreSQLのcopyではまったのでメモしておく。 環境はWindows7 64bit/32bit、PostgreSQLは9.4.4。下記のような商品マスターっぽいtsvデータをcopyすると id_item name_item 111111 hogehoge ¥200 222222 fugafuga ¥300 copy table_item from 'item.tsv' encoding 'sjis'; ERROR: invalid byte sequence for encoding "UTF8": 0x80 SQLステート:22021 コンテキスト:COPY table_item, line 1: "111111 hogehoge \200" ということは、¥ → ¥¥ にすれば良いんだね。 id_item name_item 111111 hogehoge ¥¥200 2

2015-07-25 【R+MySQL】RとMySQLを使いカラムの平均、分散、標準偏差を求める 〜RMySQLのインストールから実践まで〜 R MySQL 序章MySQLのデータを統計的に調査したり、Excelで加工して伝票や書類を作ると言ったとき、MySQLのデータを外に持ち出す必要がある。一番考えられる方法はcsv出力だが、これが又一手間である。こんな時こそR、Excel(VBA)、C#Oracle,Microsoft SQL Server,MySQL間を行き来するようなプログラムの出番だ。余談だが求人に「VBAやC#の出来る人を募集」と書いてあるような、Microsoft製品を愛用する企業の場合、今回Rでやる事をVBAやC#でやる事が予想される。iPhone/Android全盛と言っても、日本国内でMicrosoft製品を愛用している人は多い事も見逃せない。ここで各言語とも MyS

みんな大好き dplyr では、データソースとしてデータベースを扱うことができます。 この機能は非常に便利なんですが、私以外に使っている人を見たことないです。 みんな知らないだけかもしれないので、Web上で読める情報をここにまとめておきます。 まず使い始めたい人は本家 Hadley の書いた Vignette Databases この Vignette を日本語で解説してくれる @dichika さんの記事 dplyrとデータベース あたりを読むといいと思います。 Vignette にはなぜか CASE 式の書き方が載っていないので次の記事も読むといいです。 dplyr で DB にクエリを投げる時に CASE 式を使いたい これで基本的なやり方はわかったはずです。 あとは DB が PostgreSQL なら環境変数を使って文字化けを防いだり接続を楽にしたりできます。 dplyr、Pos

この記事は abicky.net の R と SQL を対応付けてみた 〜data.table 編〜 に移行しました

かつてこんな記事を書きました。 http://d.hatena.ne.jp/dichika/20140422/p2 RMySQLはバイナリが配布されていなかったのでインストールが面倒だったのです。 実際Rjpwikiにも以下のような書き込みがあります。 http://www.okada.jp.org/RWiki/?RMySQL#o9e1224d でも今はバイナリが配布されているのでWindowsにも簡単にインストールできるようです。 install.packages("RMySQL")でOKです。 これにはRstudioの面々の努力があるようです。素敵。 詳しくは下記をどうぞ。 http://blog.rstudio.org/2015/01/09/rmysql-0-1-0/ サンプルコード 下記でRStudioがホストしているデータセットを試せます。 install.packages("R

研究データを公開し，共有するためのデータリポジトリを紹介します。(1)パデュー大学の機関リポジトリ「PURR」，(2)分野別リポジトリのディレクトリ「Databib」と「re3data.org」，(3)無料のリポジトリサービス「figshare」と「ZENODO」です。 (3)は誰でもデータやポスター，スライドなどを簡単に登録できます。たとえば，ZENODOはデータをアップロードするだけではなく，DropboxやGitHubからもファイルやコードを登録でき，DOI付きで公開→引用可能になります。 機関リポジトリ PURR – パデュー大学 Publications > Datasetsから登録されているデータセットを通覧できます。 Matthews, C; Witt, M. The Purdue University Research Repository (PURR): Providin