はじめに AWS AthenaはPresto SQLに準拠しているため数々の時刻関数を使用することができます。 今回は私がよく使うものを紹介していきたいと思います。 参照元 タイムゾーンの設定

概要 Python で日時/タイムスタンプ関連の操作をする場合は dateutil や arrow を使っている人が多いと思うが、 pandas でもそういった処理がわかりやすく書けるよ、という話。 pandas の本領は多次元データの蓄積/変形/集約処理にあるが、日時操作に関連した強力なメソッド / ユーティリティもいくつか持っている。今回は それらを使って日時操作を簡単に行う方法を書いてく。ということで DataFrame も Series もでてこない pandas 記事のはじまり。 ※ ここでいう "日時/タイムスタンプ関連の操作" は文字列パース、日時加算/減算、タイムゾーン設定、条件に合致する日時のリスト生成などを想定。時系列補間/リサンプリングなんかはまた膨大になるので別途。 インストール 以下サンプルには 0.15での追加機能も含まれるため、0.15 以降が必要。 pip

といった時刻表記をAthenaでjstの時刻でtimestamp型に変換する際に調べたことを記録しておく。 上記表記はUTCという余計な文字列が入っていたりとそのままではtimestamp型に変換できないのでいくらか変換の手順を踏んだ。 今回はカラム名をtime_columnとする 結論 cast(substr(time, 1, 20) as timestamp) + interval '9' hour as time

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 元データがtsv, csvなものをpythonを利用してparquetに変換して、spectrumで利用するためにやったこと timestampなカラム周りでかなり苦労したのでせっかくなので書く 結果的にかなり単純にできるんだけど、あまりやり方とかなかったのでせっかくだし書いた 一行でまとめると fastparquetのwrite関数でtimesオプションにint96をつけろ！ いろいろ tsvをparquetに変換すること自体はかなり容易で、fastparquetやpyarrowを利用することで数行で実現できます。 blog.amedama.jp などのように単純にできます。このとき、parquetのschemaはpandasのdataframeをもとに設定されていきます。 文字列や数字のカラムだったら基本的にそのまま変換して、そのまま外部テーブルとして読み込ませることが可能なので

pandas 集計処理について ■集約処理について DataFrameからgroupby関数を呼び出し、引数に集約単位を設定し さらに集約関数を呼び出すことで可能。 データ数を算出する集約関数は、size関数。ユニークカウントする関数は nunique関数。 同じ集約単位に対する複数の処理を行う場合には、agg関数を利用することで 同時に集約処理が可能。 import numpy as np import pandas as pd index ID 日 時 セッション 閲覧時間 0 328667572 31 16 38 5 1 70373573 24 23 37 7 2 1839656582 12 20 28 6 4 1471882803 10 22 22 7 5 302325623 20 8 22 2 ↓閲覧時間をユニークカウントにして、IDをカウント↓ sample.groupby("

1 Active Recordクエリインターフェイスとは？ 生のSQLを使ってデータベースのレコードを検索することに慣れた人がRailsに出会うと、Railsでは同じ操作をずっと洗練された方法で実現できることに気付くでしょう。Active Recordを使うことで、SQLを直に実行する必要はほぼなくなります。 Active Recordは、ユーザーに代わってデータベースにクエリを発行します。発行されるクエリは多くのデータベースシステム（MySQL、MariaDB、PostgreSQL、SQLiteなど）と互換性があります。Active Recordを使えば、利用しているデータベースシステムの種類にかかわらず同じ記法を使えます。 本ガイドのコード例では以下のモデルを使います。 class Book < ApplicationRecord belongs_to :supplier belong

FLOAT[(M,D)] [UNSIGNED] [ZEROFILL] 許可される値は -3.402823466E+38 から -1.175494351E-38 0 1.175494351E-38 から 3.402823466E+38 DOUBLE[(M,D)] [UNSIGNED] [ZEROFILL] 許可される値は -1.7976931348623157E+308 から -2.2250738585072014E-308 0 2.2250738585072014E-308 から 1.7976931348623157E+308 別名：DOUBLE PRECISION 、 REAL