PyArrowã¨Parquet - Atsuo Ishimoto's blog
ã•ã¦ã€ãƒ“ッグデータ全盛ã®æ˜¨ä»Šã€æ•°ã‚®ã‚¬ãƒã‚¤ãƒˆç¨‹åº¦ã®ãƒ‡ãƒ¼ã‚¿ã®ã‚„ã‚Šå–ã‚Šã¯çã—ãã‚‚ãªã‚“ã¨ã‚‚ãªã„時代ã«ãªã‚Šã¾ã—ãŸã€‚交æ›ç”¨ãƒ‡ãƒ¼ã‚¿ãƒ•ã‚¡ã‚¤ãƒ«ã®ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã‚‚ã„ã‚ã„ã‚ãªå½¢å¼ãŒä½¿ã‚ã‚Œã¦ã„ã¾ã™ãŒã€ã“ã“ã§ã¯Pythonã§ä¸€èˆ¬çš„ã«ä½¿ã‚ã‚Œã¦ã„るファイル形å¼ã‚’ç°¡å˜ã«æ¤œè¨Žã—ã¦ã¿ã¾ã—ょã†ã€‚ CSV¶昔ã‹ã‚‰ã€å˜ç´”ãªè¡¨å½¢å¼ã®ãƒ‡ãƒ¼ã‚¿ã«ã¯CSVãŒä½¿ã‚ã‚Œã¦ãã¾ã—ãŸã€‚Microsoft Excelã‚’ã¯ã˜ã‚ã¨ã—ã¦ã•ã¾ã–ã¾ãªãƒ„ールã§ã‚µãƒãƒ¼ãƒˆã•ã‚Œã¦ãŠã‚Šã€å¹…広ã„環境ã§åˆ©ç”¨ã§ãã¾ã™ã€‚ データã®ä½œæˆÂ¶ä¾‹ã¨ã—ã¦10万行・100カラムã®ãƒ‡ãƒ¼ã‚¿ã‚’作æˆã—ã€CSVå½¢å¼ã§ä¿å˜ã—ã¦ã¿ã¾ã—ょã†ã€‚インデックスã¨ã—ã¦ã€datetimeåž‹ã®å€¤ã‚’指定ã—ã¦ã¾ã™ã€‚ %pip install pandas pyarrow numpy tqdm dask graphviz import sys import numpy as np import pandas as pd pd.
Athenaを使ã£ãŸãƒ‡ãƒ¼ã‚¿å‡¦ç†åŸºç›¤ã®è¨è¨ˆ - Speee DEVELOPER BLOG
ã“ã‚“ã«ã¡ã¯ã€‚UZOUã®ãƒ—ãƒãƒ€ã‚¯ãƒˆé–‹ç™ºã‚’ã—ã¦ã„るエンジニアã®@kanga333ã§ã™ã€‚ UZOUã§ã¯åºƒå‘Šãƒ‡ãƒ¼ã‚¿ã®é›†è¨ˆã®ä¸€éƒ¨ã«Amazon Athenaを採用ã—ã¦ã„ã¾ã™ã€‚ ã“ã®è¨˜äº‹ã§ã¯UZOUã«ãŠã‘ã‚‹Athenaを使ã£ãŸãƒ‡ãƒ¼ã‚¿å‡¦ç†åŸºç›¤ã®è¨è¨ˆã«ã¤ã„ã¦ç´¹ä»‹ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ å…¨ä½“æ§‹æˆ ãƒ‡ãƒ¼ã‚¿å‡¦ç†åŸºç›¤ã®å…¨ä½“構æˆã¯æ¬¡ã®ã‚ˆã†ã«ãªã£ã¦ã„ã¾ã™ã€‚ 以後ã¯ãã‚Œãžã‚Œã®ã‚³ãƒ³ãƒãƒ¼ãƒãƒ³ãƒˆã«ã¤ã„ã¦é †æ¬¡ç´¹ä»‹ã—ã¦ã„ãã¾ã™ã€‚ Fleuntdã«ã‚ˆã‚‹S3ã¸ã®é›†ç´„ UZOUã§ã¯ç‰¹ã«Fluentdアグリゲータã®ã‚ˆã†ãªä¸ç¶™ã‚µãƒ¼ãƒã¯è¨ã‘ã¦ã„ã¾ã›ã‚“。広告é…信サーãƒã«å¸¸é§ã™ã‚‹FluentdãŒãƒã‚°ã‚’直接S3ã«ãƒ—ットã—ã¦ã„ã¾ã™ã€‚ 以下ã¯Fluentdã®S3 output部分ã®è¨å®šã®ä¸€éƒ¨æŠœç²‹ã§ã™ã€‚ <buffer time> @type file timekey 60m </buffer> path example_table/dt=%Y%m%d/h
python環境ã§csv, pickle, joblib, parquetã®èªã¿æ›¸ã速度ã¨å®¹é‡ã‚’比較 - Qiita
ã‚„ã£ãŸã“㨠pythonã§2次元é…列データを一時ä¿å˜ã™ã‚‹ã¨ãã«ã‚ˆã使ㆠ1. pickle.dump 2. joblib.dump 3. pyarrowã«å¤‰æ›ã—ã¦parquetä¿å˜ 4. pd.write_csv ã®ãã‚Œãžã‚Œã«ã¤ã„ã¦èªã¿æ›¸ã速度ã¨ä¿å˜å®¹é‡ã‚’比較ã—ã¾ã—ãŸã€‚ çµè«– 圧縮率ã¨é€Ÿåº¦ãªã‚‰pickle protocol=4 一部ã ã‘èªã‚“ã り書ã„ãŸã‚Šã‚’ç¹°ã‚Šè¿”ã™ã‚ˆã†ãªå ´åˆã¯pyarrowã§parquetä¿å˜ ãŒè‰¯ã•ãㆠ試行環境 CPU: Xeon E5-2630 x 2 chip VRAM: 128GB Windows8 64bit python 3.6 比較ã«ä½¿ã£ãŸãƒ‡ãƒ¼ã‚¿ 機械å¦ç¿’用ã®ç‰¹å¾´é‡ãƒ‡ãƒ¼ã‚¿ã§è©¦è¡Œã—ã¾ã—㟠・pandas.DataFrameã® 536è¡Œ178886列 0.77GB ・pandas.DataFrameã®4803è¡Œ178886列 6.87GB 比較çµæžœ 0.77GBã®
Apache Arrowã®Rパッケージã§factorã‚’å«ã‚“ã データもParquetファイルã«èªã¿æ›¸ãã§ãるよã†ã«ãªã‚Šã¾ã—㟠- Technically, technophobic.
1ヶ月å‰ã«ã€ã€ŒApache Arrowã§Parquetã‚’èªã¿æ›¸ãã™ã‚‹ã¨ãfactorを扱ã†æ–¹æ³•ãŒã‚ˆãã‚ã‹ã‚‰ãªã„ã€ã¿ãŸã„ãªã“ã¨ã‚’ゴニョゴニョ書ãã¾ã—ãŸãŒã€ ç›´ã‚Šã¾ã—ãŸã€‚ å°‘ã—ã ã‘解説ã—ã¦ãŠãã¨ã€å®Ÿã¯Apache Parquetã«ã¯ç›´æŽ¥ã€Œã‚«ãƒ†ã‚´ãƒªå€¤ã€ã«å½“ãŸã‚‹ã‚‚ã®ã¯ã‚ã‚Šã¾ã›ã‚“。ãŒã€Dictionary encodingã¨ã„ã†åœ§ç¸®ã®ãŸã‚ã®æŠ€è¡“ã‚’æ´ç”¨ã—ã¦ã‚«ãƒ†ã‚´ãƒªå€¤ã‚’表ç¾ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ Dictionary encoding is a compression strategy in Parquet, and there is no formal “dictionary†or “categorical†type. (Faster C++ Apache Parquet performance on dictionary-encoded string data coming in Apache A
Pandasã®ãƒ‡ãƒ¼ã‚¿ã‚’pyarrowã§Parquet変æ›ã—ã¦GCS(Google Cloud Storage)ã«ã‚¢ãƒƒãƒ—ãƒãƒ¼ãƒ‰ - YOMON8.NET
タイトルã®é€šã‚Šã§ã™ã€‚Pandasã®Dataframeã‚’pyarrowã§Parquetã«å¤‰æ›ã—ã¦ã€ãã®ã¾ã¾GCSã«ã‚¢ãƒƒãƒ—ãƒãƒ¼ãƒ‰ã—ã¦ã„ã¾ã™ã€‚ スクリプト ã“ã‚“ãªå½¢ã§å®Ÿè¡Œå¯èƒ½ã§ã™ã€‚ファイルを経由ã—ãªã„ã§Bufferã‹ã‚‰ã€ãã®ã¾ã¾ã‚¢ãƒƒãƒ—ãƒãƒ¼ãƒ‰ã—ã¦ã„ã¾ã™ã€‚ import pandas as pd import pyarrow as pa import pyarrow.parquet as pq import numpy as np import datetime from google.cloud import storage as gcs # ダミーデータã§Dataframeä½œæˆ row_num = 100000 string_values = ['Python', 'Ruby', 'Java', 'JavaScript', 'PHP','Golang'] df = pd.DataFrame({
ãã‚ãã‚RユーザーもApache Arrowã§Parquetを使ã£ã¦ã¿ã¾ã›ã‚“ã‹ï¼Ÿ - Technically, technophobic.
先日ã€Apache Arrowæ±äº¬ãƒŸãƒ¼ãƒˆã‚¢ãƒƒãƒ—2019ã§ã€ŒRã¨Apache Arrowã€ã¨ã„ã†ã‚¿ã‚¤ãƒˆãƒ«ã§ç™ºè¡¨ã—ã¦ãã¾ã—ãŸã€‚ã‚ã¨ã€Japan.Rã§ã‚‚Apache Arrowã«ã¤ã„ã¦LTã—ã¾ã—ãŸã€‚ 話ã—ãŸã“ã¨ã¨ã—ã¦ã¯ã€ arrowパッケージを使ã†ã¨Parquetファイル（後述）ã®èªã¿æ›¸ããŒã§ãã‚‹ sparklyrパッケージãŒå†…部ã§Apache Arrowを使ã†ã‚ˆã†ã«ãªã£ã¦ã€R↔Sparké–“ã®ãƒ‡ãƒ¼ã‚¿ã®ã‚„ã‚Šå–ã‚ŠãŒé«˜é€Ÿã«ãªã£ãŸ Arrow FlightãŒã‚‚ã£ã¨ä¸€èˆ¬çš„ã«ãªã‚Œã°ã€JDBCã‚„ODBCを使ã‚ãªãã¦ã‚‚データベースã‹ã‚‰ãƒ‡ãƒ¼ã‚¿ã‚’å–ã£ã¦ã“れるよã†ã«ãªã‚‹ ã¨ã„ã†æ„Ÿã˜ã§ã€å€‹äººçš„ã«ã„ã¾å¼·èª¿ã—ãŸã„ã®ã¯1.ã§ã™ã€‚ã¨ã‚Šã‚ãˆãšParquetファイルã®èªã¿æ›¸ãã¨ã„ã†ã®ãŒRユーザーã«ã¨ã£ã¦ä¸€ç•ªã‚ã‹ã‚Šã‚„ã™ã„メリットãªã®ã§ã€ãã“ã‚’ãã£ã‹ã‘ã«ã¿ã‚“ãªApache Arrowã«ã‚ºãƒ–ズブã«ãªã£ã¦ã€ã‚‚ã£ã¨ä¸–ã®ä¸ã®ã‚·ã‚¹ãƒ†ãƒ ãŒApac
Lambdaã®Layer機能活用ã—ã¦pandas,pyarrow,s3fs使ã£ã¦Parquet変æ›ã™ã‚‹ç°¡æ˜“ETL処ç†ã‚’実装ã™ã‚‹ - YOMON8.NET
å°ã•ãªãƒ•ã‚¡ã‚¤ãƒ«ã®ETLã«Glueを使ã†ã®ãŒã‚‚ã£ãŸã„ãªã‹ã£ãŸã®ã§ã€Pandasã‚„pyarrowã§å®Ÿè£…ã—ã¾ã—ãŸã€‚ Lambda Layerã«pandasã¨pyarrowã‚’è¿½åŠ Layerã«ç™»éŒ²ã™ã‚‹ãƒ‘ãƒƒã‚±ãƒ¼ã‚¸ã‚’ä½œæˆ ãƒ‘ãƒƒã‚±ãƒ¼ã‚¸ã‚’ã‚¢ãƒƒãƒ—ãƒãƒ¼ãƒ‰ Lambdaã®ã‚³ãƒ¼ãƒ‰ エラー対応 å‚考 Lambda Layerã«pandasã¨pyarrowã‚’è¿½åŠ Layerã«ç™»éŒ²ã™ã‚‹ãƒ‘ãƒƒã‚±ãƒ¼ã‚¸ã‚’ä½œæˆ ä»Šå›žåˆ©ç”¨ã™ã‚‹ã®ã¯pandasã¨pyarrowã€s3fsãªã®ã§ã™ãŒå°‘ã—工夫ãŒå¿…è¦ã§ã—ãŸã€‚ ３ã¤ã‚’å…¨ã¦ã‚’一ã¤ã®ZIPã«çºã‚ã‚‹ã¨Lambda Layerã®50MBã®åˆ¶é™ã«ã‹ã‹ã£ã¦ã—ã¾ã„ã¾ã™ã€‚ 3ã¤ã«ZIPを分割ã™ã‚‹ã¨Lambdaã«ãƒ¬ã‚¤ãƒ¤ãƒ¼è¿½åŠ ã™ã‚‹æ™‚ã®åˆ¶é™ã«ã‹ã‹ã£ã¦ã—ã¾ã„ã¾ã™ã€‚ Layers consume more than the available size of 262144000 bytes 大ããªnumpyãªã©ã‚’共有
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Accessing WARC files via SQL
Athenaを使ã£ãŸãƒãƒƒãƒå‡¦ç†ã®TIPS
GitHub - commoncrawl/cc-index-table: Index Common Crawl archives in tabular format
{{#tags}}- {{label}}
{{/tags}}