Big Data file formats
Apache Spark supports many data formats, such as the ubiquitous CSV format and the friendly web format JSON. Common formats used mainly for big data analysis are Apache Parquet and Apache Avro. In this post, we will look at the properties of these 4 formats — CSV, JSON, Parquet, and Avro using Apache Spark. CSV CSV files (comma-separated values) usually exchange tabular data between systems using
pandasã®crosstabã§ã‚¯ãƒã‚¹é›†è¨ˆï¼ˆã‚«ãƒ†ã‚´ãƒªæ¯Žã®å‡ºç¾å›žæ•°ãƒ»é »åº¦ã‚’算出） | note.nkmk.me
pandas.crosstab()関数を使ã†ã¨ã‚¯ãƒã‚¹é›†è¨ˆåˆ†æžãŒã§ãる。 カテゴリデータ（カテゴリカルデータã€è³ªçš„データ）ã®ã‚«ãƒ†ã‚´ãƒªã”ã¨ã®ã‚µãƒ³ãƒ—ル数（出ç¾å›žæ•°ãƒ»é »åº¦ï¼‰ã®ç®—出ãªã©ãŒå¯èƒ½ã€‚ pandas.crosstab — pandas 0.22.0 documentation 出ç¾å›žæ•°ã§ã¯ãªãã€ã‚«ãƒ†ã‚´ãƒªã”ã¨ã®å¹³å‡å€¤ãªã©ã‚’算出ã—ãŸã„å ´åˆã¯ãƒ”ボットテーブルpandas.pivot_table()を使ã†ã€‚以下ã®è¨˜äº‹ã‚’å‚照。 関連記事: pandasã®ãƒ”ボットテーブルã§ã‚«ãƒ†ã‚´ãƒªæ¯Žã®çµ±è¨ˆé‡ãªã©ã‚’算出 ã“ã“ã§ã¯ã€ pandas.crosstab()関数ã®åŸºæœ¬çš„ãªä½¿ã„æ–¹ カテゴリã”ã¨ã®å°è¨ˆãƒ»ç·è¨ˆã‚’算出: 引数margins 全体・行ã”ã¨ãƒ»åˆ—ã”ã¨ã«è¦æ ¼åŒ–（æ£è¦åŒ–）: 引数normalize ã«ã¤ã„ã¦èª¬æ˜Žã™ã‚‹ã€‚ 例ã¨ã—ã¦ã‚¿ã‚¤ã‚¿ãƒ‹ãƒƒã‚¯ã®ç”Ÿå˜æƒ…å ±ã®ãƒ‡ãƒ¼ã‚¿ã‚’使用ã™ã‚‹ã€‚Kaggleã®å•é¡Œã‹ã‚‰ãƒ€ã‚¦ãƒ³ãƒãƒ¼ãƒ‰ã§ãる。 im
jQueryã§å¤–部CSVファイルをãƒãƒ¼ãƒ‰ã™ã‚‹
外部CSVファイルã‹ã‚‰ãƒ‡ãƒ¼ã‚¿ã‚’å–å¾—ã—ã¦ã€javascriptã§æ“作ã—ãŸã„å ´åˆãŒã‚る。ãã‚“ãªã¨ãã«ã¯ã€jQueryã¨jquery.csv.jsを使ã†ã®ãŒæœ€ã‚‚ç°¡å˜ã§ã‚る。 ã¨ã“ã‚ãŒã€ã“ã®æ–¹æ³•ã‚’紹介ã—ã¦ã„るサイトãŒã„ãã¤ã‹ã‚ã‚‹ã®ã«ã€ç´¹ä»‹ã•ã‚Œã¦ã„るコードを実行ã—ã¦ã‚‚動作ã—ãªã‹ã£ãŸã€‚ã“ã‚Œã¯ã€jquery.csv.jsã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã‚¢ãƒƒãƒ—や開発環境ã®å¤‰åŒ–ã®ãŸã‚ã§ã‚る。ãã“ã§ã€ç¾åœ¨ã®æ™‚点（2023-04-13）ã§å‹•ä½œã™ã‚‹ã‚³ãƒ¼ãƒ‰ã‚’紹介ã™ã‚‹ã€‚ jquery.csv.jp ã®ç’°å¢ƒå¤‰åŒ– ã¾ãšã€jquery.csv.jpã«èµ·ããŸå¤‰åŒ–を上ã’る。他サイトã®ã‚³ãƒ¼ãƒ‰ãŒå‹•ä½œã—ãªã‹ã£ãŸåŽŸå› ã§ã‚る。 $.csv()(data) ã¯ä½¿ãˆãªã„ jquery.csv.jsã®ç¾åœ¨ã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã¯1.0.21ã§ã‚る。ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã‚¢ãƒƒãƒ—ã®ãŸã‚ã€ä»–サイトã§ç´¹ä»‹ã•ã‚Œã¦ã„ã‚‹
Bitcoinchartsã§bitcoinã®éŽåŽ»ã®å–引履æ´ã‚’å–å¾—ã—å¯è¦–化ã™ã‚‹ - yag's blog
今回ã¯bitcoinã®å–引所ã§ã®å–引履æ´ã®ãƒ‡ãƒ¼ã‚¿ã‚’å–å¾—ã—ã¦ã¿ã¾ã™ã€‚ å‰å›žbitFlyer Lightningã®APIを使ãˆã‚‹ãƒ‘ッケージを作ã£ãŸæ™‚ã®ã‚ˆã†ã«ã€å„å–引所ãŒå…¬é–‹ã—ã¦ã„るデータやæä¾›ã—ã¦ã„ã‚‹APIç‰ãŒã‚ã‚Šã¾ã™ãŒã€ä»Šå›žã¯Bitcoinchartsã‹ã‚‰å–å¾—ã—ã¦ã¿ã¾ã™ã€‚Bitcoinchartsã¯å„å–引所ã®å„通貨ã®ãƒ‡ãƒ¼ã‚¿ã‚’åŽé›†ã€å¯è¦–化ã—ã¦ã„るウェブサイトã§ã€ãã“ã§åˆ©ç”¨ã—ã¦ã„るデータも公開ã—ã¦ã„ã¾ã™ã€‚ Bitcoincharts データå–å¾— WebAPIã‹ã‚‰å–å¾—ã™ã‚‹ 1ã¤ç›®ã®æ–¹æ³•ã¨ã—ã¦ã€URLã‚’å©ã„ã¦WebAPIã‹ã‚‰å–å¾—ã™ã‚‹æ–¹æ³•ãŒã‚ã‚Šã¾ã™ã€‚データをå–å¾—ã™ã‚‹ã«ã¯ã€ä»¥ä¸‹ã®URLã«ã‚¢ã‚¯ã‚»ã‚¹ã™ã‚‹ã ã‘ã§ã™ã€‚SYMBOLã®æ‰€ã«ã¯å–å¾—ã—ãŸã„å–引所&通貨ã®æƒ…å ±ã‚’æŒ‡å®šã—ã¾ã™ã€‚å–得対象ã¨ã™ã‚‹ãƒ‡ãƒ¼ã‚¿ã®é–‹å§‹æ—¥ã‚’ã‚ã‚らã™start=UNIXTIMEã¯å¿…é ˆã§ã¯ã‚ã‚Šã¾ã›ã‚“。 http://api.bitcoinchart
pandasã§CSV/TSVファイルèªã¿è¾¼ã¿ï¼ˆread_csv, read_table） | note.nkmk.me
pandasã§CSVファイルやTSVファイルをDataFrameã¨ã—ã¦èªã¿è¾¼ã‚€ã«ã¯read_csv()を使ã†ã€‚ pandas.read_csv — pandas 2.0.3 documentation IO tools (text, CSV, HDF5, …) - CSV & text files — pandas 2.0.3 documentation CSVファイルã¸ã®æ›¸ãè¾¼ã¿ãƒ»è¿½è¨˜ã«ã¤ã„ã¦ã¯ä»¥ä¸‹ã®è¨˜äº‹ã‚’å‚照。 関連記事: pandasã§CSVファイルã®æ›¸ãè¾¼ã¿ãƒ»è¿½è¨˜ï¼ˆto_csv） pandasã§ã®Excel, JSON, pickleファイルã®èªã¿æ›¸ã（入出力）ã«ã¤ã„ã¦ã¯ä»¥ä¸‹ã®è¨˜äº‹ã‚’å‚照。 関連記事: pandasã§Excelファイル（xlsx, xls）ã®èªã¿è¾¼ã¿ï¼ˆread_excel） 関連記事: pandasã§Excelファイル（xlsx, xls）ã®æ›¸ãè¾¼ã¿ï¼ˆto_exce
『Python　§４ï¼ã€€ï¼šã€€pandasã®ãƒ‡ãƒ¼ã‚¿èªã¿æ›¸ãã¯pickleを使ã†ã¨æ¿€é€Ÿã ã£ãŸï¼ã€
å‰å›žã€pickleã¨ã„ã†ã‚ªãƒ–ジェクトをä¿å˜ã™ã‚‹æ–¹æ³•ã‚’紹介ã—ã¾ã—ãŸã€‚ã²ã‚‡ã£ã¨ã—ã¦ã€ã“ã®pickleを使ã†ã¨pandasモジュールを使ã£ãŸãƒ‡ãƒ¼ã‚¿å‡¦ç†çµæžœã‚’ä¿å˜ã—ã¦ãŠã„ãŸã‚Šã€å†åº¦èªã¿å‡ºã™ã“ã¨ãŒé€Ÿããªã‚‹ã®ã§ã¯ãªã„ã‹ã¨æ€ã„ã€ãƒªãƒ¼ãƒ‰ãƒ©ã‚¤ãƒˆã™ã‚‹é€Ÿåº¦ã‚’測るã“ã¨ã«ã—ã¾ã—ãŸã€‚ ã¾ãšã¯150万行程度ã®csvファイルを以下コードã§ç”Ÿæˆã—ã¾ã™ã€‚ def file_write_test(): xy=[] x=np.linspace(-np.pi,np.pi,1500000) for r in x: y=np.sin(r) xy.append([r,y]) wfilename='csv_write.dat' csv_write(wfilename,xy,dialect='comma') return xy
pandasã§æ§˜ã€…ãªæ—¥ä»˜ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã‚’å–り扱ㆠ- Qiita
新生活応æ´æœŸé–“ä¸ã¨ã®ã“ã¨ã§ã™ã®ã§ï¼Œ"pandas"ã®ä½¿ã„方，特ã«æ—¥ä»˜ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã«ã¤ã„ã¦å–り上ã’ãŸã„ã¨æ€ã„ã¾ã™ï¼Žã€ŒPythonã¯ãƒ‡ãƒ¼ã‚¿åˆ†æžã«å¼·ã„ã€ã¨ã„ã†è©•åˆ¤ãŒã‚ã‚Šã¾ã™ãŒï¼Œã“ã‚Œã¯ä»¥ä¸‹ã®ã‚ˆã†ãªã€Œå®šç•ªã€ãƒ‘ッケージã«ã‚ˆã£ã¦å®Ÿç¾ã•ã‚Œã¦ã„ã¾ã™ï¼Ž "pandas" for representing and analyzing data "NumPy" for basic numeriacal computation "SciPy" for scientific computation including statistics "StatsModels" for regression and other statistical analysis "matplotlib" for visualization （以上，"Think Stats" より引用．） pandas ã¯ï¼ŒSeriesオブジェクト(１次元
pandas ã§ãƒ¡ãƒ¢ãƒªã«ä¹—らãªã„ 大容é‡ãƒ•ã‚¡ã‚¤ãƒ«ã‚’上手ã«æ‰±ã† - StatsFragments
æ¦‚è¦ åˆ†æžã®ãŸã‚ã«ãƒ‡ãƒ¼ã‚¿é›†ã‚ã—ã¦ã„ã‚‹ã¨ã€ãŸã¾ã« マジã‹ï¼? ã¨æ€ã†ã‚µã‚¤ã‚ºã® CSV ã«å‡ºãã‚ã™ã“ã¨ãŒã‚る。ãªãœã“ã‚“ãªã«è‚²ã¤ã¾ã§æ”¾ã£ã¦ãŠã„ãŸã®ã‹ã€ã€ã€ï¼Ÿ ã“ã®ã‚¨ãƒ³ãƒˆãƒªã§ã¯æ™®é€šã«ã¯é–‹ã‘ãªã„サイズ㮠CSV ã‚’ pandas を使ã£ã¦ã†ã¾ã„ã“ã¨å‡¦ç†ã™ã‚‹æ–¹æ³•ã‚’ã¾ã¨ã‚ãŸã„。 サンプルデータ ãŸã¾ã«ã¯å®Ÿãƒ‡ãƒ¼ã‚¿ä½¿ãŠã†ã€ã¨ã„ã†ã“ã¨ã§ WorldBankã‹ã‚‰ GDPデータをè½ã¨ã™ã€‚以下ã®ãƒšãƒ¼ã‚¸å³ä¸Šã® "DOWNLOAD DATA" ボタン㧠CSV ã‚’é¸æŠžã—ã€ãƒãƒ¼ã‚«ãƒ«ã« zip ã‚’ä¿å˜ã™ã‚‹ã€‚解å‡ã—㟠"ny.gdp.mktp.cd_Indicator_en_csv_v2.csv" ファイルをサンプルã¨ã—ã¦ä½¿ã†ã€‚ http://data.worldbank.org/indicator/NY.GDP.MKTP.CD?page=1 補足 pandas ã® Remote Data Access 㧠WorldBan
csv モジュールメモ - 銀月ã®ç¬¦å·
ã²ã•ã—ã¶ã‚Šã« csv モジュールを使ã£ãŸã®ã ã‘ã‚Œã©ã€ã†ã‚ãŠã¼ãˆã§å数分無駄ã«ã—ãŸã®ã§ã€ç°¡å˜ã«ãƒ¡ãƒ¢ã—ã¦ã¿ã‚‹ã€‚ csv モジュールã¨ã¯ CSV ã®ã‚ˆã†ãªãƒ†ã‚ストã‹ã‚‰ãƒ‡ãƒ¼ã‚¿ã‚’èªã¿å‡ºã—ãŸã‚Šã€æ›¸ã出ã—ãŸã‚Šã§ãる便利モジュール。 CSV ã£ã¦ç°¡å˜ãã†ã«è¦‹ãˆã‚‹ã‘ã©ã€ 'a,b,c'.split(',') ã¨ã‹ã‚„ã£ã¦ã—ã¾ã†ã®ã¯ã‚ã¾ã‚Šã«ç„¡é˜²å‚™ã€‚カンマ自身ã¯ã©ã®ã‚ˆã†ã«è¡¨ç¾ã•ã‚Œã¦ã„ã‚‹ã®ã‹ã€ãªã©è€ƒãˆã‚‹ã¹ãã“ã¨ãŒã„ãã¤ã‹ã‚る。ã“ã†ã„ã£ãŸäº›ç´°ãªã¤ã¾ã¥ãã‚’ã—ãªã„ãŸã‚ã«ã€ã“ã®ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«ãŒã‚る。 ãªãŠã€ csv ã¨ã„ã†åå‰ã ã‘ã‚Œã©ã‚‚〠CSV ã®ã€Œã‚ˆã†ãªã€ãƒ†ã‚ストãŒå‡¦ç†å¯¾è±¡ãªã®ã§ã‚¿ãƒ–区切りã€ã‚¹ãƒšãƒ¼ã‚¹åŒºåˆ‡ã‚Šã‚‰ã®ãƒ†ã‚ストã«ã‚‚対応å¯èƒ½ã€‚ èªã‚€ã¨ãã®å°ãƒã‚¿ CSV ã® 1 行目ãŒãƒ‡ãƒ¼ã‚¿ã§ãªãå„列ã®èª¬æ˜Žã€è¦‹å‡ºã—ã«ãªã£ã¦ã„ã‚‹ã“ã¨ã¯ã‚ˆãã‚る。 id,name 0,fgshun 1,shunã“れを事å‰ã«å–り出ã—ã¦ãŠãã«ã¯ next を使ã†
[python] csvモジュールã®DictWriter使用時ã«ãƒ˜ãƒƒãƒ€ãƒ¼ã‚’挿入ã—ãŸã„
pythonã®csvモジュールã®DictReader,DictWriterã¯ä¾¿åˆ©ã§ã€ã‚ˆã使ã£ã¦ã„る。 ç›´æ„Ÿçš„ã«å€¤æ“作ã§ãã‚‹ã®ã§ã€ã¨ã‹ã原始的ã§ã‚ã‚‹ã€csvåˆ©ç”¨å ´é¢ã«å°‘ã—ã®å®‰ã‚‰ãŽã‚’ã‚‚ãŸã‚‰ã™ã€‚ æ–‡å—コードã«æ‚©ã¾ã•ã‚Œã‚‹å ´é¢ãŒå¤šã„ã¨æ€ã†ãŒã€ãã‚Œã¯ã©ã“ã§ã‚‚付ã物ã‹ãªã€‚ ãã‚“ãªé ¼ã‚‚ã—ã„輩ã€DictWriterを使用ã—ãŸæ™‚ã€æœŸå¾…ã‚’è£åˆ‡ã‚‰ã‚ŒãŸã€‚ å˜ã«filednamesã¨æ›¸ã込む辞書データを渡ã—ãŸã ã‘ã§ã¯ã€ãƒ˜ãƒƒãƒ€ãƒ¼ãŒæŒ¿å…¥ã•ãªã„ã¨ã„ã†ã€‚ ã‹ã¤ã€æ–¹æ³•ã‚‚ドã‚ュメントã§ã¯ã±ã£ã¨è¦‹ã€æ˜Žç¤ºã•ã‚Œã¦ã„ãªã„。ãªã®ã§ãƒ¡ãƒ¢ã€‚ import csv FILEDNAMES = ("a","i","u","e","o") HEADER = dict([ (val,val) for val in FILEDNAMES ]) rows = [ {"a":"ã‚","i":"ã„","u":"ã†","e":"ãˆ","o":"ãŠ"}, {"a"
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
View tabular file such as CSV from command line
https://qiita.com/yudsuzuk/items/a13236a415f238da857e
pandasã§read_csv時ã«UnicodeDecodeErrorãŒèµ·ããŸæ™‚ã®å¯¾å‡¦ (pd.read_table()) - Qiita
csvファイルã®ãƒ˜ãƒƒãƒ€ãƒ¼ã‚’ç¢ºèª | rakkyooã®å‚™å¿˜éŒ²
{{#tags}}- {{label}}
{{/tags}}