JavaScriptでCSVファイルを読み込んでJSONを作る簡単なサンプルを示します。 const csvFilePath = '[CSVファイルのパス]' const jsonFilePath = '[JSONファイルのパス]' const csv = require('csvtojson') const moment = require('moment') const fs = require('fs') csv() .fromFile(csvFilePath) .then((rows)=>{ rows = rows.map((row) => { row.id = new Number(row.id) row.success = new Boolean(row.success) row.registrationDate = moment(row.registrationDate).f

こんにちは、CX事業本部 IoT事業部の若槻です。 今回は、APIから取得したCSV形式のデータをJSON形式に変換するAWS Lambda関数をAWS CDKで作成してみました。 やってみる 準備 準備として下記の内容のCSVファイルusers.csvをS3バケットにアップロードします。（この用途については後述します。） userId,userName,age u001,Tobey,46 u002,Kirsten,39 u003,James,43 u004,Alfred,68 u005,Rosemary,94 csvtojsonの導入 今回、CSV形式のデータをJSON形式に変換するために用いたのはcsvtojsonです。。CSV文字列からの変換とCSVファイルからの変換のいずれにも対応しているライブラリです。 csvtojson - npm csvtojsonをインストールします。 $

こんにちは、CX事業本部 IoT事業部の若槻です。 今回は、ReactアプリケーションにデータのExcel/CSV出力機能を実装してみました。 デモ CodeSandboxのデモを埋め込んでいますが、埋め込まれたサンドボックスの場合はボタンをクリックしてもブラウザにファイルダウンロードをさせることが出来ません。 ダウンロードのデモを試したい場合は、下記URLよりサンドボックスをブラウザの別タブで開いてください。 https://85dsd.csb.app/ 別タブで開いたら、いずれかのボタンをクリックすれば指定の形式でファイルがダウンロードされます。 CSV形式でダウンロードしたファイル。 Excel（.xlsx）形式でダウンロードしたファイル。 コード概要 import React from "react"; import "./styles.css"; import ExcelJS f

# タブで複数のCSVを一元管理 ファイルのドラッグ＆ドロップにも対応し、 複数のファイルをまとめて開けます。 # 文字コード・改行コードの変換に対応 ShiftJIS や UTF-8 をはじめとした、 様々なエンコーディングに対応。 改行コードの変更も簡単に行なえます。 # 区切り文字の指定が可能 .csv はもちろん、 .tsv 形式のファイルにも対応。 「カンマ区切り」や「タブ区切り」のほか、「|（パイプ）」「★」など任意の区切り文字を指定できます。

JEPXが公開している電力売買市場情報のCSV、AWSサービスでの利用が容易なJSON形式への変換をLambdaで試みました。 AWSチームのすずきです。 日本卸電力取引所（JEPX) がCSV形式で公開している、電力売買市場のスポット取引価格情報。 その確認を容易にするために、AWS Lambda を利用してJSON形式への変換を行う機会がありましたので、紹介させていただきます。 JEPX(取引情報ページ) スポット市場取引結果(CSV内容表示) 課題 CSVの1行目にデコード不能なデータが存在する。Glue、S3 Select等のツールではヘッダ情報を利用できない。 日時情報が日本時間の年月日と、1日を48分割した時刻コードで構成されている。既存の日付型データとの結合処理には加工が必須。 毎年4/1開始、年度末には1年分のレコードが蓄積(約3MB)する仕様。直近データのみ必要とする場合

CSVファイルからデータを処理して、毎月特定の形式の請求書を発行するというケースがあり、Google SpreadsheetでテンプレートをデザインしてGASでスクリプト処理を実行しました。その方法を紹介します。 Guten Tag! ベルリンより伊藤です。 特殊な請求書を発行するケースがあり、CSVファイルのデータから請求書を作成する必要がありましたので、スプレッドシート + GASで実装しました。 この投稿を書いている中で次々にバグを見つけて修正できました。アウトプット大切！ はじめに ネットで「CSVを取り込んでスプレッドシートにデータを入力する」といった情報は調べるといくつか出てきますが、普通にコードをコピペして試してみると動かない場合があります。というのも、GASでは2020年2月より V8 ランタイムが導入され、現在デフォルトで有効になっているため、以前のランタイムを元に書かれ

こんにちは。データアナリティクス事業本部の松村です。ジョインブログを投稿してから2ヶ月以上経ってしまいましたが、ようやく2本目に漕ぎ着けました。これからはもう少しペースを上げていきたいです！ 今回はデータベースからのCSVエクスポートを自動化する方法を紹介します。 ツールとしてDBeaverを使用します。Windows/Mac/Linuxと、主要なデスクトップOSで動作し、機能も多彩です。以前も弊社ブログでご紹介したことがあります。 DBeaver Community | Free Universal Database Tool 複数のデータソース(Redshiftや主要RDBMS等)及びOS(Mac/Windows/Linux)対応の無償SQLクライアントツール『DBeaver』 DBeaverにはTaskというDBに対する定形作業を自動化する機能があり、これを使います。実際の運用におい

MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました CSVファイルは今なおシステムの中で現役ばりばりに利用されています。様々なシステムから出力されるCSVファイルに対して、差分を確認したいと考えることはないでしょうか。通常の差分表示では、CSVのようなフォーマットではうまく表示できないかも知れません。 そこで使ってみたいのがcsvdiffです。CSVに特化した差分表示コマンドです。 csvdiffの使い方 普通にコマンドを打ったところです。追加された行、修正された行が確認できます。 $ csvdiff asof.csv asof2.csv # Additions (1) + 20160525 13:15:00.075,AAPL,98.65,10,NASDAQ,98.55,98.56 # Modifications (19) - 20

MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました レトロなファイルフォーマットと思っていてもまだまだ職場では使われているのがCSVです。システムからもCSV出力するものがまだまだあるはずです。CSVといえばデータがひたすら並んでおり、データの抽出も面倒です。 そこで使ってみたいのがcsvqです。コマンドラインでCSVファイルをまるでデータベースのようにデータ抽出できます。 csvqの使い方 普通にSQLを書いてデータ抽出できます。 $ csvq 'select * from `test.csv` where column1 > 1' +---------+---------+ | column1 | column2 | +---------+---------+ | 2 | str2 | | 3 | str3 | +-------

今朝方、CSVに対してSQLを実行できる「csvq」というライブラリを知りました。業務の関係で快適にCSVを操作する方法を求めていたこともあって、操作感等含めて試してみました。 mithrandie/csvq 特徴 関係するオプションも合わせて表記してみました。 標準のデリミタがコンマ--write-delimiter 出力先指定オプションがある --out 色つけできる --color 標準で罫線がついてる--format タイムゾーンの設定ができる --timezone 手軽に対話シェルとして実行できる Ambiguous Character を全角文字の幅で表示可能--east-asian-encoding ゼロ幅スペースを半角文字としてカウント--count-format-code 改行コードを指定可能--line-break CSVに対して各種操作を行う際に、あると助かるオプショ

定期的に CSV からデータを抽出する機会があり，抽出条件によって，今までは以下のような方法を使っていた． CSV を Excel で開いてフィルターを使う方法 CSV を grep / egrep などの Linux コマンドで絞り込む方法 CSV をAmazon S3 にアップロードして Amazon S3 Select でクエリを実行する方法 Rainbow CSV 新しい方法として VS Code の拡張機能「Rainbow CSV」を試すことにした．Rainbow CSV には多くの機能があり，例えば「ハイライト」や「CSVLint」や「RBQL (RainBow Query Language)」がある．データを抽出する用途だけでなく，CSV を確認するときにも便利で，普段から使える最高の拡張機能だった．以下からインストールできる． marketplace.visualstudi

MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました CSVファイルをExcelなどの表計算ソフトウェアで開こうとして嫌になるのが、勝手に数値や日付などをコンバートしてしまうことです。それが嫌な場合はExcelを立ち上げてインポートにしなければなりません。 そんな嫌な思いをしてきた人に使ってみて欲しいのがpipe2excelです。CSVを送ってExcelで開いてくれる便利ユーティリティです。 pipe2excelの使い方 例えばこんなCSVがあったとします。これをそのままExcelで開くと勝手にコンバートされます。 0001,=1+1,03,4,5/2 "hogeohg 2",5555,3,"1st “ú–{Œê 2nd 3rd 4th" そこでpipe2excelを通して開きます。そうするとすべて文字列として送られます。 pipe2

column textql csvkit xsv visidata csvtotable daff tabview CSV（またはTSV）を処理するときにはcut, sort, awk, paste, joinといったコマンドを使うことが多いが、CSVの処理で使えそうなコマンドラインツールを簡単に試してみる。 テスト用のCSVデータは下記ページで作成した。 Mockaroo - Random Data Generator and API Mocking Tool | JSON / CSV / SQL / Excel column以外はGitHubのスター順で紹介している。 column stackoverflow.com columnはLinuxコマンドだが検索で結構ひっかかったので紹介。 以下のように見やすいように揃えて出力してくれる。 $ head -n5 test.csv id,fi

今さら説明は不要かもしれませんが、CSVは「Comma-Separated Values」の略です。 いくつかのフィールド（項目）を区切り文字であるカンマ「,」で区切ったテキストデータおよびテキストファイルです。拡張子は 「.csv」です。 WindowsではExcelをインストールすると大体CSVファイルと関連付けられるため、CSVファイルをダブルクリックするとExcelが起動します。 CSVにExcelの関数を埋め込んでみる 今回はExcelの場合だけを想定して実験してみます。 筆者が検証したExcelのバージョンは「Excel2013」です。 Excelのセルに関数 “=SUM(・・・)”など を記述してCSV形式で保存すると、関数の箇所が無くなってしまいますので、今回はあえてCSVファイルを直接テキストエディタで編集して関数をテキスト内に記述していきます。 【ケース1 】SUM、A

この投稿は 「python Advent Calendar 2017 - Qiita」 の 9日目の記事です。 こんにちは、akiyoko です。 「Python Advent Calendar」は 4年連続 4度目の参加になります。　*1,　*2,　*3 はじめに 皆さん、CSV は好きですよね？　Excel も大好きですね？ じゃあ当然、CSVファイルは Excel で開きますよね。 文字化けは？　・・もちろん嫌いですよね。 でも CSVファイルを Excel で開こうとしたときに、こんな文字化け地獄を経験したことはありませんでしたか？　*4 ということで今回は、Excel で直接開いたときに文字化けしない CSV ファイルを Python3 で作成する方法 を紹介したいと思います。（おまけで Python2 でのやり方も書いておきますが、今時 Python2 で消耗している人なんてい

はじめに Web上で長期間の株価データを探してもなかなか見つからないので，Pythonを用いて株価のヒストリカルデータを取得し，CSV形式で出力，さらに出力したデータをプロットするプログラムを作成しました． 日本株・外国株いずれにも対応しています． 参考までに，例として出力した日経平均株価1のCSVファイルはこちら，さらにプロットすると以下のようになります． ソースコードの紹介 まず，作成したソースコードを紹介します． #!/usr/bin/env python3 # -*- coding:utf-8 -*- ''' 株価データのプロット・CSVへの出力 ''' import datetime as dt from pandas import DataFrame import jsm import pandas_datareader.data as web import matplotli

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert