はてなブックマーク

はじめに 対応しているデータ形式 類似のツールとの比較 バージョン インストール方法 基本的な使い方 ファイルに対して SQL クエリを実行する 標準入力に対して SQL クエリを実行する クエリ結果を整形する 複数のファイルに対して SQL クエリを実行する 複数のファイルを JOIN する データ形式が異なるファイルを JOIN する 任意のデータ形式から JSON ヘの変換 オブジェクト内にネストしている配列に SQL クエリを実行する ネストしているオブジェクトから値を取得する ネストしている配列から値を取得する 正規表現のサポート その他 カラムの出力順 スキーマの推測 入力ファイルのキャッシュ REPL CSV と TSV ファイル内の数値の変換 参考サイト JSON, CSV, Excel, Parquet 等の様々なデータ形式に SQL クエリを実行できる dsq コマンド

iTerm2 のコピーモード コピーモードの開始と終了 基本的なカーソル移動 コピー範囲の選択とコピーの実行 単語の移動 行の移動 その他のカーソル移動 チートシート 参考サイト iTerm2 のコピーモードはキーボードで範囲を指定してコピーできるのが便利なのでメモ。 このメモは Build 3.4.2 で動作を確認している。 チートシートは最後に記載しているのでチートシートだけ見たいときはそちらを見てほしい。 iTerm2 のコピーモード iTerm2 は コピーモード があって iTerm2 をコピーモードにするとキーボードで範囲を指定してコピーできるのがかなり便利なのでメモしておく。 iTerm2 のコピーモードはキーボードでカーソルを移動することができる。 vim ライクなキー操作でもカーソルを移動することができるので vim を使ったことがある人はすぐにコピーモードを使いこなせそ

aws s3 sync コマンドの初歩的な使い方 基本的な使い方 --dryrun オプション: dry run する --delete オプション: 削除を同期する --quiet オプション: 出力を抑制する --exclude: ファイルやオブジェクトを同期から除外する --include: ファイルやオブジェクトを同期から除外しない ヘルプを見る 参考サイト S3 バケットとローカルのディレクトリを同期する aws s3 sync コマンドの初歩的な使い方のメモ。 aws コマンドのバージョン。 $ aws --version aws-cli/2.1.21 Python/3.7.4 Darwin/19.6.0 exe/x86_64 prompt/off aws s3 sync コマンドの初歩的な使い方 aws s3 sync コマンドは S3 バケットとローカルのディレクトリを同期

指数関数的バックオフ 指数関数的バックオフとは 指数関数的バックオフを使うとき 指数関数的バックオフの最小限の実装 実装コード全文 ジッター (ランダムな遅延時間) AWS のエラー試行と指数関数的バックオフ 参考サイト 指数関数的バックオフ (Exponential backoff) を確認と最小限の実装をしてみたメモ。 指数関数的バックオフ 指数関数的バックオフとは 指数関数的バックオフとは、プログラムやネットワーク機器がデータの送信処理に失敗したときに失敗回数に応じて再送信処理を実行するまでの待ち時間を指数関数的に増やす仕組みのことをいうらしい。 wikipedia の Exponential backoff ページを見ると CSMA/CA とか CSMA/CD は送信したデータの衝突を検出するとしばらく待ってからデータを再送信するけど、しばらく待つ時間は指数関数的に増やしていくみた

q コマンドとは インストール 使い方 基本的な使い方 クエリ where order by limit group by having 関数 sum substr その他のよく使うオプション 入力エンコーディングの指定 出力エンコーディングの指定 ヘッダー行を出力 CSV や TSV などの表形式のデータを SQL ライクに select できる q コマンド が便利すぎたのでメモしておく。 q コマンドとは とりあえず公式ドキュメント。 https://harelba.github.io/q/ 公式ドキュメントには以下のように書いてある。 q is a command line tool that allows direct execution of SQL-like queries on CSVs/TSVs (and any other tabular text files). よう

pa とは？ Pixela とは？ 使い方 PIxela の API Pixela のユーザー名とトークン シェルの補完スクリプトの生成 インストール方法 Homebrew Developer 手動でのインストール 動機 pa という名前 まとめ Pixela の CLI ツール pa を作りました。 github.com pa とは？ pa は Pixela の CLI ツールです。 pa はシェルの補完機能を使ってコマンドとかフラグをサクサクと軽快に入力できて PIxela サービスをとても簡単に利用できます。あと、タイプが苦手でタイプミスが多いという人は結構いると思いますが (自分はタイプがかなり苦手です)、シェルの補完が効くのでタイプ量が必要最小限に抑えることができてタイプミスのイライラから解放されます！ シェルの補完は pa completion zsh みたいなコマンドでシェル

職場で勝手にやっている改善活動のメモを取り出してから1年たったので振り返ってみたメモ。 書くこと 実際にやったこと 変わったこと 一番大きく変わったこと まとめ 実際にやったこと メモはハッシュタグ #俺俺改善活動 を付けて Twitter へツイートしていました。*1 今月の #俺俺改善活動．構成管理のブランチポリシーを整理してドキュメント化した．普段は見ないものだけど，ブランチ開発経験のない人が入ってきたときは効果すごいある— えび🦐 (@ebc_2in2crc) 2016年7月28日 今月の #俺俺改善活動．高コストな上に誤りが混入しやすい機能をエンドツーエンドでテストできるようにした．テストは自動化されているから CI に組み込めるし，安心して修正できるようになった(*'▽'*)— えび🦐 (@ebc_2in2crc) 2016年7月28日 今月の #俺俺改善活動 ・テストの2

システムエンジニア Advent Calendar 2016 - Qiita 2日目の記事です。 SI 業界人なら構成管理の現場で一度くらいは遭遇したことがあるかもしれない Excel 入出庫台帳との思い出と付き合い方について書きます。 書くこと Excel 入出庫台帳とは 付き合いの歴史 オススメの付き合い方 まとめ Excel 入出庫台帳とは こういうやつです。 この Excel に、これから編集するファイルのパス・バージョン・編集種別 (追加・修正・削除) といった管理情報を記入します。それを申請書として構成管理担当者に提出すると、記入したとおりのパス・バージョンのファイルが送られてきます *1 これは「構成管理物を担当者に払い出す」ので「出庫 (申請書)」と呼ばれます。反対に、担当者が作成・修正したファイルを構成管理に戻す (入れる) ときは「入庫 (申請書)」と呼ばれます。しかし

vim-ref-jvmis 使い方 " Vundle の場合 " vimrc に追記＆再読込して :BundleInstall Bundle 'ebc-2in2crc/vim-ref-jvmis' " NeoBundle の場合 " vimrc に追記＆再読込して :NeoBundleInstall NeoBundle 'ebc-2in2crc/vim-ref-jvmis' Jvmis というコマンドが勝手に定義されるので、調べたいオペコードの上にカーソルを置いて :Jvmis を実行すると ref.vim インタフェースでリファレンスを閲覧出来ます。 リファレンスは The Java Virtual Machine Instruction Set から引いて来るので環境によっては一瞬もたつきますが、デフォルトでキャッシュを有効にしているので2回目以降は素早く引くことが出来ます *1 これ

Solarized - Ethan Schoonover Solarized に染まる - Eclipse 編 の続き、今回は IntelliJ IDEA 編です。 IntelliJ IDEA 用にも Dark テーマと Light テーマがあります。 やはり Dark, Light テーマとも優らずとも劣らずの完成度の高さですね。 IntelliJ IDEA への導入 周囲では Eclipse よりもはるかにユーザーが多い IntelliJ IDEA への導入です。 環境は以下のとおりです。 Mac OSX 10.7.5 IntelliJ IDEA 11.1 Community Edition 導入手順は以下のようになります *1 今回は MBA へのインストールですが、他の環境でも殆ど同じ手順で導入することが出来ます。 ちなみに JetBrains が提供している他の IDE (Php

Solarized - Ethan Schoonover Solarized に染まる - Vim (GVim) 編 の続き、今回はターミナルの Vim 編です。 altercation/vim-colors-solarized GitHub などを見ていると「ターミナルでは Dark テーマで、GUI は Light がいいように思う」という声が多いようですが、ターミナルでも Light テーマ全然イケてます。もちろん Dark もイケてますが。 ようはどちらもオススメということです。 では、導入手順です。 Vim への導入 環境は以下のとおりです。 *1 Mac OS X 10.7.5 iTerm2 Build 1.0.0.20120203 Vim 7.3 (patch 1-633) 導入手順は以下のようになります。 GVim と比べると一手間余計に必要で、少し面倒くさいです。 なお、

Solarized - Ethan Schoonover Solarized に染まる - 夜フクロウ 編 の続き、今回は Vim (GVim) 編です。 世界中で大人気の至高のテキストエディターである Vim の GUI 版、MacVim の香り屋さん版 への導入です *1 altercation/vim-colors-solarized GitHub などを見ていると「ターミナルでは Dark テーマで、GUI は Light がいいように思う」という声が多いようですが、GUI でも Dark テーマ全然イケてます。もちろん Light もイケてますが。 ようはどちらもオススメということです。 では、導入手順です。 MacVim への導入 環境は以下のとおりです。 Mac OS X 10.7.5 Vim 7.3 導入手順は以下のようになります。 簡単ですね。 Solarized カラー

Java 7 にアップデートしたら日本語メソッド名が通らなくなった 現象 クラス全体をテスト実行すると動く 日本語メソッドを選択して実行すると動かない Java 6 の場合には問題なかったのに、7 にアップデートしたら上手いこと動きません。 しかし、6 に戻すとちゃんと動くので、7 が怪しい…と調べてたら、一応動くようになりました *1 「Java 6 の時には問題なかったのに 7 にアップデートしたら上手く動かなくなった！」そんな方にはこのエントリが役に立つかもしれません。 環境は以下のとおりです *2 Mac OSX 10.7.5 Java 1.7.0_07 Eclipse 3.7 JUnit 4.8.1 Quick JUnit 0.6.3 おすすめエントリ 〜まずはこちらから〜 Eclipse や JUnit と日本語メソッド名については良く知られている問題ですが、それだけに良エント

TokyoMercurial#4.5 - connpass に参加してきた。 参加までの背景 Mercurial は人気のある DVCS だけど、「Git に比べると出来ることが少ない」と言われることが少なくないと思う。 その一方で、Mercurial を使いこなしている人たちからは「MQ (Mercurial Queue) 抜きで Mercurial を語るのは片手落ち」「MQ を使えば Git と大概同じことが出来るよ」といったことも良く聞かされていた。 Mercurial を (MQ 抜きで) 使っているとたしかに痒いところに手が届かない感があるのだけど、マニュアルを読んだりネットで調べたりしながら MQ を使うことで、そのあたりの "届かない感" はだいぶ解消されるようになった *1 しかし、「実はバッドプラクティスを身につけていっているのではないか」「もっと良い、ベストプラクティ

2012/06/04 追記 以下の障害は 2.2.2 で解消されました。 注意！ 2012/05/16 追記 「名前付きブランチ上で commit --amend するとブランチ名が破棄されることがある」という障害が報告されています。 修正版がリリースされるまで commit --amend の使用を控えるか、ユースケース的に該当しない場合のみ使うようにしましょう *1 名前付きブランチ上で --amend 付きで commit した場合、ブランチ名が破棄されてしまい、default ブランチ上のリビジョンになってしまう http://groups.google.com/group/mercurial-ja/browse_thread/thread/19684a3415235d33 3431 – Commit --amend option loses the named branch わく