csvファイルを扱うときにいつもなんかコマンドがあったはず！？ってググることから始めてしまうのでメモ。 ドキュメント インストール条件 Just Python 2.5 and up or Python 2.4 with sqlite3 module installed. Python 3.x is not supported yet. インストール macだとbrewでできるらしい

GameWith Developer Blog会社の技術ブログで執筆した記事をいくつかピックアップしています。 2020 年に起きたワークスタイルの変化とこれからについて #GameWith #TechWith - GameWith Developer Blogこの記事は GameWith Advent Calendar 21 日目の記事です。 最近、ブログ更新を怠っていた @serima です。Splatoon 2 でナワバリバトルをする日々を送っていますが、お仕事では開発マネージャーをしています。 2020 年は新型コロナウイルスの影響で世界的に働き方の変革を求められた年であり、弊社 GameWith も例外ではありませんでした。 このポストではフルリモートワークへの切り替えにおいて気をつけたことや、現在の課題と試みについて簡単に紹介できればと思います。 なお、現時点(2020 年 1

複数の要素を処理したい時、 データを取ってくる(fetch) -> 抽出(filter) -> 列挙(foreach, map) という定型的な枠組みの中で処理を行うことが多いと思います。例えば、スクレイピングとかで抜き出した複数の動画、音声ファイルのリストを一括ダウンロードしたいとか。 そういうのは、できるだけ(Pythonやshellなどの)スクリプトとかも書かずに、commandのみでサクッと書いて済ませてしまいたいものです。 データを取ってくる(fetch)に関しては、リモートのものをfetchするならcurlとか、すでにローカルにあるならcatとかいろいろバリエーションはありそうです。 一方で、抽出(filter), 列挙(foreach, map)に関しては汎用的なcommandはまぁ、限られていて 抽出(filter) 列挙(foreach, map) で処理することができま

久しぶりに仕事でbashを書きました。 『date』コマンドで○日前／○日後の日付を取得する方法で、 少しだけハマッたので、覚書として書いておきます。 Linux系の場合 オプション"--date"で"○ day(s)"(○日前の場合は"ago"を付ける)を指定する。 $ date +"%Y%m%d" 20090609 $ date +"%Y%m%d" --date "1 day" 20090610 $ date +"%Y%m%d" --date "7 days" 20090616 $ date +"%Y%m%d" --date "1 day ago" 20090608 $ date +"%Y%m%d" --date "7 days ago" 20090602 BSD系の場合 オプション"-v"で"+○d"(○日前の場合は"-")を指定する。 $ date +"%Y%m%d" 200906

xargs は便利なコマンドです。 xargs を使うことにより、複雑なプログラミングをしないでも、手軽に並列処理を実現できます。 準備 実験環境 今回実験に利用する環境は CentOS 6.4 です。 xargs は Linux 系と BSD 系でオプションが異なりますので、ご注意下さい。 実験用スクリプト 今回の実験に利用するスクリプトです。このスクリプトを xargs の引数に渡します。 以降、このスクリプトの様に xargs に渡すコマンドを、 xargs 引数コマンド と呼ぶことにします。 #!/bin/sh # 実行時間を擬態 sleep 1 # コマンド引数表示時の最大文字数 max_len=50 # 最大文字数を超えた場合のトリミング a=$@ if [ $max_len -lt ${#a} ] then a="${a:0:$max_len}..." fi # プロセス番号

お題の通りです。 例えば、常駐型のプロセスがあって、cron でそのプロセスの死活チェックを行い、死んでいたらプロセスを復活させたい場合などに使えます。 ps でプロセスを表示。 grep でプロセスをフィルタリング。 grep -v grep で、grep 自身のプロセスを除外。 || でつないで、コマンドが失敗（プロセスが存在しない）場合にコマンドを実行。

こんにちわ グローバルセンス株式会社のskanehiraです。 今回はps+killから卒業してみようかなと思っています。 めんどくさがりなので、極力短い命令文で効率よくプロセスをkillしするのが目的です。 どうすれば簡潔化できて面倒がへるのかを考えて実践するめんどくさがり屋は きっと人生の後半は楽できます（嘘 はじめに Linux上でアプリの異常系のテストを行うことがしばしばあると思いますが プロセスダウンは必ずと言って良いほど試験観点に含まれるのではないでしょうか。 Linuxでプロセスを強制終了させるためには プロセスIDを調べる killコマンドでプロセスIDを指定して強制終了 という手順を踏む必要があります。 もっと簡易化できないかなぁって考えていましたが ワンライナーはあくまでも複数行のコマンドを1行にまとめたような感じなので 打つ文字数はそんなに減るわけではないのですよね。

‪データの集計ではsort | uniq -c をシェル芸で良く使うけど大量データには向かないのでawkでもっと高速な処理を書く‬ShellScriptAWK sort | uniq -c という操作は、データの集合から件数を数えるのによく使いますね。 uniq はデータから重複データを取り除いたり、重複したデータだけを取り出したり、あるいは件数を数える、という処理ができるコマンドですが、実行時の前提条件として予めソートされたデータが必要です。だから先に sort しています。 しかしデータの母集団が大きいと sort の処理時間がボトルネックとなって、数分単位のオーダーで処理待ちが起きることがあります。そのような場合に sort | uniq -c とは違う方法で集計を行えば、処理速度を大幅に改善できる可能性があります。 例：1から1000までのランダムな値の集合1億件について、値ごとの

Win + R キーで開ける「ファイル名を指定して実行」。 地味に便利なコイツの使いこなし術（と一部マニアックなネタ）をお届けします。 なぜ「ファイル名を指定して実行」を使うの？ どの Windows でも使えるから Windows に標準で備わっている機能なので、どの Windows でも使えます。共有 PC、仮想マシン、後輩の PC、客先の PC などでもサクっと使えます。 軽くて速くてシンプルだから 下手なプログラムランチャーよりも軽くて、速くて、シンプルなので地味に使いやすいです。 覚えておくと便利なコマンド 厳密に取り上げると長文になっちゃいますが、私がよく使うコマンドを挙げておきます。 標準アプリ コマンド 備考

俺の愛用ワンライナー、Web企業のエンジニア16人に聞きました エンジニアの皆さんが愛用する自作のワンライナーってどんなもの？Web企業で働くエンジニアの方々に、秘蔵のワンライナーを聞きました。 ワンライナーとは、何か特定の処理を「たった1行のプログラム」だけで実現するものです。サービス運用に携わるエンジニアの皆さんも、愛用している独自のワンライナーを持っているのではないでしょうか。「独自のワンライナー」とは、エンジニア各人のナレッジやノウハウが詰まっているとも考えられます。 本企画ではさまざまジャンルで活躍するエンジニア16人に、業務を支えてくれるワンライナーを紹介してもらいました。参考に使ってみるも良し。眺めて楽しむも良し。個性あふれる貴重な「オレオレ・ワンライナー」の数々をご覧ください！ ※各カテゴリー内では所属企業名の50音順に掲載。回答者は敬称略とする。 リソース管理 プロセスを

概要 ご存知の方も多いと思いますが、小さなコード片を共有・バージョン管理できるGist (https://gist.github.com/) というサービスがあります。Gistへの投稿は基本的にブラウザ操作で行いますが、 これをターミナルから行えたら投稿の自動化も楽に出来るし、色んな場面で便利だなと思い、方法を調べました。 環境は以下のとおりです。

日常から使えるUnix系OS業務効率up技 気分転換に、普段からLinuxで作業する上で割と便利なツールだったり小技を共有します。知ってたらごめんね 一応全部MacでもLinuxでも動くはずです。 高速化系 axel , aria2c http://qiita.com/sarumonera/items/2b30999d7d41a4747d74 https://goo.gl/gsFrCT https://wiki.archlinuxjp.org/index.php/Aria2 http://qiita.com/TokyoMickey/items/cb51805a19dcee416151 こいつらは割と有名（？）かなと思います。やってることはcurlやwgetとほとんど変わらず、サーバにHTTPリクエストを送ってレスポンスを取ってくるだけなのですが、ダウンロードを高速化するためにtcpコネクシ

この記事は.emacs Advent Calendar 2016の10日目です。 概要 Emacs を使い始めて3ヶ月目にして、 CUI の Emacs から GUI の Emacs に移行しました。 環境は Arch Linux です。 そのために必要だったこと、できるようになったことも書いています。 Linux なので、やったことは Linux のウィンドウシステムに関係があるものが大半です。 特に、現在 CUI の Emacs を使っているが、 GUI の Emacs も使いたいという方にお読みいただければ幸いです。 動機 3年くらい Vim を使っていました。 Vim では起動が速い、メモリを消費しない、 GUI の無い環境でも一貫して動作する、などの理由から、テキストエディタをターミナルで動かすことに一種の美学を感じていました。（中二病） Emacs を使い始めた時も、同じ理由で

目次 Mac用のEmacs インストール 設定 普段使うパッケージのインストール Mac特有の設定 optionキーをMetaキーに フォントサイズ 日本語入力時にカーソルの色を変える ミニバッファ入力時に自動的に英語入力モードに cmigemoのインストール 起動方法、サーバー関係 エイリアス python用にjediをインストール Mac用のEmacs ---------- 2018/11/23 追記 ---------- 新しいMacにEmacsを入れたので更新しておく。OSはmacOS Mojave 10.14.1。GUI対応の最新のEmacs 26.1を入れる。 EmacsにはMacに対応したものが公式にある。 GNU Emacs For Mac OS X これをcaskなどで入れてもいいが、日本語入力にちらつく問題などがあるので、 やはり下記のrailwaycat氏のemacs

はじめに 使っていたmacを修理に出すことになった。 この機に、最低限の手順で開発環境を整える際に利用した行動をメモする。 基本的に homebrewとmas-cli で管理。 Brewfileなど、さらに自動化できる方法はあるが、 そのあたりの自動化ツールは1年もしたらオワコンになっていたりするので、 最低限の引っ越しができればいい、という人間が書いている。 OS環境 OS : OS X El Capitan v10.11.6 その他、設定を移行するアプリケーション 利用する言語 : Ruby, PHP, Go 利用するシェル : bash, zsh, fish エディタ : emacs, atom 開発環境 : docker ターミナル環境 : iTerm2 + tmux キーボード設定 : Karabiner 利用するアプリケーションのインストール方法 基本的にはmas-cliを利用

VimGolf.com Real Vim ninjas count every keystroke - do you? Head on over to vimgolf.com, pick a challenge, and show us what you've got! Each challenge provides an input file, and an output file Your goal is to modify the input file such that it matches the output Once you install the vimgolf CLI, pick a challenge, open a prompt and put away! When you launch a challenge from the command line, it wi

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

昨日僕の Twitter タイムラインで q というツールが話題に上がっていました。 GitHub - harelba/q: q - Run SQL directly on CSV or TSV files Text as Data q is a command line tool that allows direct execution of SQL-like q... https://github.com/harelba/q 標準入力を SQL で抽出できるという物です。ただ個人的には「こういうの python じゃなくて Go でビルドされてると助かるよなー」と思ったので q と同じ様な動作になるツールを作ってみました。 GitHub - mattn/qq Select stdin with query https://github.com/mattn/qq 例えば msys2 のシ