はてなブックマーク

僕はプログラマとして生きている。世間のイメージとは少し違って、プログラマとして企業の中で生きていく上では数学的思考力はあまり必要とされない。これはろくすっぽ勉強してこなかった僕にとってはある意味幸いなことで、数学なんてものはさっぱり出来ないけどプログラミングは好きという僕の性格を世間はある程度受け入れてくれている。 でもプログラマとして生きる以上、日々技術力を磨くのは当たり前の話であり、少し高度な本を読むとすぐ理解できなくなってしまう僕は自分の能力に辟易としていた。 普通の技術書なら僕でもそれなりに読めるのであるが、少しレベルアップしてコンピューターの本質みたいなところに近づこうとすると、すぐに僕は迷子になってしまう。計算機プログラムの構造と解釈(通称 SICP)だとか、コンピュータの構成と設計(通称パタヘネ)だとか、トランザクション技法だとか、世界を支えるような名著を読んで、僕もプログラ

先日のエントリでも紹介しましたが、NVMe という凄いやつがいます。少しずつ浸透しつつはあるもののまだ一般的な知名度は低いようなのでひとつ紹介しておきましょう。 NVMe とはストレージとコンピューターをつなぐインターフェースのことです。この NVMe のおかげで、SSD が真価を発揮できるようになりました。 ストレージの性能について。まず、SSDはHDDに比べて圧倒的に高速です。IOPS、つまり秒間あたりに発行できるIOの命令数的が性能の目安になるわけですが、HDD は数百 IOPS でした。一方 SSD は 1 万 IOPS 程度、ものによっては 10 万 IOPS 近い性能を出せるものもあります。つまり IOPS 換算で言えば SSD は HDD の数十から百倍程度高速と言えます。 それでもSSDは性能を発揮できていませんでした。 原因は接続方式にあります。長らく使われている SAT

僕は Amazon に世界を支配して欲しいと思っているくらいの Amazon 信者なのですが、Kindle のオーナーライブラリの品揃えについてはクソであると言わざるをえません。 一応説明しておくと、Kindle ストアでは、Amazon Prime の会員のみ無料で読める本があるのです。とは言ってもダウンロードできるのは 1 冊まで、つまり複数の Amazon Prime 対象の本を一度に Kindle に入れて並列で読む、ということはできません。もうひとつ、1 冊ダウンロードしたら次に Amazon Prime 対象の本をダウンロードできるのは一ヶ月先、という制限があります。 この Amazon Prime 会員が無料で読める本をオーナーライブラリと言います。オーナーライブラリに登録されている本は現在で約 95 万冊もあります。 1冊500円として、年 12 冊無料で読めるから、実質

ある正規表現に様々な文字列を食わせてマッチするかどうか判定することは大変頻出するコードです。 稀に、食わせる文字列のパターンによっては正規表現のマッチに猛烈に時間を消費する場合があります。 僕も少し前に遭遇し、下記に公開しています。 developer.cybozu.co.jp この時は、(\\w|_){1,64}@ という正規表現があって、____________________ のようにアンダースコアを複数含む文字列のマッチに大変時間がかかるという問題でした。 この、「対象文字列によってはマッチに時間がかかることがある問題」を、遺伝的アルゴリズムを用いて解決できないかチャレンジしてみましょう。 考え方としては、 ランダムな文字列を 10000 個ほど生成し、 それぞれ正規表現にマッチするか判定させ、 時間がかかった順にソートし、 上位を交配させて世代を繰り返せば、 遅い文字列が抽出でき

Java のアサーションライブラリに AssertJ というものがある。 http://joel-costigliola.github.io/assertj/ Fluent にアサーションが書けるとのことなので、我がプロジェクトに導入してみました。 基本 基本的な比較。 Junit, Mockito だとこういう風に書くケースが・・・ assertEquals(expect, value); // JUnit assertThat(value, is(expect)); // Mockito こう書けます。 assertThat(value).isEqualsTo(expect); // AssertJ 「何が嬉しいの？」と思うかもしれませんが、とりあえず先に進みましょう。 文字列比較 よくある比較。コードの意図は説明しなくとも伝わると思います。 assertThat("Hello Wor

sift というツールがあります。 https://sift-tool.org/ sift は better grep なツールで、上記サイトのパフォーマンスによるとすべての場合において grep より速く、場合によっては 40 倍速以上のパフォーマンスを出すという、嘘だろ承太郎！？な状態なのでこの怪しい伝説を検証してみます。 https://sift-tool.org/info.html 環境 僕の環境はこちら。 CPU: Intel Corei7 4790 メモリ: 16GB ストレージ: SSD 256GB OS: Ubuntu 14.04 64bit インストール https://sift-tool.org/download.html から適切なアーカイブをダウンロードして解凍。 $ tar zvxf sift_0.3.4_linux_amd64.tar.gz sift_0.3.4

三年ほど前、Solr のパフォーマンスチューニングの記事を書いた。 aoking.hatenablog.jp これは古くなっており、現在の Solr では通用しない部分が多い。 改めて、現在の Solr のパフォーマンスチューニングに対する知見をここに記す。 はじめに 僕は日々 Solr のお世話をせっせとしており、今では扱っているインデクスのサイズが数テラバイト程度になっている。性能問題にぶつかることも何度もあり、そのたびに Solr のパラメーターのチューニングを行ってきており、時には自社向けのパッチを当てて高速化したり省メモリ化することもあった。僕の知見はきっと Solr ユーザーの皆様に役立つものでしょう。 さて、Solr のチューニングをしたい人は下記の公式 Wiki を穴が空くほど読むべし。 SolrPerformanceProblems - Solr Wiki 結論から言えば

Java にはクラス内にクラスを宣言する機能がある。 あるクラス内に宣言されたクラスを内部クラス(またはインナークラス)と呼ぶ。 内部クラスには以下の四種類があり、それぞれ特性が異なる。 ・static メンバークラス ・非 static メンバークラス ・無名クラス ・ローカルクラス それぞれの宣言方法と特性について記す。 static メンバークラス public class OuterClass { //宣言 static class InnerClass { private String name; } public OuterClass() { InnerClass ic = new InnerClass(); //外部クラスからはプライベートフィールドにアクセスできる。 ic.name = "innerclass!"; } } 使い方 public static void ma

Java ヒープを解析する際、jhat や Memory Analyzer といったツールを使うことになるが、これらのツールの内部では OQL (Object Query Language) という言語が使われ、ヒープを解析している。 SQL ライクに記述できるこの言語を手で打って使用することは滅多に無いが、稀に手動で OQL を実行した場合がある。そのようなとき、日本語版のドキュメントがどうにも見当たらなかったので visualvm の OQL Help(http://visualvm.java.net/oqlhelp.html)の日本語版をここに記述しておくことにする。 OQL は、手動で実行しないだけで、Java ヒープ解析時には必ず使われる言語であるのだがいかんせんまだ完成度が高いとは言えない。というのも、とにかく実行に非常に時間がかかる。少し大きいヒープダンプに手動のクエリを打っ

「ImageMagick 遅い」などでググると下記ブログが上位に出てくる。 本当は速いImageMagick: サムネイル画像生成を10倍速くする方法 http://blog.mirakui.com/entry/20110123/1295795409 この記事内で、-define jpeg:size を指定することで 10 倍速くなるという話が出ているが、ここには落とし穴があるので注意。 それは、-define jpeg:size オプションが良い効果を発揮するには、変換元の画像サイズが十分に大きく、変換後の画像サイズが十分に小さくなければならないということ。 例えば 4000x4000 の JPEG を 200x200 にリサイズするというようなシーンなら -define jpeg:size オプションは絶大な効果を発揮する。しかし、4000x4000 を 2000x2000 にリサイズ

キーボードに HHK を使っている。すこぶる打鍵感が良く頑丈さもありカスタマイズ性にも優れ、キーボードというインターフェースの中ではほとんど完成形と思えるほどのクオリティがあるわけだが、一つだけ直したい箇所がある。 それは、キーボードの小ささ故か、打鍵している最中にキーボードがすべること。 机の材質にも依るだろうが自分の環境ではどうもカタカタカタッと打っている最中にスルッと滑ってしまうことがたまにあり、集中モードが途切れてしまうことがあった。コードやドキュメントを書いている最中はそれらに全神経を集中し、それ以外のことは全く考えなくて済むようにしたいのだがキーボードがすべるというなんとも悲しい理由によってモードが途切れてしまうのだ。 これを改善するため、キーボードに滑り止めを貼りつけた。 効果、絶☆大。 くだらないことに気を奪われずにプログラミングに神経を集中させることができ、安価で素晴らし

普段生活していると vmlinuz を vmlinux に変換したくなることはしばしばあると思いますが、その手順はどうも忘れがち。 今回はその変換レシピをメモ。 前提知識 まず、vmlinuz の中には gzip 圧縮されたカーネルイメージが同梱されています。 同梱というより、vmlinuz は vmlinux + ちょっとしたヘッダやメタ情報といった感じで、メインはカーネルイメージです。 このカーネルイメージを取り出し、展開したものが vmlinux です。 vmlinuz イメージを用意 まず vmlinuz とはなにか。これは /boot 下にある vmlinux-* から始まるファイル。 /boot/vmlinuz-3.2.0-52-generic みたいなファイル、ありますよね？ こいつを専用のワーキングディレクトリに移動。場所は /tmp/kernel で。 $ mkdir /

与えられた x が数値か、もしくは文字列での数字かどうかを調べる。数値または数字なら true. function isNumber(x){ if( typeof(x) != 'number' && typeof(x) != 'string' ) return false; else return (x == parseFloat(x) && isFinite(x)); } テスト isNumber(-1) // true isNumber(0) // true isNumber(1) // true isNumber(0.0) // true isNumber(1.5) // true isNumber(10e+3) // true isNumber(10e-3) // true isNumber("-1") //true isNumber("0") // true isNumber("

更新：Apache Struts2 の脆弱性対策について(CVE-2014-0094)(S2-020) http://www.ipa.go.jp/security/ciadr/vul/20140417-struts.html Apache Struts 2の脆弱性が、サポート終了のApache Struts 1にも影響 http://www.lac.co.jp/security/alert/2014/04/24_alert_01.html この対策について。Struts1 について述べる。Struts2 でも有効かどうかは不明です。 まず1つ目の対策に、三井物産セキュアディレクションが公開しているフィルターがある。 Apache Struts2（2.3.16、S2-020の修正版）に対するゼロディを弊社エンジニアが発見いたしました。 http://www.mbsd.jp/news20140

http://headlines.yahoo.co.jp/hl?a=20131222-00000013-asahi-bus_all 紀伊国屋書店など国内の書店や楽天、ソニーなどの電子書店、日販、トーハンなど取次業者の計１３社が、書店での電子書籍販売に乗り出す。 (中略) 書店の店頭に電子書籍の作品カードを並べ、店頭で決済。購入した人は、その作品カードに書いてある番号をもとに電子書籍をダウンロードする仕組みだ。 これは何かの悪いギャグ？ネタだとしても笑えないしガチだとしたらひどすぎる。 いったいどんなプロセスを経たらこんなゴミが出来上がるのか不思議なレベルである。誰も「これは止めましょう」と言わなかったのだろうか。ジャパゾンに関わった企業は相当な程度にまで汚染・腐敗・荒廃しているのではないか。さっさとジャパゾンに関わった担当者をクビにした方がいい。こんなクソを生み出すのだから程度はたかが知れ

仕事で、Ubuntu 上のみで稼働する Java 製のプログラムを Windows で動くよう対応したので、対応するのに必要だった点を記録しておく。 改行コードの違い Linux では通常、改行コードは LF (\n) が用いられる。対して Windows は CRLF (\r\n) が用いられており、この差によってコードが動かなくなることがある。 例えば下記のようなテストを考える。 assertEquals("Hello, World!\n", getMessage()); getMessage() がシステムによって異なる改行コードを用いる場合、このテストはクロスプラットフォームではなくなる。 対策としては下記のいくつかが考えられる。 1. 改行コードの差をライブラリに吸収させる 例えば JSON が返される処理を考える。この時、返された JSON をそのまま文字列で比較するのではなく

冗長なコードがだいぶ減った。 その分ロジックが増え、コードの「濃度」が上がった。 まず、lombok を知らない人はコチラ:Java のコード量を激減できる lombok がスゴイ 自分が携わるプロジェクトは、テストコード抜きでおよそ 6 万行程度のコードが存在する。 lombok を採用した結果、およそ5000 行もの冗長なコードを削除することができた。 これは絶大なる効果だろう。同じ機能を有しながら、8% 程度もコードが減ったことは、驚異的である。 しかも lombok の機能を全て採用したわけではなく、かなり安全側に倒して使用した。例えば @Data が使える場面であっても、元のコードに equals/hashCode が存在していないクラスについては @Getter, @Setter を付与するだけにした。equals/hashCode が生成されると挙動が変わる可能性があるからで

きしださんのブログで知った lombok という Java のライブラリがスゴイ。 http://projectlombok.org/ 指定されたアノテーションを付与することで、下記のようにメソッドを生成してくれる。 setter や getter の自動生成 toString メソッドの自動生成 hashCode/equals メソッドの自動生成 これを用いると、Java のコード量をかなり減らせることができる。 例1 setter, getter を自動生成したい場合 import lombok.Getter; import lombok.Setter; public class Person { @Setter @Getter private String name; @Setter @Getter private int age; } このように、setter と getter を

コンパイルの処理は大きく分けて下記の処理にわけられる。 プリプロセス コンパイル アセンブル リンク この記事では、C言語の Hello World を過程毎に追い、プログラムが出来上がるまでの流れを追う。 登場するファイル main.c - ソースファイル main.s - ソースファイルからコンパイルされたアセンブラソースファイル main.o - アセンブル後のオブジェクトファイル main - 出来上がったバイナリ ソースコード 普通の C 言語の Hello World. 下記コードを main.c として保存する。 #include <stdio.h> int main(){ printf("Hello world!\n"); return 0; } プリプロセス プリプロセスとは、マクロの展開や #include や #ifdef などのディレクティブの処理が行われることを指

ふつうのLinuxプログラミング Linuxの仕組みから学べるgccプログラミングの王道 作者: 青木峰郎出版社/メーカー: ソフトバンククリエイティブ発売日: 2005/07/27メディア: 単行本購入: 35人 クリック: 450回この商品を含むブログ (145件) を見る ふと軽い気持ちで手に取った入門本であるが、いやはや驚いた。 入門本のかくあるべき姿がここにあったのだから。 「ふつうの Linux プログラミング」の内容はタイトルが表している通り、ふつうの Linux プログラミング。 cat コマンドや head コマンドを C で実装しながらプロセスやファイルやパイプの仕組みを学んでいく、というある程度 C 言語を知っている人向けの入門本である。一見巷にありふれていそうなふつうの本であるが、本書はひときわ輝いている。プロセスやファイルやストリーム等々の概念の説明もわかりやすく

仕事でマルチスレッドを扱うようになったので備忘録として Executors 関連のメモを残しておく。 あるタスクを別スレッドで実行したい時、Executors クラスを使えば自前でスレッドの管理をすること無く簡単に並列処理を行えるようになる。 もちろん完全に簡単になったわけではなく、マルチスレッドプログラミングの困難さは健在だが、自前でスレッドの管理をしない分バグを仕込む可能性も減るだろう。 はじめに Executors はタスクと呼ばれる処理の最小単位を別スレッドで実行する仕組みである。マルチスレッドなのでシングルスレッドに比べると複雑性は若干上がるものの、通常のマルチスレッドプログラミングに比べれば少ない複雑性、高い安全性を備える。そして何より、パフォーマンスの向上が期待できる。 この仕組みはジョブキューモデルそのものである。ジョブはタスク、キューは後述する Executor に相当す

「文字列をロックオブジェクトとして利用したい」場合がある。 例えば渡されたファイルに処理をするメソッドで、ファイルごとに排他処理をしたいとする。しかしファイルをそのままロックオブジェクトとして使ってはいけないのは明らかだ。File インスタンスは同じファイルを指していても別のインスタンスだからだ。 // これをやってはいけない！ public void doSomething(File file){ synchronized(file){ ... } } これを回避しようとして、ファイルの絶対パスをロックオブジェクトとして使う案が出てくる。しかしこれもやってはいけない。理由は上記ファイルと同様、同じ文字列を持つオブジェクトであっても別々のインスタンスであることがあるからだ。 // これをやってはいけない！ public void doSomething(File file){ String

プログラミング作法 作者: ブライアンカーニハン,ロブパイク,Brian Kernighan,Rob Pike,福崎俊博出版社/メーカー: アスキー発売日: 2000/11メディア: 単行本購入: 58人 クリック: 1,137回この商品を含むブログ (201件) を見る 今までたくさんの技術書を読んできたが、その中でどれが一番か？と聞かれたら本書を推すだろう。 この本に出会ったのは大学生の頃、とある授業中に先生に紹介されたからだ。 その時の先生の紹介の仕方が強く印象に残っている。 私はこの本が出た時、「しまった！」と思いました。 良いプログラマになるために必死に積んだ経験やノウハウが、明文化されコンパクトな形で世に出てきてしまった。 プログラマは職人的なところがあったが、本書が出たおかげで、誰でも良いプログラマになれるようになった。 そしてプログラマになって数年、今ではよくわかる。この本