はてなブックマーク

結論から言うと，MDA(Mail Delivery Agent)に気をつければ，MTA(Mail Transfer Agent)はどうでも良いようです． 今まではeximで伝統的なmbox形式で一ユーザ一ファイルでメールコンテンツを管理していて，読み出しは伝統的popプロトコルを poppa3dで動かしていたので，それとの互換性は保ちたいと思いました． dovecotはmbox形式をサポートしているので，eximのmbox形式をdovecotでimapで読み出すことには問題が無さそうでした． しかし，imapの設定をしても，iPhoneで通知されない！ imapのプロトコルにも詳しくないし，iPhoneの動作も知らないし，z-pushに挑戦してみました． Z-Push | Open source push technology まずメールサーバ側の設定． imapサーバはdovecotが入

Sparkのビルドが簡単に成功したので，調子に乗りました． Sparkのビルドが簡単すぎた件について - なぜか数学者にはワイン好きが多い Spark-shellを使って既にデータがHDFS上に大量に蓄積されているHiveにアクセスしてみようとしてハマりました． scala> val hiveContext=new org.apache.spark.sql.hive.HiveContext(sc) <console>:12: error: object hive is not a member of package org.apache.spark.sql val hiveContext=new org.apache.spark.sql.hive.HiveContext(sc)org.apache.spark.sql.hiveが無いだと．．．？と思ってspark-assembly-1.0.

LuaJITのFFIライブラリが，FFI(Foreign Function Interface)を通した時にインターフェース越しに引数がどのように相互変換されるかは，一応ドキュメントになっています． FFI Semantics でも良くわからないことが多いので，いろいろとサンプルを作ってみました． Part 1: Hello, World with Standard C Library Lua版は，普通に「Hello, World」を表示します． FFIを通したバージョンは，Cの標準関数のprintfを通して「Hello, World」を表示します． プログラムは，1つのLuaスクリプトにまとめました． -- Pure Lua local msg = "Hello, World" print(msg) -- FFI local ffi = require("ffi") ffi.cdef[[

クレジットカード会社に請求が入りました． 楽天ダウンロードで不正購入された話 - なぜか数学者にはワイン好きが多い 楽天からの購入確認メールが3件，実際に購入履歴頁を見ても3件です． しかしカード会社で確認すると，購入が5件で2件がマイナス請求（要はキャンセル），合計すると3件の購入となっておりました． どういうマジックを使った不正取引なのか．．． 楽天ダウンロードFAQサイトによると，キャンセルはできないそうです． ダウンロード商品 | 楽天ブックス ヘルプページ ご購入後のキャンセルは、ダウンロード商品の性質上、原則としてお受けできません。 そして，この「ドラゴンクエストX　目覚めし五つの種族　オンライン」だけを狙った犯罪は何なのか．．． とりあえず，犯人もしくは踏み台になってしまったパソコンのIPアドレスやプロバイダは分かっていますので，警察が被害届を受け付けてくれれば，そしてプロバ

Putty Connection Manager, PuttyMCというのを愛用していたのですが， タブ型Putty統合ソフト - なぜか数学者にはワイン好きが多い どうも開発が停止してしまったようなので，他のものを探してみました． 同僚はPoderosaを使っている人が大部分ですが，これは古い.NETに依存している上に開発が止まっていて問題を解決できる可能性が無いので無視です． 今回，気に入ったのはMTPutty． TTY Plus PuttyMCと同様にPuttyのラッパー的なものですが，タブや画面分割対応になっているところが使いやすいです． 複数セッションの管理というか持続系も良い感じです． まず，普通にシングルターミナルを開いたところ． 2個目のコネクションを張るとタブが増えます． 複数のコネクションを並べて見たい時は，タブをドラッグして．．．例えば右側に動かして．．． 例えば右半

portsにあるから，一瞬じゃね？と思ったのですが， # cd /usr/ports/www/node # make Makefile:33: *** missing separator. Stop. wiles# gmake Makefile:33: *** missing separator. Stop. 面倒なので自分で入れます．その方が性にあっている．．． > wget http://nodejs.org/dist/node-v0.4.12.tar.gz > tar xvf node-v0.4.12.tar.gz > cd node-v0.4.12 > ./configure --prefix=/usr/local configure build （中略） scons: Reading SConscript files ... scons: warning: Ignoring mi

かなり古い（タイムスタンプが2000年）ので心配でしたが，そんなに高度な処理をするつもりはなく，単に簡単にforループが並列化されればいいので，試してみました． まず，ダウンロード． > wget http://www2.epcc.ed.ac.uk/computing/research_activities/jomp/download/jomp1.0b.jar > ls -l jomp1.0b.jar -rw-r--r-- 1 hoge hoge 175028 Sep 11 2000 jomp1.0b.jar テストプログラムを書きます．拡張子が「.jomp」であって「.java」じゃないところに注意． import jomp.runtime.*; public class jomp_test { public static void main(String arg[]){ int i;

周りでBSONやらMessagePackやらが話題になっていて，ろくに検証もせずに何騒いでんだかと思っていたら，優秀な若い連中が遅まきながらJSONとMessagePackのリアル検証をしていたので，そんな検証は単純過ぎるというのと両極端の二つだけ検証してどうするという思いから，ちょいと私も検証作業をしてみました． まず，使用言語は，動的なガベージコレクションなどで処理速度測定が不安定になるのを避けるために，APIバインディングはC/C++． 対象とするシリアライズライブラリは，代表的なプレーンJSONと，MongoDBで使われているBSON，RedisやKumoFSで使われているMessagePackの3つです．だいたい，最近の軟弱なJavaプログラマーは，JavaScriptでもないのに生JSONなんてそもそも使うんじゃねーよって感じですが，それが説明できればいいなと思ってベンチマーク

わけあってハッシュ関数を使ったプログラムを作ることになりました． 入力キーには仕様的に数値的限定をかけて，ゼロから１億程度としました． ならば，20億入る符号付き32bitで十分なはずです． そんなに長くない32bitを出してくれるハッシュ関数として，MurMurがあったので， ベンチマークスーツでその性能を検証してみました． libmemcachedでは，種類としてはFNV，crc32(?)，hsieh，murmur,jenkins，md5がサポートされてます． KyotoCabinetではmurmurとfnv． redisでは入力と出力を64bitに拡張したバージョンのmurmurが使われています． phpはクライアントとしてはさすがにデフォルトで沢山サポートされてますね．md?，sha?，ripemd?，whirpool，tiger?，snefru，gost，adler32，crc?

ビッグデータが流行っているので，大量データをストリーミングにsemi-realtimeに処理できるフレームワークを探しました． 条件は， 処理の取りこぼしが無いこと できるだけシンプルであること 各種言語へのバインディングがあること などです． フレームワークとしては，Dempsy，Storm，Esper，Streambase，HStreaming，Yahoo S4などがありますが，順次調べていきます． Dempsy比較的新しい，Dempsy. http://dempsy.github.com/Dempsy/ What is Dempsy? In a nutshell, Dempsy is a framework that provides for the easy implementation Stream-based, Real-time, BigData applications.

はい，POCOキャンペーン第３弾です． 第１弾： POCOで簡単Webアクセス - なぜか数学者にはワイン好きが多い 第２弾： POCOで簡単POPアクセス - なぜか数学者にはワイン好きが多い POCOを使えば，C++でもRuby並に簡単にアプリケーションが作れる例です． 今回は電子メールを送信する例です．POCOのソースリスト一式に入っているサンプルプログラムから，画像ファイル添付を除いた簡単なものに改変しました． #include <iostream> #include "Poco/Net/MailMessage.h" #include "Poco/Net/MailRecipient.h" #include "Poco/Net/SMTPClientSession.h" #include "Poco/Net/StringPartSource.h" using namespace std

前回のテストで，とりあえずキャッシュとしての速度だけ考えるとmemchachedがやはり最速だということが分かったので，今回はmemcachedと話題のRedisを比較しました．Redisは非同期でディスクに書き出されるのが特徴ですが，memcachedはともかく，memcached-haはレプリケーションで他サーバに飛ばせるので，それほど負けてもいません． RedisもKyoto Tycoonと同様，memcachedプロトコルじゃないので，ソケット通信をPocoで実装しました． #include <sstream> #include <iostream> #include <Poco/Net/HTTPClientSession.h> #include <Poco/Net/StreamSocket.h> #include <Poco/Net/SocketAddress.h> #inclu

githubなんかからgitのレポジトリを落とそうとすると，https://とgit://がありますが，httpのプロクシしか立っていないためにhttps://で落とそうとしてもエラーになりました． > git clone https://github.com/imatix/zguide.git Cloning into zguide... fatal: Unable to find remote helper for 'https' > setenv https_proxy http://proxy > git clone https://github.com/imatix/zguide.git Cloning into zguide... fatal: Unable to find remote helper for 'https' どうもプロクシ以前の問題の気がするので調べると，IN

TokyoとKyotoについては，オンメモリ・ディスクベースの両方を測定しましたが，memchacedが最速でした．強し！ memcachedとTokyo Tyrantについては，いわゆるmemcachedプロトコルが使えるので，memcachedプロトコルでsetとgetをしました． プログラムはやはりC言語バインディングが最速だろうということで，こんな感じです． #include <libmemcached/memcached.h> #include <stdio.h> #include <string.h> #include <stdlib.h> #include <time.h> #include <sys/types.h> #include <md5.h> #include <omp.h> void set_key_val(MD5_CTX *con, int seed, char

最速KVS研究第4弾 - なぜか数学者にはワイン好きが多い どこまでも続きます． 目的が全く違う2者ですが，敢えて比較してみました． もちろん，Google LevelDBと似たコンセプトのものとの比較も今後進めますが．．． とりあえず，キー長はmd5ハッシュの長さ固定，バリュー長を変化させ，かつ同時アクセス数をスレッドアクセスで変化させて読み書き時間を測ってみました． まず，バリューの長さが100バイトと短い場合のベンチ． 同時アクセス数を表すスレッド数が少ないときはLevelDBの書き込みが爆速，読み込みはなぜか遅い．．．redisはスレッド数に関わらず安定して読み書きとも中間な感じです． 次，バリューの長さが1000バイトの中間的ベンチ． やはりLevelDBはスレッドが1だと書き込みが最も速く，同時アクセス数が増えると遅くなる． 読み込みの方は，redisよりは遅いものの同時アクセ

話題になったhiphop-php... http://blog.candycane.jp/archives/275 github等で公開されました． GitHub - h4ck3rm1k3/hhvm: For the experimental debian packaging of the hiphop php to c compiler from facebook, see branch mdupont_hip_hop_patches しかし，FreeBSDにはインストール失敗しました．．．hiphop-php． HipHop-PHPは依存が非常に多いです．すなわち，HipHop-PHPを入れるためには，そのために必要な大量の他のソフト・ライブラリを入れなければなりません． 頑張ってソースインストールしていきました． Git > wget http://kernel.org/pub/so

POCOというC++用のライブラリ，とても面白いです． POCO C++ Libraries - Simplify C++ Development インストールも簡単で，make一発です．ただ，簡単ということはカスタマイズ性が低く，例えば現状ではicc(Intel C Compiler)で作ることができません． でも，構造が美しくて分かりやすく，私にはRubyの便利な添付クラスライブラリのような印象を受けました．Rubyはネットワークプログラミングも得意なので，ずいぶん色々なアプリやロボット（クローラ）も作ってみましたが，POCOでも同様に簡単に色々なことができそうです． 試しに，Yahoo!のトップページを取ってきて，ヘッダとボディのHTMLを標準出力に表示するサンプルを書いてみました． #include <iostream> #include <Poco/Net/HTTPClientS

先日インストールしたDrizzleの簡単な性能評価をしてみました． 速度はもちろんですが，どれくらいMySQLと互換性があるか調べたかったのです． Drizzle自体は，先日インストールした通りです． DrizzleをFreeBSDにインストールしてみた - なぜか数学者にはワイン好きが多い MySQLは，普通にMySQLのサイトからFreeBSD用のMySQL 5.1をダウンロードして， MySQL :: Download MySQL Community Server BINARY-INSTALLに従ってインストールしました． まずDrizzleを立ち上げます． # drizzled --datadir=/tmp/drizzle.data/ -u tetu-s --console-enable --port=3306 InnoDB: The InnoDB memory heap is d

Rubyはネットワークアクセスも簡単なので，Webクローラー・ロボットの類は何度も何度も作ってますが．．． ライブラリのNet/HTTPやURIクラスが強力なので，つい自分で正規表現でHTMLをパースしちゃうんですよね． でも，リンクアドレスを取得しようと思って /<a href="(\w+)>"/なんて正規表現を書くのは複雑な上，w3c規格にきっちり従うのは困難です． なので，ちゃんとライブラリを使おうと思うと，例えばノコギリ． http://wiki.github.com/tenderlove/nokogiri ノコギリのインストールはこんな感じです． RubyGemsをインストール． http://docs.rubygems.org/ # wget http://rubyforge.org/frs/download.php/60718/rubygems-1.3.5.tgz # tar

有名な形態素解析ソフトであるChaSenのJava移植であるSenを必要に迫られてWindowsに入れていたのですが，最近はあんまりメンテされていないらしく（がんばれ，工藤君），いろいろトラブルがあったので後々のために目盛っておきます． JavaのSDKはインストールされてるとします． 環境変数の設定として，コントロールパネル→詳細設定→環境変数で，以下を設定する． Pathに{Antを展開したフォルダ}\binを追加 ANT_HOMEに{Antを展開したフォルダ}を設定 JAVA_HOMEにjdkがあるフォルダを設定 Senの辞書メンテに必要なApache Antをダウンロード，インストールする． http://ftp.riken.jp/net/apache/ant/binaries/apache-ant-1.7.1-bin.zip 同じく必要な，ActivePerlをインストールする．

Intel Cコンパイラ10.1をインストールしようとして，ハマりました． 普通にいつも通り # ./install.sh と打ち込んで利用許諾等に返事して進んで行くと， - エラー: 依存性の欠如: libstdc++.so.5 は intel-icc101015-10.1.015-1.i386 に必要とされています libstdc++.so.5(GLIBCPP_3.2) は intel-icc101015-10.1.015-1.i386 に必要とされてい ます - とエラーが出てインストールされません． 調べると，確かにlibstdc++.so.6は入っているのですが，libstdc++.so.5は入っていません． IntelのサイトのFAQを見ても，「libstdc++.so.5が必要なので用意して下さい」としか書いていません． 誤魔化そうとして， # ln -s /usr/lib/