注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
こんにちは。 ようやくKinesisSpoutが一段楽したので次のネタを。 先日「データ転送ミドルウェア勉強会... こんにちは。 ようやくKinesisSpoutが一段楽したので次のネタを。 先日「データ転送ミドルウェア勉強会」が開催され、 そこでバルクデータロードツール『Embulk』が公開されました。 データのバルクロードというと、定番のOSSというのがなくて、 HDFSにバルクデータをロードする時はhadoopコマンドで行う・・などを行っていたのですが、 それがツールでできるというのは非常にありがたいですね。 で、既に使ってみた方の事例はいくつか挙がっていますので、実際にどう作られているかを見てみようと思います。 ・・・ええ、Javaでプラグインが書けるようになるまで実際に動かすかソース読むしか出来ないからですね。 1.embulkのモジュール構成 embulkのGitHubを確認してみますと、下記3つのモジュールで構成されています。 embulk-cli embulk-core embulk-s
2015/02/09 リンク