はてなブックマーク

AWSやGCPにさくっとHadoopクラスターを立てられるCloudera Directorですが、皆さん使っているでしょうか？ 一つのDirectorサーバーからマルチCloudをまたいでクラスターを立てたり、ノード数の変更もお手軽にできたりととても簡単なので、是非試してみてください。 なお、僕はこの動画を見て試してみて、その日のうちにClusterを管理できるようになっていました。 https://vimeo.com/120721587 導入方法は以下が参考になります。 公式（英語だけど、step by stepでめっちゃ丁寧） AWS: Setting up the AWS Environment GCP: Creating a Google Cloud Platform Project 日本語の説明（補足的に見るといい） Cloudera Director のインストール方法 -

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

データサイエンティストのためのHiveQL分析クエリテンプレート その６ - トレジャーデータ（Treasure Data）公式ブログ これの応用例です。 社内ブログで評判が良かったのでこちらにも書きます。 リテンションの指標として 週に何日トップページに来るのか 1日に何セッション（ある一定の連続したアクセスの塊）トップページを訪問しているのか をTDで調べます。HiveでもPrestoでも行けるはずです。 1. あるユーザー群が1周間に何日トップページを見ているか トップページにアクセスしている限定公開ユーザが、11/22-11/29の間にアクセスしたときの、uidとアクセス日を列挙 をuidごとにカウントして、各ユーザが何日アクセスしてるかを集計 をアクセス日数毎にユーザ数を集計 という流れで処理をしていきます。 -- 3. 2.をアクセス日数毎にユーザ数を数える SELECT ac

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Juliaとは 科学計算の用途を想定して作られた言語。 裏でBLASとか使っているので、速度は速いとうたっている。 R と Julia - RjpWikiにもあるように、結構Rから乗り換える人が増えつつあるようだ。 最初にすること http://julialang.org/downloads/ で、パッケージを落としきてインストールする。 後述のhomebrewとかで頑張らないほうが楽 miitonさんのこの記事が一番わかり易い homebrewでjuliaをinstallする(非推奨) が、あるけど、 昔gfortranをgcc時代に入れた人は、入れなおす必要がある HEADで何とか入っても、GadflyがまともにIJuliaから動かない ので、やめたほうが良い [2015/01/20 追記] 現在では、homebrewで入れるのは問題ありません 詳しくは、Julia環境構築 2014

前提 エンジニアで共用しているサーバにrbenvでバージョンを切り替えたい rbenvの知識は殆ど無い人が新規のバージョンのrubyを入れる 基本方針 /usr/local以下にrbenvを導入し、groupでwrite権限を付与 bundlerやpryなど、必ず入れておいたほうがいいものはrbenv-default-gemsを使う rehashも面倒なので、rbenv-rehashを使う 手順 rbenvの導入 基本ここを参考に/usr/local以下にrbenvを入れて、グループを指定する。 http://qiita.com/items/8e973a544b592376a07e グループはstaffとします。自分のグループにadduserとかでstaffを追加しておくこと。 cd /usr/local sudo git clone git://github.com/sstephenso

homebrewでruby-buildのHEADに切り替えて、ruby 2.0.0-p195を入れてみたRubybrew

古くは弾さんのエントリにもあるchrとordのお話。 なお、Ruby1.9以降を前提にしています。1.8は多分挙動がだいぶ違うはず。 RubyとUnicodeのCodepointの話は、下記の記事がわかりやすくよくまとまっていています。 Ruby にて文字と Unicode コードポイントの相互変換を行う - vivid memo ポイント ASCIIにない範囲の文字をchrするときは、encodingを指定すること UnicodeのRangeは、0x0〜0x10FFFF (1114111)まで サンプルコード # ASCIIの変換 p "A".ord # => 65 p 65.chr # => "A" p "A".ord.chr # => "A" # UTF-8の変換 p "文".ord # => 25991 # encodingを指定しないとUS-ASCIIの範囲で文字を返そうとする

Amazon SESとは？ Amazon Simple Email Service(SES)はAPIを使って、大規模にEmailの配信が行えるシステム。 従量課金で使えて、PostfixやDNSの設定をしなくても良いので、cron等のメール送信をEC2から行う際にも利用しやすい。 ただし、送料として1日100通以上メールを送る場合は、Production Requestという申請が必要なため、 場合に応じて申請する。 ssmtpとSESを使う場合の設定方法 ssmtpは、外部のSMTPサーバを利用してメールを送るもの。SESでなく、Gmailを使う方法なんかもある。 今回は、Ubuntu 12.04で設定をした。 1.SESの設定 1.1 送信元(及び送信先)に利用するメールアドレスのVerify 認証したメールアドレスを送信元をにする必要があるため、設定を行う必要がある。 なお、Prod

何を言っているのかわからないかもしれないタイトルでごめんなさい。 以前ならWikiとか今ならMarkdownとかreSTとかでしか物を書かなくなってきて、レジュメもなんでもMarkdownでいいじゃないかと思っていたのですが、思わぬ所で「生HTMLを書いて」と言われたので、必死に抗ってみました。 Hamlって？ HTML/XHTMLを生成するためのマークアップ言語、ということです。ちなみに、CSSにおいてはSassというマークアップ言語が親戚のようです。 タグ閉じたくないよね、面倒だよねという人にうってつけです。