はてなブックマーク

gitlab.comは自前でDocker image登録できたり、CI持っていたりと便利ですね。しかも、privateレポジトリもお金かからないという太っ腹。 技術書典2に向けたレポジトリはgitlab.comで管理しています。 今回は共著者にPython使いが多いためSphinxを使って書いているんですが、Sphinxはcommon markでも書けるのでmarkdownでも文章を書くことが出来ます。 前回の記事では、数式入りのmarkdownからPDFを生成するDocker imageを作りましたが、それを使うと簡単にGitlab-CIでPDFが生成できます。 chezou.hatenablog.com やり方は簡単、あなたのSphinxのプロジェクトに、以下のような.gitlab-ci.ymlを書くだけ。もちろん、必要に応じてpathsは変更してください。 image: chezou

Sphinxでmarkdown拡張を扱うためのrecommonmarkというライブラリがあります。 これを使うとreSTではなく、markdownを書いてhtmlやPDFが吐けるようになります。 詳細は以下のエントリにやり方がまとまっています。 tech.3rd-p-zombie.net 実は、このrecommonmarkはconfigに設定を書くだけで、数式をmarkdownの中に埋め込めるのでした。 conf.pyの上の方に以下をimportし、 import recommonmark from recommonmark.parser import CommonMarkParser from recommonmark.transform import AutoStructify source_suffixの修正、source_parsersの追加 source_suffix = ['.

disclaimer: この記事を書いている人はClouderaというHadoop/Sparkのディストリビューターの会社にいます。 codelunch.fmの20回目を聞いていろいろ思うところがあったのでつらつら買いてみます。 codelunch.fm この回のcodelunch.fmでは、前職の同僚である丸山さん（@h13i32maru）と@hokacchaさんが、お互いの家庭環境の変化を交えながら個人プロダクトの開発について話しているエピソードです。これ自体なかなかおもしろい回なので、趣味でプロダクト開発している人は聞いてみるといいんじゃないかなと思います。 丸山さんはJasperやESDocを精力的に開発していますし、hokacchaさんはnodebrewやadventarを作られています。彼らの話していた、個人で趣味プロダクトを開発するモチベーションは何かというところは、以下のよ

ブルガリアンスクワットをして筋肉痛でプルプルしています。大晦日も元旦もほぼDMM英会話の予定しかありません。 2016年は、世界的にも激動の年でしたが、個人的にも色々な大きなことが起こり激動の時代でした。*1 昨年の振り返りはこちらです。 chezou.hatenablog.com Cookpad TechConf、DS祭り、CWT2016で発表した chezou.hatenablog.com chezou.hatenablog.com chezou.hatenablog.com どれも自社イベントですが、今年は外で発表する機会を例年より多くいただきました。来年も、BigData Analytics Tokyoの発表から幕開けです。 転職した chezou.hatenablog.com CookpadからClouderaに転職しました。Sales Engineerというロール、初めての外資

ハード中心ですが、2016年に買ってよかったものを書いていきます。10選と言いつつ、枝分かれをしているものがありますがご愛嬌ということで。転職をしたこともあり、必要となったものが大きく変わったのですが、今回は自分の生活を楽にしてくれたものを買えたなという気持ちです。 Philips 43型 4kディスプレイ Philips 43型ワイド液晶ディスプレイ (4K対応/IPSパネル/5年間フル保証) BDM4350UC/11 出版社/メーカー: Philips(フィリップス)発売日: 2016/04/15メディア: Personal Computersこの商品を含むブログを見る このモデルの良い所は、 40インチ超えで7万以下と安い IPS液晶なので斜めから見る場合でも色の変化が少ない フリッカーフリーなので、輝度を落としてもちらつかない という点が挙げられます。特に、安い10万以下のモデルで

噂のiPhone 6sのバッテリー交換に当選しました。症状としては、突然電源断が起こるというもので、ちょいちょい突如落ちる現象には悩まされていました。 当選確認は、以下のサイトでシリアル番号をいれることで確認できます。 https://www.apple.com/jp/support/iphone6s-unexpectedshutdown/ 当選したら、以下のサイトから「修理サービスを申し込む」で進めていきます。 https://support.apple.com/ja-jp/iphone/repair/battery-power で、ここからが本題ですが、特に東京近辺の人たちは、カジュアルにアップルストアに行けるため、すぐに終わるため店舗に行って修理交換をすることが多いと思います。ですが、今回は一斉にバッテリー交換が発生したため、バッテリーの店舗在庫が切れていたり、代替となるiPhone

今日のre:InventでDeep Learningを使った音声合成サービスのAmazon Pollyが発表されました。 正直、DLを使ったの音声合成が話題になったのなんて今年に入ってからだと思っていたのに、もう商用化したんか！という気持ちでいっぱいです。 Amazon Polly – 文章から音声へ、47の声と24の言語 | Amazon Web Services ブログ Amazon Polly – Lifelike Text-to-Speech [2016/12/02追記] PollyがDLベースという話は https://aws.amazon.com/jp/polly/ に、"Polly is an Amazon AI service that uses advanced deep learning technologies to synthesize speech that so

最近、めちゃくちゃicloudのカレンダーにレイバンのスパムが来るようになってうざいので、通知されないように回避するためのicloudの設定方法を書いておく。 1. PCのブラウザでiCloud.com へ行きカレンダーを開く 2. 左下の歯車から環境設定を開く 3. 「詳細設定」の「イベント参加依頼の受信方法」の設定を「[email protected]へメールを送信」にする この設定にすると、設定したメールアドレスに通知が来るのでメールを削除するだけになる。 補足 追加された予定を通知しないように削除するには、icloudに新規カレンダーを追加してそちらに移動してから、カレンダーごと削除すると招待した輩に通知をすることなく消せる。 参考サイト 9to5mac.com astralbodi.es www.dagasorega-e.net

さる11/8に、自社の主催するCloudera World Tokyo 2016で、機械学習プロダクトの作り方について話をしました。 図: Hadoopの生みの親 Doug(@cutting)と握力王新沼さん(@hiroki_niinuma)の対談イベントの様子 大規模データに対するデータサイエンスの進め方 #CWT2016 from Cloudera Japan www.slideshare.net データの民主化の話、データサイエンティストとデータエンジニアの役割分担とチーム構成、機械学習の業務フロー、Cloud Nativeなデータサイエンスといった盛りだくさんの話をしました*1。 話の中で特に言いたかったことは2つ、P.16のリスクを取ってくれる責任者を捕まえようという話と、P.29の機械学習込みのプロダクトは改善をし続けないと死ぬという話です。 あとは、できるだけ機械学習をしない

京大の黒橋・河原研から最近出たJUMAN++をmacOSのhomebrewでinstallできるようにしました。 JUMAN++はRNNLMというディープラーニングベースの言語モデルを使っています。 こちらの記事を読んで知ったという方も多いのではないでしょうか。 qiita.com インストール方法は、現段階では後述する理由のためhomebrew-coreにはまだ入っていないので、tapを使ってください。 [2016/10/23追記] やっと本家homebrewに入ったので、tapは要らなくなりました。 [/追記] $ brew install jumanpp github github.com JUMAN++のサイト凄い JUMAN++のサイトには解析を試せるWebアプリケーションがあるのですが、それがなかなか面白いです。 このリンクに対して、 http://tulip.kuee.kyo

RubyKaigiに参加するとコード書きたいという気持ちが高まって良いのですが、今回はPDFの表を読み込んで pandas の DataFrame に変換できる tabula-pyを作りました。 これをもってRubyKaigiの参加報告とさせていただければと思います。 tabula-pyとは tabula というJavaで書かれたPDFから表を抽出するライブラリをPythonでうすーくラップしたものです。実装を見てもらえばわかると思いますが、本当にsubprocessでJavaのプログラムを叩いて標準出力で受け取るというだけしかやっていません。 もともとは、Rのtabula実装がかなり色々できるのを知ってPythonがないらしいというので作りました。Rの実装はマジでJavaをごりごり書いていて尊敬の念を抱いています。 tabulizerパッケージによるPDF表データからのデータ取得 git

さる 8/20 に川崎Ruby会議01を開催しました。 regional.rubykaigi.org 川崎Ruby会議は、kawasaki.rbの主催する地域Ruby会議です。 ちゃんとしたまとめはるびまに出ると思うので、ここでは開催の経緯なんかを簡単に書こうと思います。 なお、発表内容が気になる方はタイムテーブルにあるスライドや動画へのリンクを見ると良いと思います。 togetter きっかけは Ruby Kaigi 2015 日本酒が事実上無限に飲める会に参加したところ、咳さんに「次のregionalはやらないの」と言われ、基調講演者が決まればありかもと答える 翌日、miyagawaさんと飲んでるかくたにさんと話して、「2回以上続くregionalはやっぱり特定の地域コミュニティがやってるね」と言われる さらに翌朝、帰る直前のmameさんに会って「川崎のregionalやるとしたら、基

2016/07/25に「夏真っ盛り！Spark + Python + Data Science祭り」を開催しました。 connpass.com 今回はClouderaに入って初めてのコミュニティイベントということでしたが、なんと400人を超える応募をいただいてとてもありがたい限りです。 会場をご提供いただいたDMM.comラボ様、発表いただいたサイバーエージェントの内藤さん、DMM.comラボの加嵜さん、LTの皆様ありがとうございました。 togetter.com pandasを大規模データにつなぐIbis Ibis: すごい pandas ⼤規模データ分析もらっくらく #summerDS from Cloudera Japan www.slideshare.net Ibisはpandasの作者でもある Wes McKinney(@wesmckinn) の作っているライブラリです。 ひとこ

Spark Summit 2016でもトークがあったSparkのREST serverであるlivyですが、MicrosoftがHDInsight上のSpark clusterとJupyterをlivyを使って繋げられるようにしたと聞いて、早速試してみました。 Jupyterって何？という方は簡単に言うと、ブラウザで各種言語のREPLが動くものと思ってもらえばいいです。 詳細は過去に書いた以下の記事を読んでみてください。 techlife.cookpad.com livyとは livyはSpark clusterをコントロールするためのREST Serverです。 Microsoftはこれとjupyter notebookのsparkmagicを使ってHDInsightとjupyterをつなげるようにしているそうです。 MSの取り組みはSpark Summit 2016のトークがわかりやす

移転しました。 https://chezo.uno/post/2016-05-29-sonomoderu-guo-xue-xi-siteruno-wei-xue-xi-nano-tokun-tutara/

機械学習の分類の話を、主に決定境界と損失関数の観点から整理してみました。 とはいっても、k-NNとか損失関数関係ないのもいます。 最初ははてなブログに書こうとしたのですが、数式を埋め込むのが辛かったのでjupyter notebookにしました。 github.com [追記] githubだと日本語を含む数式のレンダーが壊れるので、nbviewerの方がいいかもしれません。 https://nbviewer.jupyter.org/github/chezou/notebooks/blob/master/classification.ipynb [/追記] パーセプトロンが見直されたのはなんでだっけ、SVMってどういう位置づけだっけ、というのを確認できればなぁと思っています。 多層パーセプトロンまでに至るところの流れがうまく伝わればなぁと思っています。 間違いなどがあれば、是非ご指摘いただ

先日、この記事を読んで分析のハードルを下げること大事だよね、というのを思い出したのでつらつらと書いてみようと思います。 qiita.com 内容としては正直タイトル詐欺で、SlackからRDSにクエリ発行できるようにして、各種権限を持っているエンジニアでなくても分析できるようになったよ、という話です。 ここでいう「データ活用の民主化」というのはかっこ良く言ってみたかっただけで、「データ分析を生業にしている人以外もデータを活用してビジネスを進められるようになる」というくらいのニュアンスだと思って下さい。 「データ分析」というとアナリストの人がやること、みたいな職務が分かれている環境もあるとは思いますが、そうではない会社（前職）の一例です。 データ活用が広まった流れ 数秒〜数十秒で対話的にクエリが返ってくると、トライアンドエラーが100倍くらいできる 今まで実行計画を気にして避けていたことにガ

はじめての転職エントリです。 一部の方にはお伝えしましたが、先週からClouderaで働いています。 まとめ Ruby大好きポエム プロダクトエンジニアポエム データ大好きポエム お前だれよ？ kawasaki.rbやMachine Learning Casual Talks、Julia Tokyoなどのミートアップをやってます。 なお、今後もコミュニティ活動は続けていきたいと思います。 Rubyが好きでクックパッドに入った 仕事でまったくRailsを書いていない人だった*1のに、「Rubyが好きです！Rubyistなら一度は働いてみたいです！NLPと機械学習はやってきたんですが、世の人の役に立つものを作って使ってもらいたいです」とミーハーな気持ちで挑んだのですが、なんとか拾ってもらえて2年8ヶ月働くことができました。 「Rails書いたことないのに採用されて驚いた」と飲んだ時に話したら、

1/23に開催されたCookpad TechConf 2016で、クックパッドの研究開発に関する取り組みを紹介させていただきました。 R&D at Foodtech company - #CookpadTechConf 2016 from Michiaki Ariga www.slideshare.net メッセージとして伝えたかったことは、 たべみるという主にtoB向けに提供しているクックパッドの検索履歴を可視化したサービスを学術提供開始しました 普段はAndroid書いてるアプリエンジニアが、自らレシピをカテゴリ分類できる仕組みがありますよ ということです。 [2016/01/25 10:04追記] たべみるの学術アカウントは無償提供させていただいております [/追記] たべみるは、社内でも季節の食材やトレンドを見てレシピを選定するためにも活用しているのですが、地域ごとの差異なんかもわ

今年は色々と挑戦をし、成功したもの失敗したもの多くの体験ができました。 雑感 その中で痛感したのが、背中を預けられる仲間と働くことの重要性でした。 通年を通じて会社の同僚に散々言われつづけてきた2つの言葉があります。 責任を取らない人の言葉は気にしてはいけない。自分で責任を取り権限を掴め。 この言葉が実行できたのは今年の終盤でした。開き直ってしまえば、しんどさはあるもののどんどん進めていくことができるようになりました。 本当にそれは自分がやるべきことか？断れないから引き受けていないか。自分のキャパを過大に見積もりすぎてはいけない。 年の中盤から意図的に参加する勉強会を絞ったり、主催も控えめにデリゲートできるものはデリゲートしてきました。結構切り捨てるものは切り捨てました。 けど、もう少し抑えられる気がしています。 自分の「得意」が何で、それを踏まえた上で何を伸ばしていきたいか、何でもやる、

まさかの一週間内に自分の主催する勉強会が3回重なるデスロードを走ってきたchezouです。*1 前回からだいぶ感覚があきましたが、MLCTを @yamakatu さんの火付けのもと開催しました。*2 mlct.connpass.com テーマは @tokoroten さん発案のDevOpsをもじった"DevData"というテーマでしたが、奇しくもデータ分析チームの立ち上げ方とどうやってビジネスにコミットしていくか、という話になりました。 まとめはこちら togetter.com chezou オープニングトーク Why I started Machine Learning Casual Talks? #MLCT from Michiaki Ariga www.slideshare.net @shakezo_ さん「プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方」 プロ

id:meison_amsl さんによるSympyの紹介がとてもよい感じだったのですが、Sympy Liveわざわざ使わなくてもJupyter notebook使えるのでは！？と思ったので試してみました。*1 わざわざ、というと語弊があると思いますが、手元でメモ＋αとして管理するのにはJupyter notebookの方がいいかなと思っています。 myenigma.hatenablog.com Sympyは 2015年センター試験数学IAを全てプログラム(Python)で解く - Qiita でも見ていて、ふーん、凄いなと思っていた程度なのですが、 単純に数式を記述するだけではなく、それを方程式として展開したり微分、積分したりできるのが良いですね。 単に数式をメモするだけならJupyter notebookでLaTex記法で数式を書くことができます。 meison_amslさんのものを J