サクサク読めて、アプリ限定の機能も多数！
トップへ戻る
Switch 2
joker1007.github.io
富山Ruby会議01 @joker1007 self.inspect @joker1007 Repro inc. CTO TracePoint芸人 最近はKafkaを触っている 最近肺炎に罹って死にそうになってた 様々な領域のエンジニアを絶賛募集中です。 またTracePointか やあ （´・ω・｀) ようこそ、プレモルハウスへ。 このプレモルはサービスだから、まず飲んで落ち着いて欲しい。 うん、「また」なんだ。済まない。 仏の顔もって言うしね、謝って許してもらおうとも思っていない。 でも、この発表を見たとき、君は、きっと言葉では言い表せない 「ときめき」みたいなものを感じてくれたと思う。 殺伐とした世の中で、そういう気持ちを忘れないで欲しい そう思って、この資料を作ったんだ。 じゃあ、注文を聞こうか。 突然ですが RubyKaigiというイベントがある 世界最大級のRubyのテックカン
Repro.inc CTO Tomohiro Hashidate / joker1007 プロフィール joker1007 神戸大学 法学部卒 SIerから小規模な受託開発会社を経てフリーランスへ 2015/10ぐらいからフリーランスとしてReproに 2016/7からReproのCTO (3ヶ月ちょい ) パーフェクトRuby, パーフェクトRuby on Rails 共著者 人生における大事なことは「ジョジョ」に学んだ 今日話さないこと 組織論 チームマネジメント 業務フロー改善 スタートアップっぽい苦労話 今日話すこと 技術でビジネスを支えるとは そのために今まで為し遂げてきたこと 何を使って 何を解決したか (何をやった結果CTOになってしまったか ) プログラマーとしての姿勢 自分はマネージャーではない バリバリコード書いてるプログラマー では、CTOという肩書で何をやっているの
Base of Batch Processes For Not Big Player @joker1007 (Repro inc. CTO) self.inspect @joker1007 Repro inc. (newbie) CTO Rails/JS/Docker/ECS/terraform/Spark/Bigquery/fluentd/embulk https://repro.io/ My gems, or My contributions activerecord-cause yaml_vault activemodel-associations emrakul rukawa ← Talk about this fluent-plugin-bigquery We're seriously hiring now Complexity of Batch process is getti
@joker1007 self.inspect @joker1007 Repro inc. (newbie) CTO 時間が無いので会社の説明とか 面倒なことはしません Requirements of Complicated Batch Define, visualize dependency of jobs Fork and merge job route DAG Concurrent execution Control concurrency Retry any jobs Re-usable jobnet Rake is sometimes painful Hard to control concurrent execution Hard to understand complicated job dependencies Cannot Resume jobs freely Hard
@joker1007 self.inspect @joker1007 パーフェクトRuby, パーフェクトRails 著者 Asakusa.rb, Yokohama.rb, Shibuya.rb データ分析基盤構築, Bigquery, インフラ全般 fluent-plugin-bigqueryメンテナ (株)Repro 宣伝タイム 現在のECSの活用状況 主要システムはほぼECSに移行完了 メインWeb, API, 各種非同期処理ワーカー クラスタは基本で15台 ASでその倍から3倍ぐらいまで増える 開発者用ステージング、QA環境等にも利用 何故ECS化したのか ミドルウェアのバージョン管理の容易さ Ruby, nginx, fluentd ... TaskDefinitionのリビジョンでロールバックできる 無停止デプロイメントの簡易化 AutoscaleのためのAMI管理不要 pul
RubyKaigi Drinkup 日本酒スーパーバイザーによる5分で分かる 日本酒 @joker1007 日本酒に関する経歴 Rubykaigi ESM Drinkup TokyoRuby会議 11 懇親会 Asakusa.rb 花見への持ち込み TokyuRuby会議 酒王 日本酒とは 酒税法上の「清酒」の定義 米、米こうじ、及び水を原料として発酵させて、こしたもの 上記の原料に加えて、清酒かすその他政令で定める物品を原料として 以下同文 清酒に清酒かすを加えて、こしたもの 要は米と米こうじで作った醸造酒。 アルコール度数は法律上は22%以下となっている。 米こうじ・酵母 米に麹菌を繁殖させたもの。 米のでんぷんを糖分に変え、 酵母菌が糖分を分解しアルコールを発生させる。 酵母菌は酒蔵と共に代々受け継がれていた。 最近は色々と新しい酵母の開発も進んでいる。 日本酒の製造工程 (雑) 米
@joker1007 メインのバッチ集計処理基盤として bigqueryを利用するために今取り組んでいること、 そしてそれを支えるfluentdとembulkの bigqueryプラグインの現状を解説します。 self.inspect @joker1007 Freelance (Ruby/Rails/JS/Redshift/Bigquery) パーフェクトRubyとかパーフェクトRailsとか 最近はアプリより基盤寄りの仕事が多い (株)Reproで仕事中 Repro Inc.の最新情報 - Wantedly Hireling Now 資料作成サボってて時間がやばくなってしまい、 業務時間使って資料作ってたので、 宣伝を入れるからってことで許してもらいました BQの利用背景 MySQLの限界 将来的にもデータ量は増え続ける 割とヘビーな集計処理がある できるだけ同時に算出したい 構成イメー
@joker1007 self.inspect @joker1007 Freelance バッチ処理の依存関係定義が辛い 簡単なものだったらRakeでも namespace :batch do task :job1 do Job1.run end task job2: [:job1] do Job2.run end task job3: [:job1] do Job3.run end task Job4: [:job2, :job3] do Job4.run end end Rakeだと辛い点 数が増えてくると依存関係が分かり辛い 並列で実行制御するのが難しい (multitaskとかあるんだけど……) 定義場所を分割し辛い 途中から実行を継続できない 依存を無視して単独でタスクを実行できない 解決するためにrukawaを作った Job定義のサンプル class SampleJob < R
A framework for easily creating beautiful presentations using HTML
このページを最初にブックマークしてみませんか？
『joker1007.github.io』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
