Building a reliable pipeline of data ingress, batch computation, and data egress with Hadoop can be a major challenge. Most folks start out with cron to manage workflows, but soon discover that doesn't scale past a handful of jobs. There are a number of open-source workflow engines with support for Hadoop, including Azkaban (from LinkedIn), Luigi (from Spotify), and Apache Oozie. Having deployed a

AWS界隈ではDynamoDB祭りが開かれているまっただ中の2012年02月22日、いつものように何の前触れも無く、こっそりとManagement Consoleにタブが追加されました。Twitterで「何このタブは？」という情報が拡散してから公式ブログに発表になるという、最近おなじみのパターンですw 【AWS発表】 Amazon SimpleWorkflow - クラウドベースのワークフロー管理サービス - Amazon Web Services ブログ - SWF？なにAWSでFlashが出来るの？などと一瞬思いましたが、もちろんそんなわけは無く、Simple Workflow Serviceの略でSWS、もとい、SWFでした。あれっw? 自分が一番最初にイメージするのは、経費や稟議の申請処理なんかを思いつきますが、Amazon SWFはすでにNASAでも使われていると言う事で、火星へ

チーム開発において、「チケット/Issue」「TDD」「コードレビュー」など、ソースコードの変更に対する効果的な開発フローについてよく考えるのだけど、なんにしてもこのあたりは非常に課題が多く、各社各コミュニティで色々なやり方が模索されているポイントだと思う。 で、まぁご多分に漏れず僕もよく考えるわけだけど、現状その過程で Pull Request こそが非常に効果的なのではないか、と思うので、ちょっとまとめてみようかと思う。 もちろん、言うまでもないようなことだよ、という人もいるかもしれないけど、そういう人がたくさんいると、非常に喜ばしいことだね。 Pull Request とは GitHub でこう呼ばれているので、こう呼ぶことにするが、ここでは、複数のリポジトリ/ブランチ間でのオープンな patch のやりとりのことだと考える。 あと、自分が使っているのが Git なので、ここでは G

ソフトウェアプロセス改善カンファレンス2011で細谷，吉岡，森崎「産学連携によるデザインレビューの改善事例」が実行委員長賞を受賞しました。発表は細谷氏（三菱電機）。アブストラクト、発表スライド、発表とも細谷氏が中心に実施くださいました。発表スライドはここ(ソフトウェアプロセス改善カンファレンス2011のサイト)で公開されています。 社内で使うレビューのガイドライン作成をご一緒しました。プロジェクトにあわせて選択しながら使えるようなガイドライン作成を目指しました。細谷氏、吉岡氏とも社内のプロジェクトをよくご覧になっていて、プロジェクト全体の特徴や傾向を踏まえた上で検討できました。 公開資料にも掲載されています検討結果の1つをここで紹介します。ガイドラインでは、ウォータフォール開発でのレビューを工程完了間際だけでなく、工程の早い段階、途中の段階でも実施するための方法を紹介しています。ただし同じ

http://atnd.org/events/22899 @yusukeyに絡まれたので、しょうがなく我が家秘伝のJIRA黒魔術をざっくり公開します。。。 JIRAはワークフローを柔軟に扱えることが一つの魅力です。 たとえば、ストーリチケットを作成するときに、ストーリポイントは必須だよね。ストーリチケットだからね。でも、ストーリポイントを必須項目にするとストーリポイントが決まっていない状況では起票できないし、必須でなくしてしまうと未入力のままの可能性がある。 思いついたときに起票して、ストーリポイントも入力漏れを防ぐにはどうしたらよいか。 ワークフローをいじる 簡単です。チケットが開始状態になるまでは未入力だけど、開始するときには必須ってワークフローを書けばいいのです。 ワークフローを超ざっくり説明すると、、、ワークフローには、オープン、開始、処理中、解決、クローズとかの"状態"があります

概要 開発をすればリリースがあり、リリースが終われば開発があります。継続開発をする以上はリリースと開発の繰り返しです。 開発手法やリリース手段は沢山あるのですが、あまりしっくりくるものが無かったので自分でまとめてみました。 これで完璧というものは残念ながらこの世にないと思うので、これからも臨機応変に良い流れを作って行ければと思います。 この文章は以下のような構成になってます。書き殴りですみません。 バージョンの付け方 ソースコード管理とリリース タスク駆動 環境方針 定義 いくつか事前に定義しておかないと話しが訳わからなくなりそうなので。 バージョン管理には git を採用しています。 開発というのはコードを書く事だけを指してはいません。 ここでいうフレームワークは「自身で開発している」として扱います。そうしないとちょっと難しいので。 ライブラリは自身の開発とそれ以外があると思いますので、

業務プロセスの「標準化」は、プロセスの品質を高め、より良い成果を安定して生み出すために必要とされている。だが、標準化に取り組んだ多くの事例が失敗に終わっている。かえってプロセスが非効率になってしまう例さえある。窮屈なばかりで効果が薄い標準化はもういらない。「失敗する標準化」の原因を明らかにするとともに、成功への道筋を提言したい。 標準化は、なぜ失敗してしまうのだろうか――。昔から標準化の取り組みは盛んだが、どういうわけか同じような失敗を繰り返している。 最近のIT業界には標準化への取り組みに効果を発揮する様々な方法論が存在している（図1）。変化に強いITのあり方を定義する「EA」、ITガバナンスの確立や内部統制の整備を支援する「COBIT」、開発組織に継続的な改善を促す「CMMI」、そしてIT運用におけるノウハウを集約した「ITIL」など、上流から下流まで標準化の推進に役立つ方法論は一通り

思いのほかワークフローに言及する人が少ないので、この辺で少し語ってみることにしてみる。 0.10までのtracは基本的には new → assigned → closed という非常に貧弱で単純。 これに対処すべくTracの利用者の多くは、管理者以外はチケットクローズしないという運用ルールを決めたり、実装者にクローズさせておいて確認日を入れるカスタムフィールドを用意して対処したり、とりあえず人に優しいとは言えない状態でした。 まぁ当然この貧弱さは問題視されていなかったわけではなく、0.11へのバージョンアップでワークフローがカスタマイズ可能になり問題を解決することが可能になっているわけです。 0.11では デフォルトワークフローの変更 これは assigned の後に accepted というステータスが追加になりました。 これにより0.10以前では把握が難しかった着手・未着手の状態が、

This domain may be for sale!

チーム開発のためのオープンな統合プラットフォーム「Jazz」 Jazzプロジェクトと言っても日本ではご存じない方もいらっしゃるかもしれません。「Jazz」とは、ソフトウェア開発チームのコラボレーションを支援するための新しいテクノロジー・プラットフォームであり、それらを開発するプロジェクトの名称です。大きな成功を収めたEclipseプロジェクトの次のステージとしてIBMが進めているプロジェクトです。Jazzプロジェクトは、人々がソフトウェア開発においてどのように協調して働くべきか、すなわち、いかにコラボレーションし、生産性を向上させ、透明性を確保してソフトウェア開発を行うかという観点で開発されています。 Eclipseは、エディター、コンパイラー、デバッガーなど開発者がこれまで別々に利用していたツール群を1つの環境に統合したプラットフォームを提供することによって開発者個人の生産性を向上させて

スターロジックは1月13日，同社のJava製ワークフローエンジン「GFlow2」をSeasarファウンデーションに寄贈し，オープンソース・ソフトウエア「S2Buri」として提供を開始した。Seasarファウンデーションは，オープンソースのDI（Dependency Injection）コンテナSeasar2を開発している特定非営利法人。 S2Buriはワークフロー記述言語XPDLで定義されたワークフローを実行するソフトウエア。業務の状態を管理するワークステート管理という概念を備えることなどが特徴。 スターロジックでは「GFlow2がSeasar2と連携することでワークフローそのものをコンポーネント化，ワークフローとアプリケーションの依存性を排除して仕様変更に柔軟に対応できるようになる」としている。またSeasarプロダクトと連携することでワークフローとSOAや分散処理などを設定ファイルだけ

筆者はプログラミングは好きだったが、テストについてはずっと苦手意識があった。プログラムがそれなりに完成してしまうとそれで満足してしまって、さっそく次のプログラムにとりかかりたくなる。結局、システムテストの段階でハデにバグが見つかってどれだけ周りに迷惑をかけたかわからない（今思い出しても冷や汗が出る）。「自分に代わってテストだけをやってくれる要員」がいてくれたらと本気で願っていた。 だから、１年前にある小さなソフト開発企業で、「新人をまずテスターとしてみっちり仕込むようにしている」と聴いたときは感心した。その発想は考えれば考えるほど合理的かつ発展的だ。筆者なりに肉付けした形で紹介したい。 ◆新人は現場のお荷物である 多くのソフト開発企業での新人教育が何から始まるかというと、大学の一般教養課程のような「コンピュータ概論」だったりする。その後に「ソフトウエア分析・設計」とか「プログラミング」の学

プロジェクトを進めるうえで、トラブル発生による手戻りを未然に防止するほかに、進ちょくを測ったり、リスクを予測したりするためには、ドキュメントレビューが効果的である。ここでは、主要なドキュメントに対するチェックポイントを紹介する。 仕様書のチェックリスト 以下に仕様書の基本的なチェックポイントを紹介する（なお、第4回の「急がば回れ──質の良い仕様書の作り方」も併せて参考にしていただきたい）。 ソフトウェア開発というのは、意図するところを人間の言葉からいくつかの成果物（ドキュメント）を経て、コンピュータの言葉に置き換えるバケツリレーのようなところがある。最初にこぼれた水を途中でつぎ足すことは、なかなか難しいもの。早い段階──仕様書には“漏れ”がないようにしたい。 （1）題名は、システム名を明記しているか 仕様書の題名に「?システム仕様書」のように、システム名が明記されているか。“名は体を表す”