Talend、TreasureDataを今から覚える人のための「顧客理解のためのビッグデータ分析基盤」勉強会レポート 11/13(木)に「顧客理解のためのビッグデータ分析基盤」という勉強会をTalendさん、TreasureDataさんと一緒に開催をしました。クラスメソッドからは甲木が登壇したので、その様子をレポートしたいと思います。 Talend や TreasureData について、名前はよく聞くけど一体どんな製品なんだろう？という方が読まれると、だいたいこういう製品なのかー、というのがおわかりいただけるかと思います。 勉強会のプログラムはこんな感じです。 「クラスメソッド・カスタマーストーリーのご紹介」 クラスメソッド株式会社　AWSコンサルティング部 ソリューションアーキテクト　甲木洋介 「ハイブリッド環境で威力を発揮するビッグデータ統合ツールのご紹介」 Talend株式会社　マ

はじめに 前回はChef-SoloとChef-Clientローカルモードを比較し、ローカルホストの収束を行いました。今回はリモートホストを管理するためのKnife-SoloとKnife-Zeroを比較してみます。 Knife-Soloでは次図のように、ローカルファイルシステム上にあるCookbookやAttributeなどのポリシーをssh+rsyncでリモートホストに転送し、sshでリモートホストにログインしてChef-Soloを実行してポリシーを参照して収束を行います。 Knife-Zeroでは次図のように、ローカルホスト上にあるポリシーやNode Objectを参照するためのChef-Zeroを起動し、sshでリモートホストにログインすると同時にTCPポートフォワーディングを設定し、ローカルホストのChef-Zeroにあるポリシーを参照して収束を行います。 大変簡単に言うと、Knif

最近、サーバーを一から構築する必要があって、chefを使ってみることにした。 CIしたいのでまずはJenkinsを入れる。 Chef: 11.12.4 Vagrant 1.5.4 Vagrant この辺のコマンド $ vagrant box add centos http://developer.nrel.gov/downloads/vagrant-boxes/CentOS-6.5-x86_64-v20140110.box $ mkdir vagrant_chef $ cd vagrant_chef $ vagrant init centos で環境構築。 Vagrantfileに config.vm.network :private_network, ip:"aaa.bbb.ccc.ddd" を追加する。 起動。 $ vagrant up sshコマンドで接続できるように $ vagra

変化の激しいビジネスに対応するためにシステムやサービスには、これまで以上に迅速な導入や安定した運用が求められるようになってきています。このような要求を満たすために、仮想環境やクラウド環境を基盤として利用し、サーバの構築プロセスや構成管理プロセスの効率化のためにChefやPuppet、Ansibleといった自動化ツールが活用されるようになってきています。 このように自動処理で手軽にシステムやサービスをセットアップできるようになると、構築時の人為的ミスを防げるようになるなど便利になる反面、内部で実施されている処理が人の手から離れて、把握しづらくなる傾向にあります。また自動化の導入に際しては、システムが意図した状態に作り上げられているのかを確認する作業も重要になってきます。特に大規模で複雑な環境において、この確認作業を手作業で実施することは、高コストの要因となってしまいます。 参考: Think

こんにちは。 技術チームの星野と申します。 社内勉強会で、Dockerfileの作り方とか、CoreOSでのDockerでのデプロイ方法の一例を紹介しました。 ↑はその際のスライドです。前半のポエムっぽい序章は、適当に読み飛ばしていただければと思います。 個人としてDockerを試している理由は、構成管理をDockerfileというシンプルな形式で記述しようとしているところが魅力的だったからです。 「CoreOSの発表」と言いつつ、デモでは「CentOS7」も使ったりしました(CentOS7がリリース直後だったから!!)。 CentOS7ではsystemdがデフォルトで動いており、弊社ではCentOSを採用しているサービスも多いため、ここぞとばかりに試させていただきました。 補足 あと、スライドの補足として、今回デモで動かしたCoreOSの起動〜Jenkinsコンテナ起動までのスクリプトの

タイトルのまま。僕はレシピの作成をVimを使ってやっているのですが、毎回似たようなコードを手打ちしていくのは頭おかしくなりそうなので、スニペット化していました。なんか需要がありそうなので公開しておきます。 コードはGitHubのryuzee/neosnippet_chef_recipe_snippetにおいてあります。 インストール方法大前提としてVimのNeoSnippetプラグインが必要ですので、適宜インストールしてください。 スニペットのインストールは、Bundleを使っている場合、.vimrcなどにBundleの追加とスニペットのパスの追加を行ってください(コードは折り返されているので注意)。 Bundle 'ryuzee/neocomplcache_php_selenium_snippet' let g:neosnippet#snippets_directory='~/.vim/

2. 運営組織 2 • 業務執行社員をつとめる合同会社 • アプリケーションのためのプラットフォーム構築/運 用自動化をテーマにした活動を担当 • http://opsrock.in 共同開発・運営 • Chefをはじめ、Infrastracture as Code 関連を主に取り扱うソリューションを提供 • 導入支援・トレーニングも 3. 本日のお話 • Chefをひと通り解説 • Chef本ベース+補足など ! • 近頃のChef関連 Update • Chef-Zero, ChefDK, Chef-Metal.. • local_mode, local_template 3

半歩進むChef-Solo 最近、Vagrant + Chef-Soloによるローカル開発環境Boxイメージ構築自動化に取り組んでいます。 Cookbookをつくるうえでのノウハウがたまってきたので、まとめの意味も込めて「半歩進むChef-Solo」シリーズでエントリ書いていこうと思います。 今日はChefで行う「共通化」についてです。 Cookbookの共通化（recipeとdefinition） Vagrant環境でChef-Soloによる構築自動化を行なっていると、複数の環境で似たような処理を行なっている箇所が出てくると思います。 例えば、同じResouceの組み合わせた処理が何箇所も出てきたり、特定のサーバソフトウェアに関連するセットアップをいろんなRecipeの中でやっていたり。 Chefにはこれらの処理をまとめるために、definitionとrecipeという仕組みがあります。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? このドキュメントでは、Chefを実行して、インフラを作成したい人が、既存のレシピがあるのを前提に、Chefの概要を理解するためのドキュメントです。Chef-soloの構成のみに対応した記述になっています。理解が間違えているところとかあればご指摘ください。 Chefの概要 1.1. Chefとは シェフは、インフラストラクチャーをコードに変換するための自動化プラットフォームです。仮想環境でも、物理環境でも、クラウドでも使う事ができます。インフラストラクチャを自動化することで、プロダクトのマーケット投入を早めたり、スケールや複雑さに対応した

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

期待通り、面白い話だったのでメモを残しておく。 「サーバプロビジョニングのこれまでとこれから」 宮下 剛輔 氏 mizzy @gosukenator paperboy&co. テクニカルマネージャ サーバプロビジョニングとは プロビジョニングは3つのレイヤがある。 orchestration application service orchestration configuration system configuration bootstrapping cloud or vm image launch os install あまり厳密に捉えすぎる必要はない。とのこと。 Bootstraping 今日は割愛 Configuration ミドルウェアのインストールとか設定とか いわゆる構成管理ツール CFEngine, Puppet, Chef, Ansibleなど 会場は、Chef利用者多

普段、Chefを使って運用しているので、なかなか参考になる話だったというか、共感できる部分が多かったです。 「グリーにおけるChef導入事例」 荒井 良太 氏 @ryot_a_rai グリー Chefとは サーバの構築や設定更新を自動化するツール サーバのあるべき姿をRubyで記述しておくと、セットアップしてくれる 冪等性 Chef社のOSS 導入背景 運用担当者が秘伝の手順書でサーバのセットアップを手動でやっていた。 非効率 オペレーションミスの危険 Chefにより自動化し、安定運用をはかる リードタイム Chefにより自動化し、サーバのデリバリーを素早く行う Before Chef Debianパッケージ サーバの役割ごとのメタパッケージ 設定ファイルはスクリプトで生成 設定値 パッケージ内 サーバ管理システムに問い合わせ サーバ管理システム 社内のサーバ情報を管理しているシステム サ

A method for separating policy definition and behavior control by an intermediate language to achieve optimal server configuration management according to the situation

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

vargrant+chefでつくるPHP5.5+MySQL5.6+CakePHP3環境 巷で話題のvagrant、chefを試してみました。 折角なのでそれぞれ最新バージョンを積極的に入れてみることにしました。（結構苦労しました…） とりあえず手っ取り早く環境を作る手順を書いて行きます。 前提環境 ホストマシン環境 MacOS 10.9 VirtualBox 4.3.6 Vagrant 1.4.1 Chef 11.8.2 vagrant-omnibus 1.2.1 ruby 2.0.0p247 gem 2.0.3 仮想マシン環境 CentOS 6.5 64bit Apache2.2 (yumレポジトリ) PHP5.5 (remiレポジトリ) MySQL5.5 (公式rpm) 各種ソフトウェアのインストール VirtualBox 仮想マシンソフトです。以下URLからダウンロードしてインストー