最初にお断りするが、十分なメモリ、あるいはSSDをお持ちでない方は帰っていただいて結構です。 Dedupとは ZFSにはdedupという機能がある。 その機能を有効にすると、例えばここに1GBのファイルが一つあるとして、それをコピーしても、場所が同じpool内である限り、1GBのディスクしか消費しない。 何それただのハードリンクと思うのは早い。 仮に同一のファイルA, Bがあるとする。いずれも1GB。 ハードリンクすればディスク消費量は1GBだ。 さてここで、ファイルBの一部、1bitだけを変えたいとする。 もはやハードリンクはできず、別個のファイルとして扱うことになる。 したがってディスク消費は2GB。 ではdedupだとどうなるか。 1bit違う1GBのファイル二つがあっても、なんと1GBと128KBだけしかディスクを消費しないという驚きの仕組み。 どういうことかというと、dedupは

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます こんにちは。日本ヒューレットパッカード オープンソース・Linuxテクノロジーエバンジェリストの古賀政純です。近年、クラウド基盤ソフトウェアの発展や、クラウド専業ベンダーの登場などにより、オープンソースをベースとしたさまざまなクラウドサービスが登場してきました。これらのクラウドサービスを提供するIT基盤では、国内外問わず、一般的に、ハイパーバイザー型の仮想化技術が利用されています。しかし、最近になって、新たなクラウドビジネスの創出にDockerの活用が検討され始めています。今回は、欧州のクラウド事業者におけるクラウドビジネスとDockerの関係についてご紹介します。 仮想化ソフトウェアによるオーバーヘッドが許されないシステム 筆者は、H

はじめに 今日のAWS新発表はこちら！ AWS Blog: New Amazon Linux Container Image for Cloud and On-Premises Workloads Amazon Linuxのオフィシャルコンテナイメージが発表されました。コンテナイメージはEC2 Container Registry(ECR)にて配布されており、クラウド上でもオンプレミスからでも取得することができます。 ということで、Docker for Mac上でAmazon Linuxのコンテナイメージを動かしてみました。 やってみた 手元のDocker for Macのバージョンは以下の通りです。 $ docker --version Docker version 1.12.1, build 6f9534c AWS CLIを使って、Amazon Linuxのオフィシャルコンテナイメージ

Treasure Data社によってOSSワークフローエンジン『Digdag』はその発表以後多くの反響を呼び、社内外を含め良く利用されるようになってきていますが個人的には下記の『試してみた』エントリ以降、あまり触って来ていませんでした。ちょっと個人的にも腰を据えて取り掛かってみようかという感じになってきましたので、仕組みや使い方を把握するという意味で一番参考になるであろう公式ドキュメントの一部を読み進めてみた記録をブログエントリとして残しておきたいと思います。 Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag ｜ Developers.IO Digdagのアーキテクチャ Digdagによるワークフローの自動化 ワークフローを使って、手動で行なっているあらゆる操作を自動化出来ます。一連のタスクを『ワークフロー』として定義し、Digdagを使

最近勉強を始めたコンテナ技術に関する基礎的な知識をまとめました。 [訂正と注釈] p.27-30: 「Deployment」内の「Version: 1」 => 「Version: 2」 p.37: 「終了コードをから」 => 「終了コードから」 p.39: 「HTTPSが利用できない」=> AWS上では、SSL終端するLBがサポートされています。https://kubernetes.io/docs/concepts/services-networking/service/#ssl-support-on-aws p.40: 「ユーザがingress controllerをmaster上にセットアップする必要」 => master上にセットアップしなければならないという制約はありません。例えばGCEのingress controller(GLBC)はPodとして動作します。https://gi

目的 munin の評価(個人的) MRTG, Zabbix つかったことある sensu も興味あるがそれほど大規模なものは今は想定していないので後日 対象 監視ツールに興味がある 監視ツールが好き グラフ見るのが好き システム ホスト Ubuntu 14.04 docker 1.12 isolated-network ubuntu:latest munin: 2.0.25 apache: 2.4.18 centos7 コンテナにしようと思っていたのですがコンテナ内での systemd 動作が厄介そうなのでいったんスルーで。。 https://github.com/docker/docker/issues/6980 https://github.com/docker/docker/issues/7459 リファレンス https://help.ubuntu.com/lts/serverg

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

#!/bin/zsh set -e container_name="container_app_1" cp_to_container() { if ! docker exec ${container_name} test -e $2; then docker cp -L $1 ${container_name}:$2 fi } cp_to_container ~/.zshenv /root/.zshenv cp_to_container ~/.oh-my-zsh /root/.oh-my-zsh cp_to_container ~/.zsh /root/.zsh cp_to_container ~/.zshrc /root/.zshrc cp_to_container ~/.zshrc.github /root/.zshrc.github cp_to_container ~/.zshrc.

Ruby 2.4.0-preview3 で Hash まわりの改善があったということで、pico_http_parser のベンチマークを取ってみた Ruby 2.4.0-preview3 リリース GitHub - kazeburo/pico_http_parser: Fast HTTP Parser using picohttpparser ベンチマークは。pico_http_parser/benchmark 以下のscript。結果としては1.5倍程度パフォーマンスが上がっていることが観測できました。リアルなアプリケーションでも速度アップが見込めるんじゃないかなと思います。素晴らしい ヘッダが0個の時だけパフォーマンスが悪くなるのは、Hashの要素数が少ないときの最適化が変わったのかなと予想

libeatmydataというLD_PRELOADを使って、起動したプロセスのfsyncを無効化するライブラリがあったので試してみています。 libeatmydata - disable fsync and SAVE! fsyncがないと何が嬉しいかというとクラウドのようなIOまわりの環境が弱いところで、安全性は若干犠牲になりますが、パフォーマンスを稼ぐことができるようになります。 まず perlでfsyncを発行してどうなるかstraceをつかって確認してみます。 libeatmydataなし $ strace perl -MIO::Handle -e 'open(my $fh,">:unix","test.txt"); print $fh "test"; IO::Handle::sync($fh);' open("test.txt", O_WRONLY|O_CREAT|O_TRUNC,

hb.matsumoto-r.jp 前回の記事では、PHPが動くApacheのコンテナをhaconiwaを使って沢山起動しました。しかし、前回のコンテナは、 同じコンテナイメージがあるディレクトリを複数コンテナで共有している ホストから見てもuid/gidがapacheで全て起動している pidもホストとコンテナで共有している というように、コンテナとホストの空間が混在した状況になっていました。そこで、今回はさらに踏み込んで、よりコンテナを独立した環境にするべく、 動的にコンテナイメージのtar.gzからそれぞれの独立したコンテナ用のディレクトリを用意する 動的に各コンテナにホストのuid/gidレンジを切り出し、コンテナ内ではuid=0からレンジの数だけマッピングする 例えば100個のuidレンジ（80000 ~ 80099）をコンテナ内では（0 ~ 99）とみなせるようにする 動的にマ

この2日間、App Storeランキングで起こった出来事は正に“因果応報”と言わざるを得ません。 今の中国App Storeランキングは参考価値が低く、有料ランキングが完全に制御できなくなっている以外、業界にとって非常に重要な参考値となるセールスランキングも、Top50の内1/3のタイトルはデベロッパー自身がブーストをかけている状態となっています。そして、このような不正行為に対してAppleはアクションをとりました。 先週末からAppleは中国App Storeのランキングに対して管理を強化しました。有料ランキング、セールスランキングの規則を改定し、これによって少なくとも数百タイトルのモバイルゲームは規則違反によりランキングから削除されています。削除されたゲームタイトルには以前セールスランキングTop100に入っていたもののみならず、Top10、Top20と上位に入っているものも含まれてい

本記事に関連した講演が、本日13:45～開催されるIIJ Technical WEEK 2016で行われます。(該当のセッションは16:45～予定の「DNSにまつわるセキュリティのあれこれ」です)ストリーミング中継も行いますので、是非ご覧ください。 このごろ DNS ってこうげきをうけることがおおいんだって。 DNS は「どめいんなまえしすてむ」のことで、ドメインのなまえをきくと IP アドレスをおしえてくれたりするしくみだよ。わるいひとたちが DNS をいじめてつかえないようにしちゃうと、インターネットであそべなくなっちゃう。 だったら、それにまけないつよい DNS をつくればいいよね。 どんな攻撃が来るのか ……すいません、読みにくいですね。漢字使います。なお、漢字で書いたところで中身は「ぼくのかんがえたさいきょう」に違いありません。 DNS に対する攻撃は大きくわけると、2つ。DoS

概要 CoreOS の Blog に “Introducing Operators: Putting Operational Knowledge into Software” という記事が掲載されました。先日の KubeCon でも Keynote で取り上げられていた、 Operator という Kubernetes 上で指定した状態を維持するためのツールについての概要です。 「運用知識をソフトウェアに」と興味深いタイトルに釣られ、ついつい読んでしまいました。記事を書かれた Brandon Philips さん（ @BandonPhilips ）に翻訳を許諾いただきましたので、ここで公開します。翻訳に間違いがありましたら、どうぞお気軽に @zembutsu までご指摘ください。 Operator の紹介：運用の知見をソフトウェアに入れる サイト信頼性エンジニア（SRE; Site Rel

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

前回Packer + itamaeでDockerfileのないDockerライフの記事でitamaeを使ってDocker imageを作ることにしました。 ただその時の課題として対象マシンにitamaeを動かすためにrubyをインストールしないといけないことでした この問題を最近 k0kubunさんがリリースされたMItamaeが解決してくれそうだったので使ってみました。 MItamaeとは？ @k0kubun さんが作成されたmrubyのItamae http://k0kubun.hatenablog.com/entry/mitamae そもそもItamaeは何が問題だったのか Itamae ssh経由での適用は遅いのでサーバー側において実行したい linuxとかにはrubyが入っていないものもある Itamaeのためだけにruby一式をインストールする? シングルバイナリで出来たら便利

ここのところずっとvagrant+ansibleでやってたんですが、最近なにかとdockerいいよってのを見せつけられて、やっぱこれからはdockerだよね、ってなってました。 が、Windows環境ってdocker使いにくいですよね。 Docker for Windows使えばいいんでしょうが、まずHomeでは使えないのでProじゃないといけないし、Hyper-Vを効かすとVirtualBoxが使えなくなるためvagrantとの共存ができなくなるとか色々不都合があります。 というわけで、あえてDocker for Windowsは使わずに、VirtualBox上で動くDockerToolboxを使うようにしています。 でそれはいいのですが、DockerToolboxは自動的に起動してくれないので、コンソール開いてdocker〜と打つ前にDocker Quickstart Terminal