Mackerelチームのエンジニアのid:itchynyです。 「mackerel-agentを入れるとloadavgが7時間ごとに上昇する」 先日、このような問い合わせを複数のお客さまから受けました。私も実験してみたところ、確かに再現しました。EC2 t2.microにmackerel-agentを入れて簡単なログ監視とプロセス監視を設定し、数日放置しました。 確かに、約7時間ごとにloadavgが上昇しています。この周期のcronの設定はしておらず、またmackerel-agent内部でも7時間ごとに行う処理はありません。しかし、プラグインを多く入れるほどloadavgのピーク値も上がります。 本エントリーでは、この現象の原因について説明します。 loadavgが上昇する原因を調べるには、まずloadavg自体がどう計算されているかを知る必要があります。 まずは、Linuxがloada

アーキテクチャダイアグラムは、設計、デプロイ、トポロジーを伝達する手段として優れています。 このページでは、ダイアグラムの構築に役立つ Amazon Web Services (AWS) 製品のアイコン、リソース、およびツールを提供しています。AWS では、お客様やパートナーがこれらのツールキットやアセットを使用してアーキテクチャ図を作成できるようにしています。 AWS アーキテクチャアイコンはシンプルに設計されているため、ダイアグラム内で簡単に使用できます。ホワイトペーパー、プレゼンテーション、データシート、ポスターなどの資料にアイコンを使用することも可能です。 ダイアグラムは、サードパーティーツール上の既存のライブラリを使用して構築できます。ライブラリにはレガシーアイコンセットが含まれているものもあるため、最新のアイコンを使用していることを確認してください。

自ら撮影した写真が無断でTwitterに投稿され、投稿者とは別のTwitterアカウントにリツイート（公式RT）されたことにより著作権が侵害されたとして、プロカメラマンがTwitter Japanに対して、投稿者とRTしたユーザーそれぞれの情報開示を請求していた訴訟で、知財高裁が出した控訴審判決がこのほど公表され、その内容がネットで波紋を呼んでいる。 訴訟の経緯はこうだ。原告のカメラマンが撮影し、Webサイトで公開していた写真が、あるTwitterユーザーによって無断でTwitterに投稿された。その後、別のアカウントがその写真付きツイートをRTした。結果、RTしたアカウントのタイムラインには、元写真をトリミングしたサムネイル画像が、直リンク（インラインリンク／リンク先のWebページのコンテンツが自動表示されるリンクのこと）の形で自動で表示されていた。 一審判決で東京地裁は「RTは著作権を

この記事はリクルートライフスタイル Advent Calendar 2016の10日目の記事です。 DEPRECATED! [2020/12/05追記] この記事内のコマンドは現在のバージョンの挙動と一部異なっていたり、説明に不正確な部分があります。 例えば公式のチュートリアルなど、信頼できる情報を参照ください。 https://kubernetes.io/ja/docs/tutorials/kubernetes-basics/ 2019/05/30追記 下記内容は若干の不正確を含みますので、軽く読み流して雰囲気を掴んでいただいたあとは https://qiita.com/Kta-M/items/ce475c0063d3d3f36d5d などご参照いただくとよいかと思います。 こんばんは 「sshするときの-p 443ってなんの数字ですか？」ぐらいの素人がインフラ周りを担当し8ヶ月、kub

In CircleCI, developers can freely combine images like building blocks to create containerized continuous integration (CI) environments. CircleCI supports Docker natively, allowing you to build, test, and deploy your application as a Docker image. In this post, you will learn how to build a Docker image in CircleCI and push the image to Docker Hub, Docker’s official cloud-based registry for Docker

こんにちは、東京オフィスで働くエンジニアの @hanhan1978 です。 早速ですが、CircleCIのバージョン1.0が 2018年8月31日で終了することはご存知でしょうか？ CircleCI 1.0 End of Life on August 31, 2018 1.0と2.0では根本的に仕組みが異なるため、両方を同時にメンテナンスしていくのは難しいようですね。 弊社においても、バージョン1.0を利用しているアプリケーションが多数存在するため、2.0化を推し進めている最中です。 CircleCI2.0の簡単なおさらい CircleCI2.0にはworkflowという概念があり、workflowの各jobにおいてビルドやデプロイを行います。 出典 : Introducing Workflows on CircleCI 2.0 - CircleCI 図における一つ一つのjobでは、Doc

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

基本KPIや応用KPIが決まり、実際に、毎日の運用の中で定期的にデータを更新して、可視化するためには、一連の処理を自動化する必要があります。今回は、データパイプラインを扱うためのワークフロー管理ツールを紹介していきます。 データパイプラインとワークフロー管理 データパイプライン （⁠以下、パイプライン）とは、データ処理を行なう小さなタスク（1回のファイルコピーや、SQLの実行など）を順次実行することにより、最終的に求める結果を得るための一連のプロセスを指します。狭義には、単体のシステム内で完結するパイプラインを指します（SparkやGoogle Cloud Dataflow、など⁠）⁠。 また、広義には、複数のシステムを組み合わせて大きなパイプラインを構成することもあります（MySQLから取り出したデータをRedshiftで集計する、など⁠）⁠。今回、取り上げるパイプラインとは、広義のパイ

政府は１２日、科学技術について日本の基盤的な力が急激に弱まってきているとする、２０１８年版の科学技術白書を閣議決定した。引用数が多く影響力の大きい学術論文数の減少などを指摘している。 白書によると、日本の研究者による論文数は、０４年の６万８千本をピークに減り、１５年は６万２千本になった。主要国で減少しているのは日本だけだという。同期間に中国は約５倍に増えて２４万７千本に、米国も２３％増の２７万２千本になった。 また、研究の影響力を示す論文の引用回数で見ると、上位１割に入る論文数で、日本は０３～０５年の５・５％（世界４位）から、１３～１５年は３・１％（９位）に下がった。 海外の研究者と共同で書いた論文ほど注目を集めやすいが、日本の研究者は海外との交流が減っている。００年度に海外に派遣された研究者の数は７６７４人だったが、１５年度は４４１５人に。海外から受け入れた研究者の数も、００年度以降は１

自分のブログに書いたけれども誰にも見られてなくて悲しかったので転載しました。 http://selmertsx.hatenablog.com/entry/2017/11/20/192719 概要 自分がいるプロダクトでCircleCI 2.0 の導入をすることになった。 恥ずかしいことにCircleCIの設定を自分でしたことが無かったので、設定を簡単にする方法を探した。 公式ドキュメントを読んでいたら、circleci をlocalで動かす方法が見つかったのでやってみた。 その結果、10minくらいで簡単に動かせることが分かった。 このドキュメントには、circleciをlocalで動かす方法と、localで動かす際の注意点を記載する。 基本的には、このドキュメントからの抜粋なので、疑問に思ったらそっちを見て頂けると 手順 circleciコマンドのインストール circleci 2.0用

大阪で「クロノス」運営店舗が一斉閉店 こうした警告の結果、大阪府でゲームバーを展開するクロノス（大阪市中央区）は4月9日、府内で運営する3店舗「ゲームバー1UP」「ゲームバーカティーナ」「ゲームバーClan」を閉店すると発表した。 各店舗は公式Twitterや公式Webサイトに「ACCSから指摘を受けたため、ビルの契約期間が満了する2018年7月29日をもって閉店いたします」などの文言を掲載した。 ACCSの見解は？ クロノスの運営店舗はどのような問題があったのか。 ITmedia ビジネスオンラインの取材に対し、ACCSは「警告を行ったのは事実だが、詳細については回答できない」とした上で、一般論として「家庭用ゲーム機器やゲームソフトを店舗に備え置き、顧客に貸し出して、店舗内に設置されたモニターに映写して遊技させる形態は法律違反に該当する」（広報担当者、以下同）とコメント。 「店舗の管理の

なか卯×進撃の巨人　キャンペーン　全国のなか卯で、対象商品を１つにつき、オリジナル描き下ろしカードを1枚プレゼント！さらに、ポイントを貯めて応募すると、豪華グッズが抽選で当たる！

秘密主義で有名な米アップル（Apple）が、知られざる社内ビッグデータ環境の一端を明らかにした。2018年6月4～6日（米国時間）に米サンフランシスコで開催された「Spark + AI Summit 2018」で、オープンソースソフトウエア（OSS）の分散データ処理ソフト「Apache Spark」の利用事例を公表したのだ。 アップルが社内におけるOSSの利用事例を公開するのは珍しい。5日の基調講演には情報セキュリティ部門に所属するドミニク・ブレジンスキー（Dominique Brezinski）氏が登壇して、セキュリティ監視や不正検出にSparkを活用していることを紹介した。6日の技術セッションでも、社内に構築するストレージ容量1エクサバイトを超えるSparkクラスターの詳細や、Spark用のリソーススケジューラーを自社開発した事情などを説明している。 アップルはSparkを使ううえで、

2018年6月12日にビープラウドのメンバーで執筆した「Pythonプロフェッショナルプログラミング 第3版」が出版されます。 Pythonプロフェッショナルプログラミング第3版 作者:株式会社ビープラウド出版社/メーカー: 秀和システム発売日: 2018/06/13メディア: Kindle版 第1版が2012年3月26日、第2版が2015年2月27日、第3版が2018年6月12日の発売で、約3年おきに版を重ねてきました。 最新技術に合わせてバージョンアップ IT技術は日々バージョンアップされ、数年もすれば技術の構成やベストプラクティスも変わってきます。 技術の進歩に合わせて、書籍も第3版としてバージョンアップしました。 主な改訂内容は以下のとおりです。 Python2.7.6→Python3.6.4 Ubuntu14.04 LTS→Ubuntu16.04 LTS Webアプリケーション(

How CircleCI finds and runs config.yml. How you can use shell commands to perform actions. How config.yml interacts with your code. How to trigger a build. How to use Docker containers to run your jobs in a specific environment. How to use workflows to orchestrate your build. How to add approval steps to your workflow. CircleCI believes in configuration as code. Consequently, the entire delivery p

machine: timezone: Asia/Tokyo ruby: version: 2.1.3 dependencies: pre: - sudo pip install awscli deployment: staging: branch: deploy-staging commands: - sh script/deploy-staging.sh: timeout: 1500 production: branch: deploy-production commands: - sh script/deploy-production.sh: timeout: 1500 CircleCIでのビルドは以下の6つののフェーズに分かれており、それを上記の設定ファイルに書いていくようだ。 machine checkout dependencies database test deploymen

@takehiro に教えて貰ったCircle CIを使ってみるともの凄く良くて、とてもお勧めなので記事を書きました！ Circle CIって何？ Travis CIと同機能でWebでのUIが若干違うサービスです。 CIとしての仕事はきちんと行えます。 Circle CIの使い方 https://circleci.com/ にアクセスします。 Githubアカウントでサインアップを行います。 画面に従って進むとプロジェクトをfollowする画面が表示されます。 CIしたいプロジェクトをfollow後、"Done Managing Repos"をクリックします。 ここでは"camelmasa/spree"を選択します。 するとfollowしたプロジェクト一覧のテスト結果の画面が表示される様になります。 これでCIが出来る環境が整いました！ 後はgithubにpushする毎にCIが実行される様

概要 以前Jenkins入門の入門にてCIについてとCIツールであるJenkinsついてまとめましたが、今回は別途話題になっているCircleCIについてまとめてみます 人口的にはまだJenkinsを使っている人が多いみたいですがJenkinsからCircleCIに乗り換えている人もいるみたいなのでどんなものなのかイメージできるぐらいに調べてみたいと思います CircleCIとは 前提としてCIとJenkinsについて以下にまとめているので単語の意味だけでも目を通してもらえればと Jenkins入門の入門 CircleCIとはCIサービスになります https://circleci.com/ 上記のページから登録を行うことによりJenkinsのようなビルドやテスト、デプロイを自動で実行することができます Jenkinsは自前でJenkinsサーバを立てる必要がありますがCircleCIはサ

前回書いたマストドンの記事が地味にバズっていてびっくりしているたんごです。 今日はマストドンとは全く関係ないですが、自分のGitHubのリポジトリでCircleCIでテストをしているプロジェクトをCircleCI 2.0でテストするようにしたので、簡単にそのメモ書きを残しておきます。 CircleCI 2.0ってなんぞ circleci.com を読め、という気持ちなんですが簡単に言うと以下のような違いがあります。 基本的にDockerコンテナがそのままCircleCIで動かせるよ。 ローカルでビルドできるようになるよ。 キャッシュがめっちゃ効かせられるよ はい。意味がわかりませんね。一番でかいのはやっとNativeのDockerをサポートしたということではないでしょうか。今までだと、例えば docker -v でマウントしたり、docker exec でコンテナ内のコマンドが実行できなか

RedashやPloneで使われているRestrictedPython。使う機会あったのでまとめる。 とりわけ、自前RestrictionTransformerクラスによるpolicyの設定方法は情報がネット上に皆無だったので、残しておけれればと思う次第。 ...諸兄姉においては、RestrictedPythonさらにはexec、evalを使わざるおえない局面が来ないことを祈る（セキュリティ観点で） 環境 macOS Sierra 10.12.4 Python 3.6.5 RestrictedPython RestrictedPython · PyPI 概要 Pythonのソースコード文字列の実行時評価（e.g. exec、eval）する際に、評価するコードに制約（e.g. for statementの禁止）をかけるためのライブラリ。 CPython 2.7、3.4、3.5、3.6がサポー