こんにちは。 モルトとシガーで生きてます。インフラエンジニアの光野（@kotatsu360）です。 先日、crontabで管理しているバッチ処理の監視にhorensoというツールを導入したのですが、 監視の品質が向上 毎分届く大量の実行結果メールから開放されQoL向上 という効果がありました。本日はその取り組みについてご紹介いたします。 ジレンマ：動作監視と大量のメール 冒頭の通り、VASILYでは定期的に実行したいバッチ処理をcrontabで管理しています。 真新しさはありませんが、実行時間の指定が簡潔かつ柔軟で未だに愛用しています。 2016年12月現在、crontabは120行ほどです。 さて、そんなcrontabによる処理で前々から課題になっていたのが、 crontabで管理しているスクリプト達（以下cronスクリプト）の動作監視です。 当時、VASILYのcronスクリプトは3箇

すっかり季節は年度末ですね〜。なんと明後日には新年度で新入社員が入社してくるぞ!! ということで新卒研修の準備に追われてる今日この頃ですが、みなさまいかがお過ごしでしょうか。 さて、研修準備も長々やると疲れてくるのでちょっと現実逃避に…というわけではないんですが、最近horensoというGoogleじゃないほうのcronなどでコマンドをwrapして成功失敗の通知を仕組み化するツール(詳しくは作者のSongmuさんのブログをご参照ください)用にSlack Reporterを書きました。ちなみにGoogleのhorensoは漢字入力システムです。 で、きっと今どきのWeb系の会社はSlack使ってるところ多いし、社内の各プロジェクトで汎用的に使えるように作ったから勢いよく全世界に公開しておくか〜と思った次第なので、この記事を(現実逃避に)書いてます。この前とある勉強会に行ったときも自席から前側

この記事はこの記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 12日目の記事です。 はじめにGoogle Cloud Platform (GCP) でバッチ処理を起動するための以下のパターンについてご紹介したいと思います。以下、８パターンあげてみました。とはいえ、最後の3つは GCP のバッチスケジューリングという観点からは少し外れますが、バッチの起動時に使われるということでご容赦を。 Cloud Scheduler : フルマネージドな cron ジョブスケジューラです。フルマネージドという点が非常に大きなメリットであり、多くの処理を自動化し実行することが可能です。Google App Engine cron サービス : HTTP GET を利用して、特定の URLを呼び出します。Google AppEng

定期的にスクリプトを実行する場合、Mac OS Xではcrontabよりlaunchdを使うことが推奨されている。 launchdを用いてMac OS Xで定期的にスクリプトを実行する方法を記述。 特徴 設定が２種類ある： エージェントはユーザーがログイン中に実行できるプログラム。 デーモンはシステム共通で、誰もログインしていなくても実行できるプログラム。 前回の実行が終わらないと次の実行は始まらない。また、スリープ状態、シャットダウン状態では実行されない。1 標準でCPU時間、メモリ、ファイル等の使用の制限2が設けられている。必要に応じて設定ファイルで上限を上げないと、シグナルで届いてしまう。 設定ファイルを置く場所は次の通り。 場所 用途

run-parts - run scripts or programs in a directory 指定ディレクトリ以下のスクリプトを順次実行するコマンド。/etc/crontabで run-parts /etc/cron.dailyこんな感じで使われている。 特徴 実行はアルファベット順(ASCIIコード順？ 数字、英大文字、英小文字の順) サブディレクトリは無視 option -aで引数を指定すると、各スクリプトに共通の引数が渡せる -v verbose ファイル名に一部制限あり ファイル名の制限 debian系とredhat系で動きが違う。これではまった。debianのはELFのバイナリで、redhatはシェルスクリプト。 debian ファイル名に使える文字[0-9A-Za-z-_] "."は使えない (hoge.shは無視される) redhat 末尾が"~"か","以外のファイ

こんにちは。インフラエンジニアの永井(shnagai)です。 コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。 今回は、中々運用が大変なcronでスケジュール管理するような定期的なバッチ処理を、Amazon ECSのScheduledTaskを使ってDocker駆動な環境で構築した話です。 他の方法との比較やどのように実現しているのかについて紹介したいと思います。 今回対象とするバッチの種類 今回対象とするバッチ処理は、俗に言うスケジュール系のバッチ処理で、毎日00時00分や10分毎にサイクル起動等、事前に定義した時間に正確に動くことが期待されているものです。　※ジョブキュー形式のバッチだと、AWS BatchやEBのWorkerもしくは、SQS + Cron on EC2で処理するほうがスマートかと思います。 実行方式の選定 上記要件のバッチを実現する基

はじめに Linuxのcrontabコマンドを「-r」オプションつきで実行すると、crontabコマンド実行ユーザのcrontab情報が削除されてしまいます。crontab削除確認のメッセージは表示されず、いきなり削除されます。 「crontab -ir」のように「-i」オプションもつければ、crontab情報を削除して良いか確認してくれますが、「-i」オプションを付け忘れたら、crontab情報は消えてしまいます。 crontabコマンドを「-r」オプションつきで実行する場合、本当にcrontab情報を削除して良いか確認するメッセージを表示し、削除をキャンセルする または 削除を実行する場合はcrontab情報をバックアップしてから削除するcrontabラッパースクリプトを作成してみました。 免責事項 ここに書かれているスクリプトや設定を使用して発生した問題につきまして、当方は一切責任を

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

こんにちは、技術部開発基盤グループの小室 (id:hogelog) です。 みんなのウェディングは OSS となった Kuroko2 を早速導入したので、その Kuroko2 の導入方法をブログにて共有します。 何故 Kuroko2 を導入したか みんなのウェディングではジョブ管理ツールとして主に Rundeck を利用していました。汎用のジョブ管理ツールとして開発されている Rundeck は非常に多機能で様々な処理を柔軟に実行できます。雑多なバッチ処理が稼働していたみんなのウェディングのシステムを一つのジョブ管理ツールに集約させるには非常に便利なものでした。 しかし運用を続けるうちにいくつかの難点が見つかってきました。 スケジュール実行がいきなり過去のジョブ定義に巻き戻る（ことが稀にある） https://github.com/rundeck/rundeck/issues/1447 M

何の話かというと 微妙な違いではあるのですが、RHEL5とRHEL6では、cronとanacronの関係が若干変わっています。 RHEL5を運用していた方は、cronとanacronの関係を cronが実行しそこねた定期ジョブをanacronが代わりに再実行する と捉えているのではないでしょうか？ これは間違いではないのですが、実は、もともとcronとanacronにはこのような関係はありません。それぞれ独立したジョブ実行ツールであり、目的に応じて使い分けることになります。なのですが、RHEL5では、あえてcronとanacronを連携させるような設定を行なって、上記のような使い方をしていました。おそらくこれは、「cronしか無かった時代の設定を引き継ぎつつ、anacronのジョブ再実行機能も使いたくなった」という歴史的な理由によるものです。 一方、RHEL6では、このような連携はなくなっ

Apache Mesos はすごいプロダクトだと思うのですが、単にジョブスケジューラを冗長化するという用途に対しては、やや牛刀な感があるツールだと言えるでしょう。 一方で、バッチサーバの冗長化というのは、割と見過ごされがちなポイントではあると思います。 そこで、もっとライトな方法でこれを実現できないかと少し調べていました。 そこから派生して、cron の冗長化についていくつか情報を得たので、以下にまとめてみます。 (1) 実は cron 自体にクラスタリングの機能がある http://man7.org/linux/man-pages/man8/cron.8.html#CLUSTERING_SUPPORT 上の Man ページに記載の通りです。 ただし、実は cron 自体の実装には Linux Distribution やバージョンによって差異があります。上は fedora の croni

はじめに ジョブスケジューリングを簡易的な仕組みで構築する場合、まず候補に上がるのはEC2上のLinuxでcronを利用したものだと思います。特別なミドルウェアの追加インストールはいらないし、使い慣れているし、スクリプトと組み合わせればだいたい何でも出来ちゃいますし。しかし単体のEC2上でcronを動かすだけでは、可用性が確保出来ません。AWSにおいてAZ障害まで考慮するのであれば、Multi-AZに冗長化されたシステムを構成し、可用性を確保する必要があります。 で、単純に複数のAZに分散してEC2を構築し、crontabを共有するだけでは、ジョブが二重に実行されてしまいます。アクティブ/スタンバイに動作するような仕組みを考慮しなくてはいけません。 そこで今回は、クラスタ構成がサポートされている最新のcrond(cronie)を使って、Multi-AZに対応した高可用Cronサーバを構築し

# the maximal random delay added to the base delay of the jobs RANDOM_DELAY=45 # the jobs will be started during the following hours only START_HOURS_RANGE=3-22 #period in days delay in minutes job-identifier command 1 5 cron.daily nice run-parts /etc/cron.daily 7 25 cron.weekly nice run-parts /etc/cron.weekly @monthly 45 cron.monthly nice run-parts /etc/cron.monthly anacron 自体の起動も、デフォルトのまま /etc/c

前回の（1）はこちらから。 プロジェクトでcronを利用する 筆者は普段ゲーム開発のサーバサイドを担当していますが、プロジェクトによってはバッチサーバのcrontabが100行を超えることもあります。イベント、ランキング処理、監視、集計、バックアップ、リカバリ処理などをしっかりやろうとすると、どうしてもそれくらいになってしまいます。 100行とはいかなくても、プロジェクトで使うcrontabの行数が膨らんでくると、サーバで直接crontabを編集することは管理上現実的ではありません。 crontabの記述とリポジトリ管理 では実際のプロジェクトでcrontabをどのように管理していけばよいのでしょうか。筆者は次の方針を立てています。 crontabの記述にゆるやかな規約を設け、リポジトリ管理する crontabの自動テストを行う crontabの反映方法をなるべく自動化する crontab