バッチ処理は既に先人の方々が多くのナレッジを公開してくれていますが、それでもなお難しさが変わらないテーマだと思っています。 この記事は、筆者がこれまでの開発経験で気づいたバッチ処理の実装ナレッジを整理し、体系化を目指して文章にしました。 ここでの内容が、より良い課題解決に貢献できれば幸いです。 自身の断片的な思考整理(メモ書き)の延長で内容を整理したため、一部書き振りが統一されておらず、読みにくいかもしれません。ご了承ください。🙏 バッチ処理の難しさバッチ処理は難しい。 人によっては簡単なテーマかもしれませんが、自分は難しいテーマだと思っています。 「難しさの根源は何か？」を考えると、1. 考慮点が多様にあること 2. 解決する課題によって答えが大きく変わること に整理できました。 この2点は、どのソフトウェア開発にも当てはまる項目ではありますが、ことバッチ処理においては顕著に現れます。

An extension for automating your browser by connecting blocks From auto-fill forms, doing a repetitive task, taking a screenshot, to scraping data of the website, it's up to you what you want to do with this extension. And you also can schedule when the automation will execute. If you have a question or want to report a bug, feel free to open an issue in automa GitHub repository. GitHub: https://g

ProductWork with GitHub Actions in your terminal with GitHub CLIgh brings GitHub to the command line by helping developers manage pull requests, issues, gists, and much more. As of 1.9.0, even more of GitHub is available in your terminal:… gh brings GitHub to the command line by helping developers manage pull requests, issues, gists, and much more. As of 1.9.0, even more of GitHub is available in

npm npm i @socketsupply/socket -g curl . <(curl -s -o- https://socketsupply.co/sh) iwr iwr -useb https://socketsupply.co/ps | iex Write Once, Run Anywhere Ship apps faster than anyone else using one skill set, and one codebase. You can even turn your existing web app into a native Socket app. Connect Everyone Our modern P2P protocol makes it possible for users anywhere in the world to communicate

どれだけの資金を投じ、どんな作品が新たに公開されるのか──ネットフリックスはしばしば、コンテンツ企業として語られることが多い一方、意外と多くの人に知られていないのが“テクノロジー企業”としての一面だ。 なぜ、ネットフリックスは毎日のように新しい作品を公開できるのか。理由のひとつに、新たなテクノロジーを制作現場に導入し、生産性の向上に取り組んでいることが挙げられる。これまで数十年の間、制作現場では紙を中心としたコンテンツ制作から脱却できない背景もある。これにメスを入れようという考えだ。そのためのツールとして、同社が立ち上げたのが制作現場用アプリエコシステムの「Prodicle（プロディクル）」だ。 これは新たにウェブ・ベースのモバイル・ソフトウェア技術をクリエイティブ制作環境に導入するもの。ネットフリックスは2017年、試験的に制作のワークフローや毎日の作業スケジュールを、制作に関わる人たち

GitHubのREADMEの画像，とくにビルドステータス・カバレッジ・コードクオリティ関連のものが長期間キャッシュされてしまって困ったことは無いでしょうか？ RFCで標準化されていないようですが，PURGEというHTTPメソッドでリクエストを送るとそれを破棄させることができるようです。 mpyw@localhost:~$ curl -X PURGE https://camo.githubusercontent.com/f3bff8cae56a5e157f25ed6bf0a76aa610832897/68747470733a2f2f7472617669732d63692e6f72672f6d7079772f657863657065722e7376673f6272616e63683d6d6173746572 {"status": "ok", "id": "397-1491501868-7073

Nodeプロジェクトで環境依存の設定の管理方法を紹介します。例えばDBの設定は、デプロイ環境や各ユーザの開発環境に依存するので、環境依存の設定といえるでしょう。これらの設定はコード内に埋め込まず、ユーザ各自またはデプロイスクリプトに任せるべきです。環境依存の設定をNodeプロジェクトで管理するとき、dotenvモジュールが便利です。 dotenvを使う dotenvモジュールは、.env ファイルから process.env へ環境変数をロードするモジュールです。dotenvを使うと、プロジェクトのコードから独立した環境依存の設定を、ローカル単位で管理することができます。 dotenvパッケージは npm からインストールできます。依存モジュールがゼロなのが嬉しいです。

同じソースコード、同じアプリケーションでも、デプロイによって設定が異なるものがある。 各種APIキーや、データベースの設定など。本番環境と開発環境では異なる設定を使うことが多い。 こういったものをハードコーディングするべきではない。 また、GitHubでコードを公開する場合、APIキーなどの機密情報を書くわけにはいかない。 そのような場合に使うのが、環境変数である。 環境変数の正確な定義は知らないが、コードの外から設定を行う変数、という感じだろうか。 これを利用することで、APIキー等をコードに書かずに済む。 process.env Node.jsにおける環境変数は、process.envというオブジェクトに格納される。 このオブジェクトは最初から存在しており、予め、いくつかの環境変数が入っている。 コマンドラインで確認できる。 $ node > process.env いくつか表示される

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

結構前にwebpack-dashboard (InfoQの記事)がリリースされて導入したいと思いつつなかなか時間が取れなかったのですが、ようやく時間を作れたのでElectronアプリのプロジェクトに適用してみました。 結果↓の様にいい感じになりました。 記事執筆時の最新バージョン0.2.0を使用しています。導入方法がv0.1系から若干変わったようです。 動作環境 macOSの ターミナル.app や iTerm2 などで動くようですが、私は ターミナル.app を使っているので他の環境は試していません。 (Windowsについては特に触れられていないけど、動くのかな・・・) ターミナル.app の場合はメニューから[表示] → [マウスレポーティングを許可]にチェックを入れておかないといけません。（英語の場合は[View] → [Allow Mouse Reporting]） チェックを入

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Travis CI から GitHub Releases にアップロードする Go などのコンパイラ言語で書いたソフトウェアを配布する場所として、最近は GitHub Releases を使うことが多いと思います。単純に Git tag と紐付けてファイルをアップロードする場所ですが、手作業でやるのも面倒なので CI と連携させるのが便利です。 Travis CI には Deployment の機能があります。その名の通り、アプリケーションのテスト/ビルド後に、外部の指定した場所へ成果物をデプロイする機能です。デプロイするトリガーとして「特定のブランチ」「git tag がプッシュされた場合のみ」「Go 1.7 ビルドのみ」のような条件が指定できます。 Deployment は、標準で GitHub Releases のインテグレーションを備えています (GitHub Releases U

仕事であるアプリケーション開発を担っているのですが、 当初 AWS を用いて1人で運用していたのが、現在は Heroku のプラットフォームに移行し、チームとして6人で開発を行っている状況になりました。そこに至るまでの経緯とその際の運用についてご紹介したいと思います。 もちろんそれぞれの開発の状況に応じて、判断は変わってくるかと思いますが参考になればと思います。 エンジニア 1人 もともと私が関わる以前のそこでの開発は外注していました。運用を引き受けることになったのですが、 ある程度 形になっているアプリケーションを1人で運用するには不安が大きく、実装したい機能が日々 増えていく中で、インフラ面で時間をかけていて満足にコードを書けない状況は非常にわずらわしい ものでした。 小さなスタートアップという会社の中で、開発の施策が次々と進められない状況はまずい と感じ、Heroku の導入を検討し

Ruby on Railsのmigration機能は、DBを育てていくための多種多様な機能を提供してくれています。サービスを運用していく中で、DBは「カチッと安定している」ことが望ましいですが、それは夢物語であり、日々サービスに機能追加や修正を施していく度に、DBも当然影響を受けます。それは、テーブルの追加や列の追加だけでなく、時には「テーブル名の変更」も出てくるでしょう。 もし「itemsテーブルの名前をproductsに変えておいて」と依頼されたら、あなたならどうしますか？ rename_tableでは済まされない状況 もし手元に開発環境があって、自分しかアクセスしないdevelopmentやtestのDBであれば、以下のようにしてしまえば良さそうです。

MongoDBでcollection名の変更は、db.copyDatabase(fromdb, todb, fromhost)を使います。 dbshell Reference - MongoDB MySLQで、テーブルのコピーは以下のSQLに相当します。 /* testテーブルのスキーマをコピーしてテーブル作成 */ > CREATE TABLE test2 LIKE test; /* test2テーブルのデータをINSERT */ > INSERT INTO test2 SELECT * FROM test;testというdatabaseをtest2としてコピーする方法です。 [root@xxx ~]# mongo MongoDB shell version: 2.0.4 connecting to: test > show dbs test 0.0625GB > db.copyData

Gitのコミットメッセージの書き方 自分なりにまとめてみました。Git歴浅いので、意見募集中です。 （2014年12月17日追記） 想像以上にたくさんの方にストックなりはてブなりいただいたので、はてブでなるほど！と思ったコメントをもとに少し修正・加筆してみました。 （2022年1月4日追記） 最新の書き方をこちらに書きました。 https://zenn.dev/itosho/articles/git-commit-message-2023 原則 以下のフォーマットとします。 1行目：変更内容の要約（タイトル、概要） 2行目 ：空行 3行目以降：変更した理由（内容、詳細） 日本語でも英語でもOKですが、リポジトリで統一してください。 1行目 コミット種別と要約を書きます。フォーマットは以下とします。 [コミット種別]要約 コミット種別 以下の中から適切な種別を選びます。 （多すぎても悩むので

そろそろMacの買い替えの時期なので、以下のものを使って個人のMacをバックアップしつつ同じ開発環境を別のMacへと移行できるよう準備をする。 homebrew homebrew-bundle homebrew-file mas mackup + Dropbox atom apm RubyGemとかもあるけどgemはプロジェクト毎にbundle installsすればいいよね、ということで除外。なのでeditorのAtom, dotfiles, brew設定が移行できればよいかな、と。 Mac 環境構築の自動化 2015年末版 ( homebrew + homebrew-cask + homebrew-brewdle + mackup + crontab )にて同様のことをされているのでこちらも参考に。こちらではcronでバックアップを自動でとっています。 でこちらではこれに加え、私が普段

この記事は クラウドワークスAdvent Calendar 2015 14日目の記事になります。（風邪をひいて一日遅れましたごめんなさい＞＜） 今までの Mac 環境構築の歴史 最初は、インストールしたアプリケーションの手書きメモとホームディレクトリの dotfiles を dropbox 配下に移動しシンボリックリンクへ張替えを行う自前シェルスクリプトがあっただけでした。 アプリをインストールする度に、手元のメモを更新するという温かみのある日々（もちろん頻繁に更新を忘れる）、そんな日常に颯爽と現れた Github Boxen 1 ! Puppetを使ったプロビジョニングをローカルに適用するとか胸熱すぎる！さよなら僕の *.txt *.sh たち！ こうして冪等性と共に楽しい日々を送っていたのですが、半年ほどで異変が起き始めます。 まずboxen適用の実行時間がひたすら遅くなりはじめ、ru