検索対象

並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 221件

新着順 人気順

バッチの検索結果1 - 40 件 / 221件

タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。

バッチに関するエントリは221件あります。 aws、 開発、 batch などが関連タグです。 人気エントリには 『バッチ処理 プラクティス』などがあります。

バッチの関連エントリー

  • バッチ処理 プラクティス

    バッチ処理は既に先人の方々が多くのナレッジを公開してくれていますが、それでもなお難しさが変わらないテーマだと思っています。 この記事は、筆者がこれまでの開発経験で気づいたバッチ処理の実装ナレッジを整理し、体系化を目指して文章にしました。 ここでの内容が、より良い課題解決に貢献できれば幸いです。 自身の断片的な思考整理(メモ書き)の延長で内容を整理したため、一部書き振りが統一されておらず、読みにくいかもしれません。ご了承ください。🙏 バッチ処理の難しさバッチ処理は難しい。 人によっては簡単なテーマかもしれませんが、自分は難しいテーマだと思っています。 「難しさの根源は何か？」を考えると、1. 考慮点が多様にあること 2. 解決する課題によって答えが大きく変わること に整理できました。 この2点は、どのソフトウェア開発にも当てはまる項目ではありますが、ことバッチ処理においては顕著に現れます。

      バッチ処理 プラクティス

    • 大公開！バッチアプリケーションの品質を高めるZOZOの『バッチ開発ガイドライン』 - ZOZO TECH BLOG

      こんにちは。MA部の田島です。 弊社では開発ガイドラインというものを用いて、システムの品質を担保しています。今回私がテックリードを務めているということもあり、バッチアプリケーションを開発するためのガイドラインを作成しました。本記事では「開発ガイドライン」と「バッチ開発ガイドライン」を紹介します。 バッチアプリケーション開発に限定したTipsはまとまっているものが多くないため参考にしていただければと思います。 開発ガイドラインについての紹介 冒頭でも紹介した通り弊社では、開発ガイドラインというものを用いてシステムの品質を担保しています。バッチ開発ガイドラインを紹介する前に、まず開発ガイドラインを紹介します。 開発ガイドラインの種類 開発ガイドラインは現在、以下の種類が存在します。 共通 Android iOS Frontend Backend Infra API Batch DB(Datab

        大公開！バッチアプリケーションの品質を高めるZOZOの『バッチ開発ガイドライン』 - ZOZO TECH BLOG

      • データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし

        こんにちは、id:shallow1729です。最近はインフラ寄りなお仕事をよくやっていますがこれまでにいくつかデータ移行やデータ基盤構築などのバッチ処理のお仕事をしてきました。以前にも一度そういった経験を元に記事を書いたのですが、MySQLやシステムに関する知識が以前よりも増えた今もう一度書き直したいなと思いました。 なので今回はバッチ処理を書く時のテクニック2022版という感じです。今の仕事の関係でMySQLやrailsを前提にしている話が多いですが、おそらく他のデータベースを使っている人にも役に立つ話が多いのではないかと思います。ただ、今回の記事は経験に基づくものが多く、あまりよくないアイデアもあるかもしれません。改善点や間違いなどあればご指摘ください。 冪等性を持つように 冪等性とは端的に言えばある操作を複数回実行しても一回しか実行しなかった時と同じ結果になる性質の事です。長時間かか

          データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし

        • バッチ設計ガイドライン

          免責事項 有志で作成したドキュメントである。フューチャーには多様なプロジェクトが存在し、それぞれの状況に合わせて工夫された開発プロセスや高度な開発支援環境が存在する。本ガイドラインはフューチャーの全ての部署／プロジェクトで適用されているわけではなく、有志が観点を持ち寄って新たに整理したものである相容れない部分があればその領域を書き換えて利用することを想定している。プロジェクト固有の背景や要件への配慮は、ガイドライン利用者が最終的に判断すること。本ガイドラインに必ず従うことは求めておらず、設計案の提示と、それらの評価観点を利用者に提供することを主目的としている掲載内容および利用に際して発生した問題、それに伴う損害については、フューチャー株式会社は一切の責務を負わないものとする。掲載している情報は予告なく変更する場合がある はじめに ​バッチ処理とは、大量のデータを一括で処理するための手法であ

            • バッチの関連エントリー

          • バッチ設計ガイドラインを公開しました | フューチャー技術ブログ

            はじめにこんにちは。TIG（Technology Innovation Group）の本田です。 フューチャー社内の有志メンバーでバッチ設計ガイドラインを作成し、公開しました。 本記事ではガイドラインの作成の経緯や想いなどを簡単に紹介します。 本ガイドラインの対象読者本ガイドラインは、以下のような方を主な読者として想定しています。 バッチ開発を行う初学者 バッチ処理を含むシステム設計を行う人 自身のメイン領域はバッチ処理ではないがバッチ処理設計の勘所を知っておきたい人 特に初学者の方はジョブ設計の章だけでも読んでいただくことをオススメします。バッチ処理のプログラムを実装する上で留意するべき冪等性や性能といったポイントが紹介されています。 本ガイドラインの作成経緯フューチャーでは様々な規模のシステムを構築しており、その中には多種多様なバッチ処理も含まれます。 cronのようなシンプルなスケジ

              バッチ設計ガイドラインを公開しました | フューチャー技術ブログ

            • OSやエクスプローラーが軽くなる？ 「エクスプローラ周り重い人向け覚書」が人気／「はてブ」は1,600以上、有志によるバッチファイルも【やじうまの杜】

                OSやエクスプローラーが軽くなる？ 「エクスプローラ周り重い人向け覚書」が人気／「はてブ」は1,600以上、有志によるバッチファイルも【やじうまの杜】

              • 『SUUMO』を止めるな。大規模横断バッチがEOSLを迎える「2027年問題」にどう立ち向かったか - はてなニュース

                あらゆるソフトウェアに存在する「サポート期限（End Of Service Life、EOSL）」。EOSLを迎えたソフトウェアにはパッチなども提供されなくなるため、安定した運用が困難になります。メーカーからのアナウンスがあれば、より新しいソフトウェアへの移行計画を作成し、これまで動作してきたアプリケーションプログラムの稼働に影響がないかを確認し、場合によっては改修を加えるといった一連の対応が求められますが、それには多くの労力が必要です。 1つのシステムですらこれほど大変なEOSL対応ですが、賃貸を取り扱う事業、新築マンションを取り扱う事業など、複数の事業領域で構成されている『SUUMO』では、仮想化ソフトウェアのEOSLを機に「複数の異なる領域で横断的に利用される、12万以上のジョブが動作する横断バッチの移行プロジェクト」を実行、無事完遂しました。 事業に不可欠でありながら、新規サービス

                  『SUUMO』を止めるな。大規模横断バッチがEOSLを迎える「2027年問題」にどう立ち向かったか - はてなニュース

                • AWS でバッチ処理・定期実行する4つの方法(EC2,EventBridge,SQS,ECS,Lambda)

                  AWS上でバッチ処理を行う場合に、 どのAWSサービスが選択肢として考えられるかどのAWSサービスを選択すればいいのかについて考えていきます。 AWSでバッチ処理・定期実行する方法を4つ紹介し、それぞれ特徴やメリットとデメリットがありますので、この点について記載していきます。 バッチ処理・定期実行方式のパターンと特徴を知って適切な手段を選択しよう！という記事です。 まずはどのような構築方法があるかについて記載していきます。

                    AWS でバッチ処理・定期実行する4つの方法(EC2,EventBridge,SQS,ECS,Lambda)

                  • バッチシステムをクラウドネイティブにするために考えたこと

                    Cloud Native Days Tokyo 2022 Session: https://event.cloudnativedays.jp/cndt2022/talks/1518

                      バッチシステムをクラウドネイティブにするために考えたこと

                    • AWSサーバーレスバッチ処理アーキテクチャの構築 | Amazon Web Services

                      Amazon Web Services ブログ AWSサーバーレスバッチ処理アーキテクチャの構築 この投稿は、AWSソリューションアーキテクトであるReagan RosarioとWWPSソリューションアーキテクトであるMark Curtisによって書かれました。バッチ処理は多くの組織にとって基礎となるもので、大量の情報を効率的に自動化した形で処理することができます。ユースケースとしては、ファイル取り込み処理、キューベースの処理、トランザクションジョブ、さらに重いデータ処理のジョブなど、多岐にわたります。 この記事では、ファイル取り込み処理を実装するためのバッチ処理を、サーバーレスに実現するための方法を説明していきます。今回の例では、オーケストレーションにAWS Step Functions、オンデマンドのコンピューティングにAWS Lambda、データストアにAmazon S3、メールの送

                        AWSサーバーレスバッチ処理アーキテクチャの構築 | Amazon Web Services

                      • 【AWS】大規模なバッチ処理を支える技術選定

                        ここから、表で挙げた内容をそれぞれ解説していきます。 構築難度に関しては、関数を実装するだけで済むLambdaが最も簡単で、バッチ専用に特化されたサービスであるBatchに関しては比較的バッチ構築はしやすい印象ですが、ECSに関してはバッチに特化していないため、バッチ処理を行うようにカスタマイズする必要があります。 タイムアウト制約に関して留意すべきは、Lambdaの実行時間は15分までなので、それ以上を超える処理時間のバッチは実装できないことです。 起動•実行上のオーバーヘッドに関しては、Lambdaにはコールドスタートがあるため起動時にオーバーヘッドを考える必要があり、Batchではジョブをキューに送信して、最適化のために、ある程度のジョブがキューイングしてから実行しようするので、即時性を求める処理には不向きです。 既存バッチを移行したいケースがあると思いますが、Lambdaで動かせる

                          【AWS】大規模なバッチ処理を支える技術選定

                        • EC2とcronで動いていたバッチ基盤をマネージド化した - Uzabase for Engineers

                          概要 ソーシャル経済メディア「NewsPicks」SREチームの中川です。 皆さんはバッチ処理基盤はどうされていますでしょうか。 NewsPicks では少し前まではそれらをEC2、cronの組み合わせで動作させていました。 何年も前からこの仕組みだったのですがSREとしてはEC2の面倒見るのも手間ですし、それ以上にcronを変更する際のオペレーションミスが目立ったのが懸念点でした。 その為、まずはAWSマネージド化するための基盤を整備し、その後バッチアプリを載せ替えていくようにしました。 対応前の基盤構成 同じSREチームの安藤さんが CloudNative Days Tokyo 2023 で登壇されたときの資料をお借りします。 ご覧の通り、大体のサービスはマネージド化していましたがバッチ基盤だけは旧来のままEC2インスタンスを利用していました。 10年モノのサービスのインフラを漸進的

                            EC2とcronで動いていたバッチ基盤をマネージド化した - Uzabase for Engineers

                          • 「絵師さんをフォローしても即ブロックされる」→名前に社長が入ってて青バッチついてるからでは？「真面目なBtoB企業なのにぐぬぬ…」

                            chokudai(高橋 直大)@AtCoder @chokudai 競技プログラミングの会社の社長です！　 AtCoder(株)代表取締役社長/競プロ世界ランカー(GoogleHashCode優勝、ICFPC優勝7回等)/たこやき/ぷよぷよ/ブルアカ(ホシノ推し)/DDR/チュウニズム虹レ/筑駒中高→慶應SFC卒/NewsPicksプロピッカー/sub:@chokudai_s chokudai.net chokudai(高橋 直大)@AtCoder @chokudai ブルアカ絵師さんをフォローしたら業者と間違えられてブロックされるケースが頻発してるので、プロフィールにブルアカを追記した。業者じゃないよう……いや業者か……？業者かも……。 2024-08-16 17:38:39

                              「絵師さんをフォローしても即ブロックされる」→名前に社長が入ってて青バッチついてるからでは？「真面目なBtoB企業なのにぐぬぬ…」

                            • アナリスト出身の人にバッチ処理を書いてもらう際にレクチャー & サポートしたことメモ - yasuhisa's blog

                              あまりよくある話ではないと思うんですが、アナリスト/Analytics Engineerの人にバッチ処理を書いてもらう機会がありました。基本的にはSQLを普段書かれていて*1、場合によってはTerraformを少し書くこともあるというバックグラウンドの方です。これに対して私はレクチャーやサポートする形になったので、メンター的でどういうことを考えていたかをこのエントリでは書こうと思います。 対象のタスク レクチャーしたこと Step by Stepで実装する APIやjqに慣れる Dockerfileを使って環境構築する 正常系を実装する 適切な関数やクラスに分割する コマンドライン引数や環境変数を使う 型アノテーションを付ける loggerについて知る 異常系を考慮する テストどうする問題 脱線 バッチ処理をアナリスト出身の人に書いてもらうのは適切か? バッチ処理初心者とLLMの付き合い方

                                アナリスト出身の人にバッチ処理を書いてもらう際にレクチャー & サポートしたことメモ - yasuhisa's blog

                              • バッチ処理における冪等性の検討 ─ クラウドネイティブもしくは、はてなダイアリーの自動移行を題材に - Hatena Developer Blog

                                アプリケーションエンジニアのid:tkzwtksです。今回はバッチ処理の冪等性（べきとうせい、idempotence）について、どう考えるか／考えてきたかをご紹介します。 このエントリを書くきっかけとなったのは、はてなエンジニア有志で定期的に開催しているCloudNative推進会です。ここでは、社内のシステムをクラウドネイティブにしていくため「クラウドネイティブなシステムとはどういうものか？」を考えており、この会での「クラウドネイティブなバッチ処理」の議論も踏まえつつ説明していきます。 バッチ処理における冪等性とは メッセージ送信の信頼性を考慮する クラウドネイティブで可用性を高めるために どのような場合に冪等性を考慮すべきか 冪等な実装における3つのケーススタディ ケース1: n分前までに更新されたレコードを集計する ケース2: DB上の対象レコードを更新する ケース3: 対象ユーザー

                                  バッチ処理における冪等性の検討 ─ クラウドネイティブもしくは、はてなダイアリーの自動移行を題材に - Hatena Developer Blog

                                • Android端末の画面をPCで表示・操作できるGUIアプリ「Escrcpy」、複数台の操作やバッチ処理も可能／Windows/Mac/Linuxで手軽に利用可能、「scrcpy」＋「Electron」【レビュー】

                                    Android端末の画面をPCで表示・操作できるGUIアプリ「Escrcpy」、複数台の操作やバッチ処理も可能／Windows/Mac/Linuxで手軽に利用可能、「scrcpy」＋「Electron」【レビュー】

                                  • EC2のcronバッチを「EventBridgeをトリガーにStep Functionsを起動」に置き換えると、エラーハンドリングが快適になる

                                      EC2のcronバッチを「EventBridgeをトリガーにStep Functionsを起動」に置き換えると、エラーハンドリングが快適になる

                                    • AIで画像をアップスケールする無償ツール「Upscayl」に16倍拡大モードとバッチ処理が追加／最新版v1.5.0がリリース

                                        AIで画像をアップスケールする無償ツール「Upscayl」に16倍拡大モードとバッチ処理が追加／最新版v1.5.0がリリース

                                      • バッチ処理を監視したいだけなんだが…

                                        https://livesense.connpass.com/event/349898/

                                          バッチ処理を監視したいだけなんだが…

                                        • 入社4ヶ月目で73時間かかるバッチ処理を7倍以上高速化した話 - エムスリーテックブログ

                                          こんにちは。エンジニアリンググループの武井です。 私は現在、デジカルチームに所属し、クラウド電子カルテ、エムスリーデジカルの開発に携わっています。 昨年夏にエムスリーに入社し、早くも半年が経過しました。 digikar.co.jp この記事では、私が入社してから4ヶ月目に取り組んだ、バッチ処理の運用改善について振り返ります。 特に、新しくチームに加わったメンバーとして意識した点に焦点を当ててみたいと思います。 これから新しいチームに参加する方の参考になれば幸いです。 改善したバッチ 現状の正確な理解 現状に馴染む技術選定 自分なりの+αを加える 改善の結果 We're hiring 改善したバッチ 今回の改善対象は、特定の医療機関に紐づく全患者の全カルテをPDFファイルとして出力する、というバッチです。 デジカルのデータを医療機関側にエクスポートする用途で使われています。 移行前のアーキテ

                                            入社4ヶ月目で73時間かかるバッチ処理を7倍以上高速化した話 - エムスリーテックブログ

                                          • 商品数の増加を見据えて商品情報作成処理をPythonからBigQueryに移行した話 | SQLによるバッチ処理で工夫した3つのポイント - MonotaRO Tech Blog

                                            こんにちは、EC基盤グループ 商品情報基盤チームの江村です。今回は私が所属している商品情報基盤チームで構築、運用を行っているシステムについてお話します。 モノタロウでは以前から記事になっていますが、検索システムの移行を行っており、現在商品検索ページの裏側の検索システムのSolrからElasticsearchへの切り替え*1が完了しました。 私が所属している商品情報基盤チームではElasticsearch、Spannerに入れるための商品情報の作成とSpannerおよび、Spannerからデータを取得するAPIの運用を行っています。今回はその中でもElasticsearch、SpannerのためのBigQueryでの商品情報作成処理について取り上げます。（詳しい検索部分の構成については以前の記事を参照ください） システム移行の背景 移行による設計ポイント 「MySQL + Python」の処

                                              商品数の増加を見据えて商品情報作成処理をPythonからBigQueryに移行した話 | SQLによるバッチ処理で工夫した3つのポイント - MonotaRO Tech Blog

                                            • 定時バッチをECS scheduled task + ecscheduleでお手軽管理する - BOOK☆WALKER inside

                                              メディアサービス開発部モバイルアプリケーション開発課のtukiyo(id: tukiyo320)です。現在はニコニコ漫画のバックエンド開発を担当しています。 本記事では、Webサービスに付き物の定時バッチについて、ニコニコ漫画では現在どのような方針で管理・実行しているかをご紹介します。 ニコニコ漫画の構成おさらい 以下の記事に詳しいですが、ニコニコ漫画のバックエンドは4系統存在しています。どれも現在はAWS上に乗っており、PHPの現行システム以外はECS(fargate)で管理されています。 現行PHP(独自フレームワーク) 新バックエンド(Ruby on Rails) React向けBFF(Nest.js) 課金サブシステム(Ruby on Rails) developers.bookwalker.jp 本記事で扱うのは、ロジックの書き直しを目的とした新バックエンドが持つバッチとなります

                                                定時バッチをECS scheduled task + ecscheduleでお手軽管理する - BOOK☆WALKER inside

                                              • AWS Lambda でのカスタムチェックポイントによるバッチ処理の最適化 | Amazon Web Services

                                                Amazon Web Services ブログ AWS Lambda でのカスタムチェックポイントによるバッチ処理の最適化 AWS Lambdaは、Amazon Kinesis Data StreamsやAmazon DynamoDB Streamsなどのソースから取得した複数メッセージをバッチ処理できます。通常の操作では、処理を行う関数は1つのバッチから次のバッチに移動して、ストリームからのメッセージを消費します。 ただし、バッチ内のアイテムの1つでエラーが発生すると、そのバッチ内の同じメッセージ群の一部が再処理される可能性があります。新しいカスタムチェックポイント機能により、失敗したメッセージを含むバッチの処理方法をより詳細に制御できるようになりました。 このブログ記事では、バッチ失敗時のデフォルトの動作と、このエラー状態に対処するために開発者が使用可能なオプションについて説明します。

                                                  AWS Lambda でのカスタムチェックポイントによるバッチ処理の最適化 | Amazon Web Services

                                                • 負債となっていたバッチ処理基盤を無停止で（ほぼ）ユーザ影響なく移行した話 - tebiki Tech Blog

                                                  ※この記事は 2025年02月19日に Medium で公開されたものを、ブログ移行に伴い再掲載したものです。内容は当時のままですので、一部情報が古くなっている可能性があります。 Tebiki株式会社でtebiki現場教育サービスのプロダクトエンジニアを担当している清田です。 去年、tebiki現場教育で利用していたバッチ処理基盤を移行しました。 当記事では、その移行の内容を紹介します。 前提 tebiki現場教育サービスでは、主に以下の用途でバッチ処理基盤を利用していました。 ・業務イベントに応じたメール一括送信 ・ユーザ全体へのお知らせ通知 ・ユーザの学習状況の収集 バッチ処理基盤はAWSのElastic Beanstalk上でRuby on Rails製のアプリケーションとして起動しており、wheneverというgemを利用して所定のジョブを定期実行していました。 バッチ処理基盤のア

                                                    負債となっていたバッチ処理基盤を無停止で（ほぼ）ユーザ影響なく移行した話 - tebiki Tech Blog

                                                  • SSMって20種類あんねん　〜Run Commandで定期バッチを起動する〜 - NRIネットコムBlog

                                                    どうも。小林です。 みなさん、自動化してますか？ 私の課では特定の顧客のシステムを多数運用しています。 かなり多くのシステムがあり、顧客側の担当者も異なるため、弊社側でも複数のチームを組んで手分けしてシステムを担当しています。 チームも顧客担当者も異なるとなれば、当然運用のやり方はシステムごとに変わってきます。その一方で統一できる部分は統一しておかないと全体の統制は効きづらくなってしまいます。 そこで「標準化チーム」を発足し、チーム間で共用するシステムのアカウント管理やその申請ルール、顧客報告やメンバーの勤怠管理といったものの標準化を進めています。 標準化の恩恵のひとつとして、「作業が単純化できて自動化しやすくなる」という点が挙げられます。 例えばアカウント発行の申請フォーマットを統一すると、「フォーマットにしたがって記載されたテキストをバッチに読み込ませてアカウントを自動的に発行する」と

                                                      SSMって20種類あんねん　〜Run Commandで定期バッチを起動する〜 - NRIネットコムBlog

                                                    • バッチ実行環境を EC2+cron から StepFunctions + ECSonFargate + EventBridge に移行しました｜delikuï¼ PRONI

                                                      バッチ実行環境を EC2+cron から StepFunctions + ECSonFargate + EventBridge に移行しました 新しく発足したシステム戦略推進チームの delikuです！ これまでPRONIアイミツシステムの定時バッチは、EC2 + cron で稼働していましたが、この度 cron + EC2 環境を脱却し、新しくマネージド環境に移行するようにしました。 システム戦略推進チームの役割各チームの開発プロセスにおける課題解決のサポートを行う 開発プロセスや技術における課題解決のサポートを行うことで各チームの向き合う領域へ集中できる環境を作る手助けをする 具体ではインフラ構成・リリース手順・自動テスト・バージョンアップ...など あるべきシステム境界を模索していく（寄せていく） ただ、手当たり次第に統合/分割はせず、時間軸やユースケースを見極める必要がある。そのた

                                                        バッチ実行環境を EC2+cron から StepFunctions + ECSonFargate + EventBridge に移行しました｜deliku＠PRONI

                                                      • コーディングできないのでChatGPTにプログラムを外注してみた　ゼロ知識でバッチファイル生成

                                                        コーディングできないのでChatGPTにプログラムを外注してみた　ゼロ知識でバッチファイル生成：AIに相談だ！（1/2 ページ） どんな質問にも“それらしい答え”を返してくれるAIチャットサービス「ChatGPT」。3月年には大規模言語モデル「GPT-4」を搭載するなど進化を続けている。では、人間には答えにくい質問や、答えのない問い、ひっかけ問題を尋ねてみたらどんな反応を見せるのか。 本連載では、ChatGPTにさまざまな問題を投げかけて、どんな答えを返すか試してみる。その反応からAIの可能性、テクノロジーの奥深さ、AIが人間に与える“示唆”を感じ取ってほしい。 コーディングできないからChatGPTに外注してみる 米OpenAIはこのほど、ChatGPTに「Code interpreter」という機能を追加した。これはChatGPT上でPythonコードを生成・実行してデータ処理などがで

                                                          コーディングできないのでChatGPTにプログラムを外注してみた　ゼロ知識でバッチファイル生成

                                                        • DynamoDBはバッチ処理よりストリーム処理との相性が良いという話

                                                          テーブル内に格納されているメールアドレスのデータを使って、1日ごと、1週間ごとに全ユーザーに対してメールを送信したいというバッチがあったとしましょう。 とある1人のユーザーのメールアドレスを調べること自体はQuery操作で可能ですが、バッチ処理の性質上それを全ユーザーに対してやると考えると、実質的にはテーブル全Scanと同等の処理が要求されてしまいます。 システムを利用しているユーザーから登録情報の参照・変更を随時受け付けるたびに、このテーブルへのCRUD処理が行われます。そのため、このテーブルへの全Scanはユーザー体験を損なう可能性が高いです。 解決策の模索 「とあるテーブルに対してバッチで大量アクセスするのを防ぎたい」という要件に対して、考えられるアプローチを挙げてみます。 リードレプリカの作成 コピーテーブルの作成 リードレプリカの作成 RDSやAuroraの場合は、同じデータを持

                                                            DynamoDBはバッチ処理よりストリーム処理との相性が良いという話

                                                          • 業務自動化のために「バッチ処理」「RPA」「AI」をどう使い分けるべきか　ITRが指針

                                                            アイ・ティ・アール（ITR）は2022年8月18日、ホワイトペーパー「業務自動化に向けた国内企業の現状と展望」を公開した。国内企業の業務自動化に向けた取り組み状況と、技術選定のポイントを解説した。 年商500億円以上の国内大企業に勤める部長職以上の役職者を対象にITRが実施した調査（2022年3月実施）によると、DX（デジタルトランスフォーメーション）における最重要課題は、「コミュニケーション／コラボレーションの高度化」（47％、複数回答、以下同）だった。次いで「業務の自動化」（45％）だ。

                                                              業務自動化のために「バッチ処理」「RPA」「AI」をどう使い分けるべきか　ITRが指針

                                                            • GoとKubernetesを用いたバッチ開発のすすめ

                                                              Go Conference 2022 Springでの発表資料です https://gocon.jp/2022spring/ja/sessions/lt5/

                                                                GoとKubernetesを用いたバッチ開発のすすめ

                                                              • Windowsストアアプリをコマンドラインで起動する簡単な方法！／ショートカットファイルやバッチファイル、スクリプトの作成もお任せ【レビュー】

                                                                  Windowsストアアプリをコマンドラインで起動する簡単な方法！／ショートカットファイルやバッチファイル、スクリプトの作成もお任せ【レビュー】

                                                                • Laravel on ECSでのバッチ実行基盤事例｜Kurashicom Tech Blog

                                                                  こんにちは。エンジニアの佐々木です。 最近、映画アルゴの主人公のような密度が濃く整った髭を目指し日々手入れを行っています。 さて。以前、社内勉強会で発表した「北欧、暮らしの道具店」におけるSREについての記事を書きました。 今回は、上の記事の中のスライド内で少しだけ触れていた「コンテナ技術(ECS/Docker)への移行」について、バッチ実行まわりでの技術選定や注意した点について紹介したいと思います。 ECS/Fargate移行前の課題「北欧、暮らしの道具店」はこれまで、AWSのOpsWorks(Chef)を使用しEC2の構成管理を行ってきました。 インフラ側の変更を反映するためには新しくプロビジョニングしたEC2を毎回用意する必要があるため、そのときには以下の様な課題を抱えていました。 - Web・APIサーバーとして動いているEC2インスタンスは、その数だけプロビジョニングを実行し新規

                                                                    Laravel on ECSでのバッチ実行基盤事例｜Kurashicom Tech Blog

                                                                  • Datadogで深夜バッチの失敗アラートを営業時間に受け取る方法 - Classi開発者ブログ

                                                                    深夜の定期バッチの監視 Webサービスのオフピーク時に重たい処理を実行させるというのは一般的なプラクティスといえます。 特に深夜〜早朝は多くのサービスでバッチ処理を実行させているのではないでしょうか。 Webサービスだけではなく、当然バッチ処理も監視して失敗したらそれを発見し対処したいです。 しかし、失敗を発見しても即座にユーザ影響がないので対応は後でも良いという場合、素朴に監視ルールを作るとバッチが失敗した深夜・早朝にアラートが発報されることになります。 発報されたアラートを見て「これは今すぐに対応してなくても良いな」と判断するのであれば、それは狼少年アラートといえるのではないでしょうか。 悪貨が良貨を駆逐すると言われるように、狼少年アラートがはびこれば良貨のアラートもいずれ無視されるようになってしまうことは容易に想像できます。 Datadogの timeshift 関数でアラートの発報

                                                                      Datadogで深夜バッチの失敗アラートを営業時間に受け取る方法 - Classi開発者ブログ

                                                                    • ピクシブ社エンジニアが語る、機械学習基盤とその技術　「GCPバッチ基盤」「リアルタイムの推論基盤」「ノートブック開発環境」整備の裏側 | ログミーBusiness

                                                                      登壇者の自己紹介とアジェンダの紹介sugasuga氏：こんにちは。今日は、ピクシブの機械学習基盤に関する発表をいたします。 まずは自己紹介から始めさせてください。自分は、機械学習チームでエンジニアをしているsugasugaといいます。サブで採用・広報活動にも関わっています。最近の趣味は、トレーニングです。 今日お話しすることは、（スライドを示して）こちらを予定しています。機械学習基盤について。そして、基盤で使われている技術について。運用してみて感じたメリットとデメリットについてお話しします。 大規模なデータの効率的な処理、機械学習サービスの展開のしやすさ、効率的な開発などに課題があった本題に移る前に、導入として、どういったところで機械学習が活用されていて、なぜ機械学習基盤が必要かについてお話しします。 活用されている場面としては、違反検知、レコメンド、広告、3Dなど多岐にわたります。ここで

                                                                        ピクシブ社エンジニアが語る、機械学習基盤とその技術　「GCPバッチ基盤」「リアルタイムの推論基盤」「ノートブック開発環境」整備の裏側 | ログミーBusiness

                                                                      • AWS S3バッチオペレーションのちょっとしたtipsなどのご紹介 - たきざわの日記

                                                                        このエントリは、はてなエンジニアAdvent Calendarの9日目の記事としてかかれました。 AWS S3にはバッチオペレーションというマネージドサービスがあって、これは指定したバケット/オブジェクトに対して一括で何かしらの操作ができる。例えば「バケット内のすべてのオブジェクトを別バケットにコピーしたい」とかそういう時に使うと便利。 aws.amazon.com その一括操作ではLambdaを利用することもできる。Lambdaを使うとかなり柔軟な操作ができるようになるが、ドキュメントを見ただけでは最初どうしたらいいかわからなかった上に、利用する機会もそんなに無いので覚えられない。その他にも最初に知ってたらよかったみたいなのが細々とあるので、そういうのを少しまとめておく。 なお、このエントリではS3 バッチオペレーション自体のジョブの登録のやり方自体は割愛する。まずS3バッチオペレーショ

                                                                          AWS S3バッチオペレーションのちょっとしたtipsなどのご紹介 - たきざわの日記

                                                                        • バッチの実装方針について考える - hacomono TECH BLOG

                                                                          お久しぶりです。基盤本部/プラットフォーム部/hacomono・共通基盤グループのまこたすです。 はじめに バッチという言葉はまとめて処理することを表すと思うのですが、バッチシステムという観点だとCronのような時間で発火する仕組みだったり、非同期で別プロセスのワーカーに依頼してまとめて処理させたりする仕組みだったりと様々あると思います。もちろん弊社のhacomonoというプロダクトにおいてもバッチ処理は存在し、毎日稼働しています。最近これらのバッチ処理においてやや扱いが大変な場面も増えてきました。今回は弊社のバッチシステムの紹介とバッチという仕組みがよく起こす課題と、その対応について考えます。 本記事の想定対象読者 アプリケーションコード側でバッチとして動かすシステムに興味関心がある人 バッチとして稼働させるためのインフラに興味関心がある人 hacomonoのバッチシステムについて 弊社

                                                                            バッチの実装方針について考える - hacomono TECH BLOG

                                                                          • バッチ監視改善 ~手動再実行のトイル削減とNAT gatewayコスト急増の失敗談付き〜 - Nealle Developer's Blog

                                                                            はじめに SREチームの森原(@daichi_morihara)です。今日はバッチの監視周りの取り組みについて共有していこうと思います。 これまではバッチのモニタリングに関して、エラーログの検知・対応のみの最低限の監視を行っている状態でした。そこでバッチ関連のオブザーバビリティの強化およびトイル削減のために以下の３つに取り組みました。 バッチ失敗時の自動再実行の設定 バッチ毎の実行時間や実行結果・インフラレイヤーのメトリクスをまとめたDatadogのダッシュボード作成 DatadogのAPM導入 それぞれの実装において得た学びや注意点を紹介していきたいと思います。 バッチのインフラ構成図 ニーリーでは以下の構成図の通りEventBridgeでStep Functionsを発火し、そのStep Functions内でECSタスクを起動させバッチを実行するという構成をとっています。Step F

                                                                              バッチ監視改善 ~手動再実行のトイル削減とNAT gatewayコスト急増の失敗談付き〜 - Nealle Developer's Blog

                                                                            • プログラムに1文字加えて本番環境のバッチ処理を4倍遅くした - Qiita

                                                                              はじめに この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2025 の14日目です。 ここで書くできごとは、私がかなり前に招いたバッチ処理を意図せず遅くしてしまった話です。 今でも覚えていて、思い出すと「あああああああああ! 何を考えているんだこの馬鹿は」と叫びつつ、みかん🍊を探し壁にぶつけたくなる衝動にかられます。 こういうことに気を付けねばならない、こういうことをしてはいけないと自戒の碑として、書いておく次第です（ご迷惑をおかけした関係者の皆様、この件も本当にすみませんでした）。皆様の参考になれば幸いです。 参考）昨年のやらかしエントリ どのような「やらかし」が起きたか あるお客様の環境で動くバッチ処理がありました。DBからいくつかのテーブルを元にデータを作り、とある更新系のAPIを叩くという、どこにでもあるようなバッチ処理です。ポイントは データ量が多

                                                                                プログラムに1文字加えて本番環境のバッチ処理を4倍遅くした - Qiita

                                                                              • リトライ処理を追加するとバッチが安定することがあることもそこそこあるので「avast/retry-go」を使ってみる - じゃあ、おうちで学べる

                                                                                はじめに インフラエンジニアは日々の業務でプログラムを書く機会が多く、その中で処理の実行やHTTPの通信などでリトライ処理を実装する必要があることが少なくありません。リトライ処理を実装する必要は必ずしもなくても、実装することでバッチが安定することがあります。もっと言っておくとリトライ処理を実装することで、一時的なエラーによる処理の失敗を回避し、バッチ処理の安定性が向上する可能性があります。実行基盤によってジョブの再試行の自動化、最大再試行回数を設定するやPod失敗のバックオフポリシーなどとの兼ね合いを考える必要もあると思います。あとはマジでガー不のバグを引き寄せることもあるので注意が必要です。 はじめに シンプルな例 最大リトライ回数の指定 次のリトライまでの待ち時間の設定 特定の例外のみリトライするケース さいごに 今回はGolangには「retry-go」というリトライ処理を簡潔に実装

                                                                                  リトライ処理を追加するとバッチが安定することがあることもそこそこあるので「avast/retry-go」を使ってみる - じゃあ、おうちで学べる

                                                                                • Javaバッチのクラウド移行プロジェクトの泥臭い挑戦 - エムスリーテックブログ

                                                                                  この記事はエムスリー Advent Calendar 2024 の18日目の記事です。 こんにちは、基盤チームエンジニアの桑原です。最近はKeychron Q11を購入してキーボードライフを楽しんでいます。昨日はキースイッチの交換に失敗し、10年ぶりにはんだ付けをして何とか事なきを得ました。 はんだ付けしたら巨大な鉛の塊ができてしまったの図 本日は私が半期取り組んでいたJavaバッチのオンプレからクラウドリフトプロジェクトについて紹介します。なかなか泥臭い作業が多かったのですが、ありのままの仕事内容をお伝えします。 概要 システムの概要 プロジェクトの概要 プロジェクトの背景 脱オンプレを進めるにあたってのハードル レガシー 全体像の見えなさ 実際の移行作業 方針決定 EC2へのリフト 全体像 技術的な課題と解決策 パフォーマンスの悪化 解決 移行後の効果 成果と今後の展望 まとめ We

                                                                                    Javaバッチのクラウド移行プロジェクトの泥臭い挑戦 - エムスリーテックブログ
                                                                                  1 2 3 4 5 6 次のページ

                                                                                  新着記事

                                                                                  はてなブックマーク

                                                                                  公式Twitter

                                                                                  はてなのサービス

                                                                                  • App Storeからダウンロード
                                                                                  • Google Playで手に入れよう
                                                                                  Copyright © 2005-2026 Hatena. All Rights Reserved.