kafka

分散メッセージング基盤と聞いて何を思い浮かべるでしょうか。 最近流行りのchatGPTに尋ねてみたところ、以下の回答が返ってきました。 分散メッセージング基盤（Distributed Messaging Infrastructure）とは、複数のコンピューターやデバイス間で情報をやり取りするためのシステムのことを指します。 分散メッセージング基盤は、分散型システムを構築する際に使用されることが多く、スケーラビリティや可用性を高めることができます。また、分散メッセージング基盤は、リアルタイムでの情報交換やデータのやり取りが必要なアプリケーションでも使用されることがあります。例えば、複数のデバイス…

分散メッセージング基盤と聞いて何を思い浮かべるでしょうか。 最近流行りのchatGPTに尋ねてみたところ、以下の回答が返ってきました。 分散メッセージング基盤（Distributed Messaging Infrastructure）とは、複数のコンピューターやデバイス間で情報をやり取りするためのシステムのことを指します。 分散メッセージング基盤は、分散型システムを構築する際に使用されることが多く、スケーラビリティや可用性を高めることができます。また、分散メッセージング基盤は、リアルタイムでの情報交換やデータのやり取りが必要なアプリケーションでも使用されることがあります。例えば、複数のデバイス…

分散メッセージング基盤と聞いて何を思い浮かべるでしょうか。 最近流行りのchatGPTに尋ねてみたところ、以下の回答が返ってきました。 分散メッセージング基盤（Distributed Messaging Infrastructure）とは、複数のコンピューターやデバイス間で情報をやり取りするためのシステムのことを指します。 分散メッセージング基盤は、分散型システムを構築する際に使用されることが多く、スケーラビリティや可用性を高めることができます。また、分散メッセージング基盤は、リアルタイムでの情報交換やデータのやり取りが必要なアプリケーションでも使用されることがあります。例えば、複数のデバイス…

この記事は、みらい翻訳のカレンダー | Advent Calendar 2022 - Qiita の24日目です。 こんにちは。プラットフォーム開発部でリードエンジニアをしているchanceです。 アドベントカレンダーがまだ空いていそうなので滑り込みでもう一記事書いてみました。 私たちのチームでは、AWS の MSK と Debezium を用いて CDC を利用したデータマイグレーションを構築しています。 今回は MSK とそれを利用する Kafka Consumer に関するトラブルシューティングのお話です。 環境構成 まず前提となる構成についてお話しします。 CDC アーキテクチャ おお…

この記事は、みらい翻訳 Advent Calendar 2022 の21日目です。 こんにちは。プラットフォーム開発部でアプリエンジニアをしているeinです。 本記事では、MSK (Managed Streaming for Apache Kafka) のConsumerとしてのLambdaを実装してみます。 趣旨 本記事で言いたいこと re:Invent2022でEventBridge Pipesという新しいイベント伝搬の仕組みが発表され、話題になっています。本記事ではPipesを利用してMSKをイベントソースとするLambdaを実装し、従来のトリガーを利用したLambdaとの比較をします。…

はじめに エンジニアの松原です。前回の記事では、簡単にKafkaをローカルでサーバーを建ててHello Worldをする内容を紹介しました。 synamon.hatenablog.com 前回はConsumer側にKafkaJSを利用していましたが、今回は、Karafka を利用して、Rails上からConsumerとして振舞わせることを記事にしました。今回の記事で登場したコードはGitHubにリンクを置いていますので、参考になれば幸いです。 ※今回使用しているKarafkaはLGPL v3.0のライセンスのものを利用しているため、利用の際はご注意ください。 github.com Karafk…

はじめに エンジニアの松原です。普段の開発ではHTTPサーバーを扱うことが多いのですが、負荷軽減のための様々なサーバー側のギミックについて調べていく中で、メッセージキューの仕組みについて目に留まりました。 今回はKafkaについて紹介します。元々メッセージキューに利用できることは知っていたのですが、バックグラウンドでどのような振る舞いをしているかに関しては、あまり詳しく調べられていませんでした。 社内でアドベントカレンダーを今年もやることになったので、この機会にしっかりと勉強しようと思い、この記事ではまずはHelloWorld的に、単純にメッセージキューとしてHelloWorldを試してみまし…

文字霊日記・３５８９日目 前回からのツヅキ・・・ーーーーー 蘇我馬子の 邸宅の池に 「嶋」 を浮かべた池があったことから 「嶋大臣」とも呼ばれた・・・？ ・・・「嶋（善信尼）」 を敬愛していたからだろう？ 敏達天皇元年（572年） ・・・敏（さと）さに達する天皇？ 敏＝毎+攵＝敏＝勄 每+攵 𠂉+毋+攵 𠂉+母+攵 ビン・さとい・とし はやい・動きが素早い さとい・かしこい 頭のは働きがよい 敏捷・敏感・鋭敏・過敏・機敏 恭敏・恭敏・才敏 聡い・敏い（さとい） 俊敏（シュンビン） 敏速（ビンソク） 不敏（フビン） 心間手敏（シンカンシュビン） 訥言敏行（トツゲンビンコウ） 機を見るに敏（きをみ…

これは、なにをしたくて書いたもの？ AWS Lambdaで通常のWebアプリケーションフレームワークを使えるという、AWS Lambda Web Adapterを1度試しておきたいなと 思いまして。 今回はFastAPIで試してみたいと思います。動作確認をするのはローカル環境です。 AWS Lambda Web Adapter AWS Lambda Web AdapterのGitHubリポジトリーはこちら。 GitHub - awslabs/aws-lambda-web-adapter: Run web applications on AWS Lambda AWS Lambda Web Ada…

www.itmedia.co.jp ⇧ 何故に「12」日間なのか気になるのだが、 その他 12 に関すること 十を「A」の一字、十二を「10」とするなど、桁や単位を十二の累乗で数える方法を十二進法という。なお、12の2乗は144、12の3乗は1728、12の4乗は20736である。 12か月を1年に対して、12年（＝144か月）を1回りという。 12個を1ダース、12ダース（＝144個）を1グロス、12グロス（＝1728個）を1大グロスという。 12 - Wikipedia ⇧ 1ダースっていうような意味合いなんかね？ IMSDb（Internet Movie Script Database）…

この記事は FOLIO Advent Calendar 2024 - Adventar の21日目です。 先日 HashedWheelTimer が話題に上がったのですが、意外にも日本語で解説している記事が見当たりませんでした。（言及している記事はある。検索の仕方が悪いかもしれない。） HashedWheelTimer は Web フレームワークなどの裏側でタイムアウトを扱ったり、スケジューリング周りで重要なデータ構造/アルゴリズムです。 理解しておくとトラブル時に役立つ（かも）ということで自分の勉強も兼ねてまとめておきます。 HashedWheelTimer とは 何 millisec 後に…

この記事はANDPAD Advent Calendar 2024の17日目の記事になります。(投稿予定の12/17前後で風邪を引いてしまい投稿が遅れてしまいました。🙇‍♀️) @youchanです。実は今年の8月にアンドパッドに入社していました。アンドパッドではインフラコストを削減するための施策を行なうチームに配属しています。 アンドパッドでは建設業のDXを実現するサービスを提供しています。建設の現場では多くの写真が取り扱われます。膨大な写真データはインフラコストに響くので削除できるものは削除したいところです。実際にサムネイル画像も保存されていたりして削減可能なものがたくさんあります。 私の最…

ネタバレ含みます。 あらすじ 感想 ～物語の理不尽、現実の理不尽 「虫」の意味を、原単語ドイツ語「Ungeziefer」から考える 変身 (新潮文庫) 作者:フランツ・カフカ 新潮社 Amazon

ロゴも追加されてたよ Skullgirls Mobile is down for maintenance while 7.1 launches. Downtime should last six hours.Update Notes are now available!💀New Monthly Fighters!❤️Shard Holiday Specials!💀12 Days of Gifting!🔗Full details: https://t.co/QI3fanJtQ5 pic.twitter.com/6Zcj9iGIZG— Skullgirls Mobile (@sgmobile) 2…

こんにちは、しずかです。AWS re:Invent 2024 のセッションレポートです。 目次 目次 Scaling for enterprise: Insights from New Relic's AWS journey (sponsored by New Relic) セッション動画 New Relicについて クラウド移行の背景とAWSの選択 アーキテクチャとクラウド移行の方法 セル型アーキテクチャの導入 移行プロセス 移行の結果で得られた教訓 さいごに Scaling for enterprise: Insights from New Relic's AWS journey (spo…

embulkからApache Kafka にpushしてみた。 といっても、QUICKSTARTだけですが。 kafka.apache.org 基本は上記の通りやりました。 kafka_2.13-3.7.0.tgzをダウンロードしてdocker imageで展開して使ってみました。 root@05493a980797:/work/kafka_2.13-3.7.0# bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092 This is m…

本記事はキャディ株式会社のアドベントカレンダーに寄稿しています。 こんにちは。キャディ株式会社の Analysis Platform Group で MLOps エンジニアを務めている廣岡です。普段はキャディの図面活用クラウドサービス CADDi Drawer のエンジニアとして、図面に対する機械学習解析のインフラやバックエンドの開発を行っています。 今回は KEDA を使って、Google Cloud Pub/Sub のメッセージ数に応じて Kubernetes ワークロードのスケーリングを行う方法を紹介します。 背景 Drawer では図面データの解析や格納など、サービスの様々な箇所で非同…

こんにちは、レシピ事業部検索チームのオリギル(@orgil_)です。 先日、この開発者ブログで紹介されたOne experienceプロジェクトによって、クックパッドはプロダクト基盤をグローバル版のシステムに移行しました。私はこのプロジェクトにおいて検索の領域で移行の進行、開発を担当していました。このブログでは検索システムの移行について紹介します。 グローバルのシステムに寄せた理由 One experience によってクックパッドは検索基盤をグローバル側のシステムに移行しました。プロジェクト発足当初、日本とグローバルのどちらのシステムに寄せるかをいろんな観点から検討しました。日本ではSolr…

MackerelはCloudNative Daysにツールスポンサーしてゐる。その繫がりで、Mackerelの開發者の一員でもある私は、CloudNative Daysのオブザーバビリティチームに參加してゐる。先日CloudNative Days Winter 2024 (CNDW2024)が開催された。そこでのMackerelの使ひ方を紹介したい。CNDW2024を聽講した事はCloudNative Days Winter 2024 #CNDW2024 - c4se記：さっちゃんですよ☆に書いた。 オブザーバビリティチームの仕事は、 CloudNative Daysで獨自に開發・運用してゐる…