Apache Kafka最新アップデート (2023å¹´6月16日版)Apache Kafka Meetup Japan #13ã®ç™ºè¡¨è³‡æ–™ã§ã™ã€‚ 2023å¹´6月16æ—¥(JST)時点ã§ã®ã€Apache Kafkaã®ã‚¢ãƒƒãƒ—デートやãƒãƒ¼ãƒ‰ãƒžãƒƒãƒ—を紹介ã—ã¦ã„ã¾ã™ã€‚
Introducing Kafka Cruise Control Frontend
At LinkedIn, Kafka is the de-facto messaging platform that powers diverse sets of geographically-distributed applications at scale. Examples include our distributed NoSQL store (Espresso), stream processing framework (Samza), monitoring infrastructure (InGraphs), and derived data serving platform (Venice). Given these use cases, it’s not surprising that Kafka usage at LinkedIn has grown exponentia
Hadoopã€Sparkã€ãƒ“ãƒƒã‚°ãƒ‡ãƒ¼ã‚¿é–¢é€£æ›¸ç± | Tech Blog
2021å¤ï¼šãƒšãƒ¼ã‚¸ã‚¢ãƒƒãƒ—ãƒ‡ãƒ¼ãƒˆä¸ 2021/8/13 発売予定ã®æ›¸ç±ã‚‚å«ã‚ãŸãƒ“ッグデータ関連（Hadoopã€Sparkã€Kafkaã€æ©Ÿæ¢°å¦ç¿’ç³»ãªã©ï¼‰é–¢é€£æ›¸ç±ã®ã¾ã¨ã‚ã§ã™ã€‚ 日本語ã§æä¾›ã•ã‚Œã¦ã„る書ç±ã‚’ä¸å¿ƒã«æŽ²è¼‰ã—ã¦ã„ã¾ã™ãŒã€èªã‚“ã ã“ã¨ãŒã‚ã‚‹ï¼æ‰‹å…ƒã«ã‚ã‚‹ï¼è²·ãŠã†ã‹ãªã¨æ€ã£ã¦ã„る書ç±ã‚’ä¸å¿ƒã«ã¾ã¨ã‚ã¦ã„ã‚‹ã®ã§ã€å…¨ã¦ã‚’網羅ã—ã¦ã„ã‚‹ã‚ã‘ã§ã¯ã‚ã‚Šã¾ã›ã‚“。 当åˆã¯ãƒ–ãƒã‚°ã§å…¬é–‹ã—ã¦ã„ã¾ã—ãŸãŒã€æ›´æ–°ãŒå¤šã„ã®ã§ç‹¬ç«‹ã—ãŸãƒšãƒ¼ã‚¸ã¨ã—ã¾ã—ãŸã€‚（コメントã¯ç§è¦‹ã§ã™ã€‚ç´ æ™´ã‚‰ã—ã„書ç±ã°ã‹ã‚Šã§ã™ï¼‰ 書ç±å （原書） 出版日 コメント
ã€OSSæƒ…å ±ã‚¢ãƒ¼ã‚«ã‚¤ãƒ–ã€‘Schema Registry | マジセミ
マジセミドライブ ウェビナー関連ã®ãƒ‹ãƒ¥ãƒ¼ã‚¹ã‚„ITサービス＆ツールã®æœ€æ–°æƒ…å ±ã‚’éšæ™‚é…ä¿¡ã—ã¾ã™ã€‚ TOP 記事一覧 ã€OSSæƒ…å ±ã‚¢ãƒ¼ã‚«ã‚¤ãƒ–ã€‘Schema Registry OSSæƒ…å ± 2020.01.01 ã€OSSæƒ…å ±ã‚¢ãƒ¼ã‚«ã‚¤ãƒ–ã€‘Schema Registry ※当記事ã«è¨˜è¼‰ã•ã‚Œã¦ã„ã‚‹æƒ…å ±ã¯ã€å¤ããªã£ã¦ã„ã‚‹å ´åˆãŒã‚ã‚Šã¾ã™ã€‚オフィシャルサイトã§æœ€æ–°æƒ…å ±ã‚’ã”確èªãã ã•ã„。 コンテンツ 「Schema Registryã€ã¨ã¯ åŸºæœ¬æƒ…å ± æ¦‚è¦ Schema Registry(スã‚ーマ レジストリ)ã¨ã¯ã€ãƒ¡ãƒƒã‚»ãƒ¼ã‚¸ãƒ³ã‚°ã‚·ã‚¹ãƒ†ãƒ 「Apache Kafkaã€ãƒ™ãƒ¼ã‚¹ã®ã‚¹ãƒˆãƒªãƒ¼ãƒ データ基盤「Confluent Platformã€ã®1コンãƒãƒ¼ãƒãƒ³ãƒˆã§ã™ã€‚一元的ãªã‚¹ã‚ーマ管ç†æ©Ÿèƒ½ã‚’æä¾›ã—ã¾ã™ã€‚ ストリームデータ基盤「Confluent Platformã€ã¨ã¯ Confluent Platformã¨ã¯ã€å¤§é‡ãƒ‡ãƒ¼ã‚¿ã‚’管
Data Integration as Service: Kafka-Connectã®ç´¹ä»‹ã¨å®Ÿé¨“ - Qiita
Kafka Connectã¯Kafkaã¨å‘¨è¾ºã®ã‚·ã‚¹ãƒ†ãƒ é–“ã§ã‚¹ãƒˆãƒªãƒ¼ãƒ データをやりã¨ã‚Šã™ã‚‹ãŸã‚ã®é€šä¿¡è¦æ ¼ã¨ãƒ©ã‚¤ãƒ–ラリã¨ãƒ„ールã§ã™ã€‚ã¾ãšã¯ä¸‹ã®å›³ã‚’ã”覧ãã ã•ã„。 コãƒã‚¯ã‚¿ã¯å‘¨è¾ºã®ã‚·ã‚¹ãƒ†ãƒ ã‹ã‚‰Kafkaã¸ãƒ‡ãƒ¼ã‚¿ã‚’å–り込むãŸã‚ã®ã‚½ãƒ¼ã‚¹ã¨å‘¨è¾ºã‚·ã‚¹ãƒ†ãƒ ã¸ãƒ‡ãƒ¼ã‚¿ã‚’é€ã‚‹ã‚·ãƒ³ã‚¯ã®äºŒç¨®é¡žãŒã‚ã‚Šã¾ã™ã€‚データã®æµã‚Œã¯ä¸€æ–¹é€šè¡Œã§ã™ã€‚ã™ã§ã«ä½•åã‚‚ã®ã‚³ãƒã‚¯ã‚¿ãŒå®Ÿè£…ã•ã‚Œã¦ãŠã‚Šã€ã‚µãƒãƒ¼ãƒˆã•ã‚Œã¦ã„る周辺システムã¯å¤šç¨®ã«æ¸¡ã‚Šã¾ã™ã€‚ã‚‚ã¡ã‚ん自分ã§ã‚³ãƒã‚¯ã‚¿ã‚’作るã“ã¨ã‚‚ã§ãã¾ã™ã€‚ Kafkaã®ä¸ã‚’通éŽã™ã‚‹ãƒ‡ãƒ¼ã‚¿ã®å½¢å¼ã¯åŸºæœ¬çš„ã«Avroã§ã™ã€‚コãƒã‚¯ã‚¿ãŒå‘¨è¾ºã‚·ã‚¹ãƒ†ãƒ 固有ã®ãƒ‡ãƒ¼ã‚¿å½¢å¼ã‚’Avroã«å¤‰æ›çµ±ä¸€ã—ã¦ã„ã¾ã™ã€‚ã“ã‚Œã«ã‚ˆã‚Šã©ã‚“ãªã‚½ãƒ¼ã‚¹ã¨ã‚·ãƒ³ã‚¯ã®çµ„ã¿åˆã‚ã›ã§ã‚‚å‹•ãã“ã¨ã«ãªã‚Šã¾ã™ã€‚ Avroã«ã¯Schema RegistryãŒã‚ã‚Šã€ã‚¹ã‚ーマã®å¤‰æ›´ã«ã‚‚対応ã§ãã¾ã™ã€‚ コãƒã‚¯ã‚¿ã¯ã‚¹ã‚¿ãƒ³ãƒ‰ã‚¢ãƒãƒ¼ãƒ³ãƒ¢ãƒ¼ãƒ‰ã¨åˆ†æ•£ãƒ¢ãƒ¼ãƒ‰ãŒã‚ã‚Šã€åˆ†æ•£ãƒ¢ãƒ¼ãƒ‰ã§ã¯è¤‡æ•°å°ã®ã‚µ
Kafkaアプリケーションã®ãƒ¦ãƒ‹ãƒƒãƒˆãƒ†ã‚¹ãƒˆ - çƒæ»‘稽
10æ—¥0時を回ã£ã¦ã—ã¾ã£ãŸæ°—ãŒã—ã¾ã™ãŒ Distributed Computing Advent Calendar 12/9 分ã€æ›¸ã„ã¦ã„ãã¾ã™ã€‚å¯ãªã‘ã‚Œã°ã‚»ãƒ¼ãƒ•ï¼ Kafkaアプリケーションã®ãƒ¦ãƒ‹ãƒƒãƒˆãƒ†ã‚¹ãƒˆã«ã¤ã„ã¦ã§ã™ãŒå…·ä½“çš„ãªæ–¹æ³•ã§ã¯ãªã概論ã®ã‚ˆã†ãªå½¢ã«ãªã‚Šã¾ã™ã€‚ qiita.com Kafkaアプリケーション is 何 今回話ã™Kafkaアプリケーションã¯ã€Kafka brokerãã®ã‚‚ã®ã®ä¸Šã§å‹•ããªã«ã‹ã®ãƒ—ãƒã‚°ãƒ©ãƒ ã§ã¯ãªã〠Kafka brokerã«å¯¾ã—ã¦consumeã—ãŸã‚Šproduceã—ãŸã‚Šã™ã‚‹ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆã‚¢ãƒ—リケーションã®ã“ã¨ã§ã™ã€‚ 例ãˆã° Kafkaã‹ã‚‰èªã‚“ã データをフィルタリングã—ãŸã‚Šæƒ…å ±ã‚’ä»˜åŠ ã—ãŸå¾Œã«åˆ¥ãƒˆãƒ”ックã«æ›¸ã戻ã™ã‚¢ãƒ—リケーション（ETL） Kafkaã‹ã‚‰èªã‚“ã データを集約ã—ã¦çµæžœã‚’KVSãªã©ã«æ›¸ã出ã™ã‚¢ãƒ—リケーション Kafkaã‹ã‚‰èªã‚“ã データを使ã£ã¦ç•°å¸¸æ¤œçŸ¥
Apache Kafka ã«ã¤ã„㦠| ギャップãƒ
Kafka 㨠ZooKeeper ZooKeeper ã®è©³ç´° ZooKeeper ã¯ã€åˆ†æ•£ã‚¢ãƒ—リケーションã®ãŸã‚ã®ã‚ªãƒ¼ãƒ—ンソースã®åˆ†æ•£ã‚³ãƒ¼ãƒ‡ã‚£ãƒãƒ¼ã‚·ãƒ§ãƒ³ã‚µãƒ¼ãƒ“スã§ã™ã€‚ZooKeeper 㯠Java ã§å‹•ä½œã—ã€Java 㨠C ã®ãŸã‚ã®ãƒã‚¤ãƒ³ãƒ‡ã‚£ãƒ³ã‚°ãŒç”¨æ„ã•ã‚Œã¦ã„ã¾ã™ã€‚ クラスタ (マルãƒã‚µãƒ¼ãƒãƒ¼) セットアップ ZooKeeper ã¯å¥‡æ•°å˜ä½ã§ã‚¢ãƒ³ã‚µãƒ³ãƒ–ルã¨å‘¼ã¶ã‚¯ãƒ©ã‚¹ã‚¿ã‚’組ã¿ã¾ã™ã€‚アンサンブルã®éŽåŠæ•°ãŒå‹•ä½œã—ã¦ã„ã‚‹å¿…è¦ãŒã‚ã‚‹ã®ã§ã€å¥‡æ•°å°ã®ãƒžã‚·ãƒ³ã‚’使ã†ã®ãŒãƒ™ã‚¹ãƒˆã§ã™ã€‚ãŸã¨ãˆã° 4 å°ã®ãƒžã‚·ãƒ³ã‚’使ã†å ´åˆã€ZooKeeper ãŒå¯¾å¿œã§ãã‚‹ã®ã¯ãƒžã‚·ãƒ³ 1 å°ã®éšœå®³ã¾ã§ã§ã™ã€‚2 å°ã®ãƒžã‚·ãƒ³ã«éšœå®³ãŒç™ºç”Ÿã™ã‚‹ã¨ã€æ®‹ã‚Šã® 2 å°ã§ã¯éŽåŠæ•°ã«ãªã‚‰ãªã„ãŸã‚ã§ã™ã€‚5 å°ã®ãƒžã‚·ãƒ³ã‚’使ãˆã°ã€ZooKeeper ã¯ãƒžã‚·ãƒ³ 2 å°ã¾ã§ã®éšœå®³ã«å¯¾å¿œã§ãã¾ã™ã€‚ ãã®ä¸ã® 1 å°ãŒãƒªãƒ¼ãƒ€ãƒ¼é¸æŒ™ã‚’通ã—ã¦å…¨ã¦ã®æ›¸ãè¾¼ã¿ã‚’調åœ
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
The Silver Bullet for Endless Rebalancing
Robust Message Serialization in Apache Kafka Using Apache Avro, Part 3 - Cloudera Blog
Integrating Apache NiFi and Apache Kafka
Hortonworks Data in Motion Webinar Series Part 7 Apache Kafka Nifi Better Together
{{#tags}}- {{label}}
{{/tags}}