ストリーム処ç†ã‚’支ãˆã‚‹ã‚ューイングシステムã®é¸ã³æ–¹
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
Benchmarking Streaming Computation Engines at Yahoo!
Benchmarking Streaming Computation Engines at Yahoo! (Yahoo Storm Team in alphabetical order) Sanket Chintapalli, Derek Dagit, Bobby Evans, Reza Farivar, Tom Graves, Mark Holderbaugh, Zhuo Liu, Kyle Nusbaum, Kishorkumar Patil, Boyang Jerry Peng and Paul Poulosky. DISCLAIMER: Dec 17th 2015 data-artisans has pointed out to us that we accidentally left on some debugging in the flink benchmark. So the
RStudio + sparklyr on EMRã§ã‚¹ã‚±ãƒ¼ãƒ©ãƒ–ル機械å¦ç¿’ - About connecting the dots.
å‰å›žã«å¼•ã続ã分æžç’°å¢ƒãƒã‚¿ç¬¬2å¼¾*1．今回ã¯EMRã§RStudioã‚’ç«‹ã¦ã¦ã¿ã¾ã™ï¼Ž RStudioã®æ§‹ç¯‰ やり方自体ã¯ï¼ŒAWS Big Data Blogã«ã¾ã¨ã¾ã£ã¦ã„ã‚‹ã®ã§ï¼Œåˆ¥ã«é›£ã—ãã¯ãªã‹ã£ãŸã‚Šï¼ŽRStudioã¨ã‹é–¢é€£ã‚³ãƒ³ãƒãƒ¼ãƒãƒ³ãƒˆã¯ï¼Œä¾‹ã®ã”ã¨ãS3ã«ä¾¿åˆ©ã‚¹ã‚¯ãƒªãƒ—トãŒã‚ã‚‹ã®ã§ï¼Œã“れをブートストラップã§èªã¿è¾¼ã‚“ã§ã‚ã’ã‚Œã°OK． s3://aws-bigdata-blog/artifacts/aws-blog-emr-rstudio-sparklyr/rstudio_sparklyr_emr5.sh --sparklyr --rstudio --sparkr --rexamples --plyrmr ã‚ã¨ã¯SSHトンãƒãƒ«ã‚’掘ã£ã¦ï¼ŒRStudioã®Webページã«ã¤ãªã„ã§ã‚ã’ã‚Œã°OK．8787ãƒãƒ¼ãƒˆã§ã¤ãªãŒã‚Šã¾ã™ï¼Ž sparklyrã§Sparkã¨é€£æº sparklyrã¯ï¼ŒRStudioã®äººãŸã¡
Spark MLlib入門 | Hadoop Advent Calendar 2016 #18 ｜ DevelopersIO
ã“ã‚“ã«ã¡ã¯ã€å°æ¾¤ã§ã™ã€‚ ã“ã®è¨˜äº‹ã¯Hadoop Advent Calendar 18日目ã®ã‚‚ã®ã¨ãªã‚Šã¾ã™ã€‚ 1人ã§Hadoopã®è©±ã‚’ã™ã‚‹ Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO å‰å›žã¯Sparkã®Dataset APIã«ã¤ã„ã¦ç´¹ä»‹ã•ã›ã¦ã„ãŸã ãã¾ã—ãŸã€‚ 今回ã¯ã¿ã‚“ãªå¤§å¥½ããªæ©Ÿæ¢°å¦ç¿’ライブラリã§ã‚ã‚‹ã€Spark MLlibã«ã¤ã„ã¦æ›¸ã‹ã›ã¦ã„ãŸã ãã¾ã™ã€‚ ãªãŠã€MLlibを使ã£ã¦ã©ã®ã‚ˆã†ãªã“ã¨ãŒã§ãã‚‹ã‹ã«ãƒ•ã‚©ãƒ¼ã‚«ã‚¹ã•ã›ã¦ã„ãŸã ãã¾ã™ã®ã§ã€æ©Ÿæ¢°å¦ç¿’ã«é–¢ã™ã‚‹è©³ç´°ã¯å‰²æ„›ã—ã¾ã™ã€‚ 具体的ã«ã¯ä»¥ä¸‹ã®å†…容ã«ã¤ã„ã¦ã¯èª¬æ˜Žã—ã¾ã›ã‚“。 特徴抽出ã§è¡Œã£ã¦ã„ã‚‹æ“作ã®å…·ä½“çš„ãªã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ 実際ã«è¡Œã£ã¦ã„ã‚‹å¦ç¿’ãŠã‚ˆã³äºˆæ¸¬ã®å…·ä½“çš„ãªã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ 評価ã«ä½¿ã£ã¦ã„る手法ã®å…·ä½“çš„ãªå†…容 評価時ã«ä½¿ç”¨ã—ã¦ã„る指
Sparkã®æ§‹æˆ | Hadoop Advent Calendar 2016 #14 | DevelopersIO
ã“ã‚“ã«ã¡ã¯ã€å°æ¾¤ã§ã™ã€‚ ã“ã®è¨˜äº‹ã¯Hadoop Advent Calendar 14日目ã®ã‚‚ã®ã¨ãªã‚Šã¾ã™ã€‚ 1人ã§Hadoopã®è©±ã‚’ã™ã‚‹ Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO å‰å›žã¯Hadoop上ã§åˆ©ç”¨ã‹ã®ãªã‚«ãƒ©ãƒ ナストレージã®ç´¹ä»‹ã‚’ã•ã›ã¦ã„ãŸã ãã¾ã—㟠今回ã¯Apache Sparkã¨ã¯ã©ã†ã„ã£ãŸã‚‚ã®ãªã®ã‹ã«ã¤ã„ã¦è§£èª¬ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ Sparkã¨ã¯ よã「Hadoop/Sparkã€ãªã©ã®ã‚ˆã†ã«Hadoopã¨åŒã˜ä¸¦ã³ã§åå‰ãŒä¸ŠãŒã‚‹ã“ã¨ãŒå¤šã„Sparkã§ã™ãŒã€æžœãŸã—ã¦Sparkã¨ã¯ä½•è€…ãªã®ã§ã—ょã†ã‹ï¼ŸHadoopã¨ã©ã®ã‚ˆã†ã«é•ã†ã®ã§ã—ょã†ã‹ï¼Ÿ ã¨ã„ã†ã“ã¨ã‚’今回ã¯è§£èª¬ã—ã¦ã„ã‘ã‚Œã°ã¨æ€ã„ã¾ã™ã€‚ Hadoopã®æŠ€è¡“スタックã«ã¤ã„ã¦ã®ãŠã•ã‚‰ã„ ã¾ãšã¯Hadoopã®æŠ€è¡“スタック
GraphXよりも使ã„ã‚„ã™ã„グラフデータ処ç†ãƒ©ã‚¤ãƒ–ラリ「GraphFramesã€
GraphXよりも使ã„ã‚„ã™ã„グラフデータ処ç†ãƒ©ã‚¤ãƒ–ラリ「GraphFramesã€ï¼šJavaã€Pythonã§ã®ã‚°ãƒ©ãƒ•ãƒ‡ãƒ¼ã‚¿å‡¦ç†ãŒç°¡å˜ã« 「Apache Sparkã€ã®ã‚°ãƒ©ãƒ•ãƒ‡ãƒ¼ã‚¿å‡¦ç†ãƒ©ã‚¤ãƒ–ラリ「GraphFramesã€ãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚ŒãŸã€‚ç±³Databricksã€ç±³ã‚«ãƒªãƒ•ã‚©ãƒ«ãƒ‹ã‚¢å¤§å¦ãƒãƒ¼ã‚¯ãƒ¬ãƒ¼æ ¡ã€ç±³ãƒžã‚µãƒãƒ¥ãƒ¼ã‚»ãƒƒãƒ„工科大å¦ãŒSparkã®ã€ŒDataFrameã€ã‚’ベースã«å…±åŒã§é–‹ç™ºã—ãŸã‚‚ã®ã€‚ オープンソースã®é«˜é€Ÿãªå¤§è¦æ¨¡åˆ†æ•£ãƒ‡ãƒ¼ã‚¿å‡¦ç†ãƒ•ãƒ¬ãƒ¼ãƒ ワーク「Apache Sparkã€ï¼ˆä»¥ä¸‹ã€Spark）ã®é–‹ç™ºã‚’主導ã™ã‚‹ç±³Databricksã¯2016å¹´3月3日（米国時間）ã€Sparkã®ã‚°ãƒ©ãƒ•ãƒ‡ãƒ¼ã‚¿å‡¦ç†ãƒ©ã‚¤ãƒ–ラリ「GraphFramesã€ã‚’リリースã—ãŸã€‚GraphFramesã¯ã€Databricksã¨ç±³ã‚«ãƒªãƒ•ã‚©ãƒ«ãƒ‹ã‚¢å¤§å¦ãƒãƒ¼ã‚¯ãƒ¬ãƒ¼æ ¡ã€ç±³ãƒžã‚µãƒãƒ¥ãƒ¼ã‚»ãƒƒãƒ„工科大å¦ï¼ˆMIT）ãŒSparkã®ã€ŒDataFrameã€ã‚’ベ
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
.NET for Apache Spark™ | Big data analytics
lambda-architecture.net
{{#tags}}- {{label}}
{{/tags}}