ã¯ã˜ã‚ã¦ã®Apache Spark ï¼Amazon EMRを使ã£ã¦10分ã§è©¦ã—ã¦ã¿ã‚‹ | DevelopersIO
ã¯ã˜ã‚㫠先日ã€AWSã®EMR(Elastic MapReduce)ã¨ã„ã†ã‚µãƒ¼ãƒ“スを使ã£ã¦Apache Sparkã«åˆã‚ã¦è§¦ã£ã¦ã¿ã¾ã—ãŸã€‚サンプルプãƒã‚°ãƒ©ãƒ を作æˆã™ã‚‹ã¨ã“ã‚ã¾ã§ã®æ‰‹é †ã‚’自分ã§ã¾ã¨ã‚ã¦ã¿ã¾ã—ãŸã€‚å‰æã¨ã—ã¦S3ã¨EC2ãªã©ã«è§¦ã£ãŸã“ã¨ãŒã‚ã‚Šã€ã‚ーペアやセã‚ュリティグループã¯åˆ†ã‹ã‚‹æ–¹ã‚’対象ã¨ã—ã¦ã„ã¾ã™ã€‚10分ä½ã§è©¦ã›ã‚‹ã‚ˆã†ã«ã—ã¦ã‚ã‚Šã¾ã™ã®ã§ã€Sparkã‚„EMRã«è§¦ã£ãŸã“ã¨ãŒãªã„æ–¹ã¯ãœã²ã‚„ã£ã¦ã¿ã¦ãã ã•ã„。 1.EC2ã®ã‚ーペアを用æ„ã™ã‚‹ EC2インスタンスã«SSHã§æŽ¥ç¶šã™ã‚‹ã®ã§ã‚ーペアãŒãªã„å ´åˆã¯ä½œæˆã™ã‚‹å¿…è¦ãŒã‚ã‚Šã¾ã™ã€‚以下ã®AWSã®ã‚µã‚¤ãƒˆã‚’見ã¦ä½œã£ã¦ãã ã•ã„。ã‚ーペアãŒã™ã§ã«ã‚ã‚‹æ–¹ã¯ã‚¹ã‚ップã—ã¦ã‚‚らã£ã¦çµæ§‹ã§ã™ã€‚ Amazon EC2 ã®ã‚ーペア - Amazon Elastic Compute Cloud 2.サンプルã®ãƒ•ã‚¡ã‚¤ãƒ«ã‚’用æ„ã™ã‚‹ 今回ã¯ãƒ†ã‚ストファイルã®ä¸ã«å˜èªžã®å‡º
Spark + IPython環境をAmazon EMR上ã§æ§‹ç¯‰ã—ã€ç°¡å˜ãªData解æžã‚’å‹•ã‹ã—ã¦è¦‹ã‚‹ (第1回：環境構築編) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ã¯ã˜ã‚ã« 2015/6ã«Amazon EMRã§SparkãŒæ¨™æº–サãƒãƒ¼ãƒˆã•ã‚Œã¾ã—ãŸã€‚ã“ã‚Œã«ã‚ˆã‚Šã€EMRã§Spark Clusterã‚’èµ·å‹•ã™ã‚Œã°ã€ã‚‚ã®ã®10分ãらã„ã§Spark + IPythonã®ç’°å¢ƒã‚’構築ã§ãるよã†ã«ãªã‚Šã¾ã—ãŸã€‚ ãŒã€AWS Consoleã®EMRã®è¨å®šUIãŒå¤§ãã変ã‚ã£ãŸã‚Šã€IPythonãŒJupyterã«ãªã‚Šä¸€éƒ¨è¨å®šæ–¹æ³•ãŒå¤‰ã‚ã£ãŸã‚Šã€ãれらã®å¤‰åŒ–ã«å„種DocumentãŒè¿½å¾“ã—ã¦ã„ãªã‹ã£ãŸã‚Šã¨ã€è‰²ã€…ãƒãƒžãƒƒãŸã®ã§ã€è¨å®šæ–¹æ³•ã¨ã€IPython上ã§Pysparkã‚’å‹•ã‹ã™æ–¹æ³•ã‚’ãƒãƒ©ã‚·ã®è£ã—ã¦ãŠãã¾ã™(2015/11時点ã§ã®æƒ…å ±
Elasticsearch in Apache Spark with Python
Sloan Ahrens is a co-founder of Qbox and is currently a freelance data consultant. In this series of guest posts, Sloan will be demonstrating how to set up a large scale machine learning infrastructure using Apache Spark and Elasticsearch. This is part 2 of that series. Part 1: Building an Elasticsearch Index with Python on an Ubuntu is here.  -Mark Brandon In this post we're going to continue se
ç°¡å˜ãªé›†ç´„/変æ›å‡¦ç†ã‚’ PySpark & pandas ã® DataFrame ã§è¡Œã† - StatsFragments
ã“ã¡ã‚‰ã®ç¶šã。 sinhrks.hatenablog.com 準備 サンプルデータ㯠iris 。今回㯠HDFS ã« csv ã‚’ç½®ãã€ãã“ã‹ã‚‰èªã¿å–ã£ã¦ DataFrame を作æˆã™ã‚‹ã€‚ # HDFS ã«ãƒ‡ã‚£ãƒ¬ã‚¯ãƒˆãƒªã‚’作æˆã—ファイルを置ã $ hadoop fs -mkdir /data/ $ hadoop fs -put iris.csv /data/ $ hadoop fs -ls / Found 1 items drwxr-xr-x - ec2-user supergroup 0 2015-04-28 20:01 /data # Spark ã®ãƒ‘スã«ç§»å‹• $ echo $SPARK_HOME /usr/local/spark $ cd $SPARK_HOME $ pwd /usr/local/spark $ bin/pyspark 補足 å‰å›žåŒæ§˜ã« pandas ã‹ã‚‰ç›´æŽ¥ PySp
Spark on Supercomputers: A Few Notes
I've been working with Apache Spark quite a bit lately in an effort to bring it into the fold as a viable tool for solving some of the data-intensive problems encountered in supercomputing. Â I've already added support for provisioning Spark clusters to a branch of the myHadoop framework I maintain so that Slurm, Torque, and SGE users can begin playing with it, and as a result of these efforts, I'v
PySpark入門1
PySpark入門ã¨ã—ã¦ã€2014å¹´11月06æ—¥ã«æ ªå¼ä¼šç¤¾ALBERTã§é–‹å‚¬ã—ãŸç¤¾å†…勉強会ã§åˆ©ç”¨ã—ãŸã‚¹ãƒ©ã‚¤ãƒ‰ã§ã™ã€‚ PySparkã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«æ–¹æ³•ã€ç°¡å˜ãªä½¿ã„æ–¹ã€IPythonã‹ã‚‰PySparkã‚’interactive modeã§è§¦ã£ã¦ã¿ã‚‹ã¨ã“ã‚ã¾ã§ã‚’紹介ã—ã¦ã„ã¾ã™ã€‚
Apache SparkãŒã‚¹ãƒ«ãƒ¼ãƒ—ットã¨ãƒ¬ã‚¤ãƒ†ãƒ³ã‚·ã‚’両立ã•ã›ãŸä»•çµ„ã¿ã¨æœ€æ–°å‹•å‘ã‚’ã€Sparkコミッタã¨ãªã£ãŸNTTデータ猿田æ°ã«èžã„ãŸï¼ˆå‰ç·¨ï¼‰
Apache SparkãŒã‚¹ãƒ«ãƒ¼ãƒ—ットã¨ãƒ¬ã‚¤ãƒ†ãƒ³ã‚·ã‚’両立ã•ã›ãŸä»•çµ„ã¿ã¨æœ€æ–°å‹•å‘ã‚’ã€Sparkコミッタã¨ãªã£ãŸNTTデータ猿田æ°ã«èžã„ãŸï¼ˆå‰ç·¨ï¼‰ 最近ビッグデータ処ç†åŸºç›¤ã¨ã—ã¦æ€¥é€Ÿã«æ³¨ç›®ã‚’集ã‚ã¦ã„ã‚‹ã®ãŒã€ŒApache Sparkã€ã§ã™ã€‚ Sparkã¯ã€Hadoopã¨æ¯”較ã•ã‚Œã‚‹ã“ã¨ã‚‚多ãã€Hadoopよりも高速ã‹ã¤é«˜æ©Ÿèƒ½ãªåˆ†æ•£å‡¦ç†åŸºç›¤ã ã¨è¨€ã‚ã‚Œã¦ã„ã¾ã™ã€‚Sparkã¨ã¯ã„ã£ãŸã„ã€ã©ã®ã‚ˆã†ãªã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ãªã®ã§ã—ょã†ã‹ï¼Ÿ 今年6月ã«Sparkã®ã‚³ãƒŸãƒƒã‚¿ã«å°±ä»»ã—ãŸNTTデータã®çŒ¿ç”°æµ©è¼”æ°ã«èžãã¾ã—ãŸã€‚ 以下ã¯çŒ¿ç”°æ°ã‹ã‚‰ä¼ºã£ãŸSparkã®ç´¹ä»‹ã‚’ã¾ã¨ã‚ãŸã‚‚ã®ã§ã™ã€‚ã¾ãŸã€å¾Œç·¨ã§ã¯çŒ¿ç”°æ°ãŒã‚³ãƒŸãƒƒã‚¿ã«ãªã£ãŸçµŒç·¯ãªã©ã‚‚インタビューã—ã¾ã—ãŸã€‚ Hadoopã§ã¯è¤‡é›‘ãªå‡¦ç†ã«æ™‚é–“ãŒã‹ã‹ã‚‹ Sparkã¨ã¯ãªã«ã‹ã®å‰ã«ã€ã¾ãšã¯Hadoopã®è©±ã‹ã‚‰å§‹ã‚ã•ã›ã¦ãã ã•ã„。 Hadoopã¨ã¯ã€ã–ã£ãり言ã†ã¨åˆ†æ•£å‡¦ç†ãƒ•ãƒ¬ãƒ¼ãƒ ワーク「
レコメンドやコンテンツ発見ã«ã€‚オープンソース機械å¦ç¿’サーãƒã€ŒPredictionIOã€ãƒ¬ãƒ“ュー | ã•ãらã®ãƒŠãƒ¬ãƒƒã‚¸
レコメンドエンジンやスパム判定ã€éŸ³å£°ã‚„æ–‡å—èªè˜ãªã©ã¯æ©Ÿæ¢°å¦ç¿’ã¨å‘¼ã°ã‚Œã‚‹æŠ€è¡“ãŒä½¿ã‚ã‚Œã¦ã„ã¾ã™ã€‚大é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’ベースã«æ–°ã—ã„データãŒãªã‚“ã§ã‚ã‚‹ã‹ã‚’判æ–ã—ã¾ã™ã€‚ビッグデータã®æ™‚代ã«ãªã‚Šã€ç‰¹ã«æ³¨ç›®ã•ã‚Œã¦ã„る技術ã«ãªã‚Šã¾ã™ã€‚ PredictionIOã¯ãã®ã‚¨ãƒ³ã‚¸ãƒ³ã®ä¸€ã¤ã§ã€ã‚ªãƒ¼ãƒ—ンソース・ソフトウェアã¨ã—ã¦å…¬é–‹ã•ã‚Œã¦ã„ã¾ã™ã€‚Pythonã€PHPã€Rubyã€Javaå‘ã‘ã«SDKãŒå…¬é–‹ã•ã‚Œã¦ã„ã‚‹ã®ã§ã€æ§˜ã€…ãªã‚µãƒ¼ãƒ“スã‹ã‚‰åˆ©ç”¨ã§ãã‚‹ã§ã—ょã†ã€‚ 今回ã¯ãã®PredictionIOをレビューã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚インストールも試用もDockerを使ã£ã¦ç°¡å˜ã«ã§ãã¾ã™ã®ã§ãœã²ãƒãƒ£ãƒ¬ãƒ³ã‚¸ã—ã¦ã¿ã¦ãã ã•ã„。 å¿…è¦ãªã‚‚ã® Ubuntu 14.04 LTS（CoreOSã€CentOSã§ã‚‚大丈夫ã§ã™ï¼‰ Docker オプション：ã•ãらã®ã‚¯ãƒ©ã‚¦ãƒ‰ã®ã‚¢ã‚«ã‚¦ãƒ³ãƒˆ PredictionIOã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ« インストールã¯Dockerã•ãˆ
ã€MLlib / PySpark】OSX 㧠Apache Spark を使ã£ã¦ã¿ã‚‹ – FiS Project
“Learning Sparkâ€èªæ›¸ä¼š#1 ã«å‚åŠ ã—ã¾ã—ãŸã€‚ 今回㯠Apache Spark インストールã‹ã‚‰ MLlib ã® Statistics, LinearRegressionWithSGD を使ã£ã¦ã¿ã‚‹ã¾ã§ã®ãƒ¡ãƒ¢ã§ã™ã€‚ Apache Spark インストール 環境㯠OSX 10.10.2 ã§ã™ã€‚ $ curl -O https://www.apache.org/dyn/closer.cgi/spark/spark-1.2.1/spark-1.2.1-bin-hadoop2.4.tgz $ tar xzf spark-1.2.1-bin-hadoop2.4.tgz $ ln -s ~/path/to/your/spark-1.2.1-bin-hadoop2.4 /usr/local/share/spark $ PATH=/usr/local/share/spark/bin:$P
Ubuntu 14.04ã§Sparkを試ã—ã¦ã¿ãŸæ™‚ã®ãƒ¡ãƒ¢ - Technically, technophobic.
Spark 1.3.0ãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚ŒãŸã‚‰ã—ã„ã§ã™ã€‚ Spark Release 1.3.0 | Apache Spark ã§ã‚‚ã€ã„ã‹ã‚“ã›ã‚“Spark使ã£ãŸã“ã¨ãªãã¦ã‚ˆãã‚ã‹ã‚Šã¾ã›ã‚“。ã¨ã‚Šã‚ãˆãšã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ãらã„ã¯ã—ã¦ã¿ã‚‹ã‹ã€ã¨æ€ã£ã¦ã‚„ã£ãŸã¨ãã®ãƒ¡ãƒ¢ã€‚ ※ã„ã‚ã„ã‚試ã—ã¦å‹•ã„ãŸã®ã‚’ã¾ã¨ã‚ã¦ã‚‹ã ã‘ãªã®ã§ã€å¿…è¦ãªæ‰‹é †ãŒè¶³ã‚Šã¦ãªã‹ã£ãŸã‚Šã€é–¢ä¿‚ãªã„æ‰‹é †ãŒå…¥ã£ã¦ã‚‹ã‹ã‚‚ã§ã™ã€‚ã‚ã‚“ã¾ã‚Šç†è§£ã§ãã¦ã¾ã›ã‚“。。 Hadoopをインストールã™ã‚‹ å‚考：Apache Hadoop 2.6.0 - Hadoop MapReduce Next Generation 2.6.0 - Setting up a Single Node Cluster. 何ã¯ã¨ã‚‚ã‚ã‚Œã€ã¾ãšã¯Hadoopをインストールã—ã¦single-nodeã§å‹•ã‹ã—ã¾ã™ã€‚ã“ã®è¨˜äº‹ã‚’書ã時点ã§ã®æœ€æ–°ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã¯2.6.0ã§ã—ãŸã€‚ ã¨ã‚Šã‚ãˆãšJavaを入れã¾ã™ã€‚
ãƒã‚¹ãƒˆHadoopã¨å‘¼ã°ã‚Œã‚‹ã€ŒApache Sparkã€ã«ãƒ–レークã®å…†ã—：第49回 | IT Leaders
IT Leaders トップ ＞ テクノãƒã‚¸ãƒ¼ä¸€è¦§ ＞ ビッグデータ ＞ 河原潤ã®ITストリーム＞ ãƒã‚¹ãƒˆHadoopã¨å‘¼ã°ã‚Œã‚‹ã€ŒApache Sparkã€ã«ãƒ–レークã®å…†ã—：第49回 ビッグデータ ビッグデータ記事一覧㸠[河原潤ã®ITストリーム] ãƒã‚¹ãƒˆHadoopã¨å‘¼ã°ã‚Œã‚‹ã€ŒApache Sparkã€ã«ãƒ–レークã®å…†ã—：第49回 2015å¹´7月8æ—¥(æ°´)河原 潤（IT Leaders編集部） リスト ビッグデータを扱ã†ãŸã‚ã®åŸºç›¤ç’°å¢ƒã¨ã—ã¦çœŸã£å…ˆã«åå‰ãŒæŒ™ãŒã‚‹ã®ãŒã€ã”å˜ã˜ã€ŒApache Hadoop/MapReduceã€ã€‚一方ã§ã€æ•°å¹´å‰ã‹ã‚‰å…ˆé€²ä¼æ¥ï¼ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã®é–“ã§â€œãƒã‚¹ãƒˆHadoopâ€ã¨å‘¼ã°ã‚Œã¦ã„る技術ãŒã‚ã‚Šã¾ã™ã€‚UCãƒãƒ¼ã‚¯ãƒ¬ãƒ¼ãƒ»AMPLab発ã®ã€ŒApache Sparkã€ã§ã™ã€‚先月ã€IBMãŒã€Œä»Šå¾Œ10å¹´é–“ã§æœ€ã‚‚é‡è¦ãªã‚ªãƒ¼ãƒ—ンソースプãƒã‚¸ã‚§ã‚¯ãƒˆã€ã¨ä½ç½®ã¥ã‘ã¦Sparkã¸ã®æ³¨åŠ›ã‚’宣言ã™ã‚‹
HOXO-M - anonymous data analyst group in Japan -
We are "HOXO-M" anonymous data analysis and R user group in Japan!!! What is inconvenience of for loops in R? It is that results you get will be gone away. So we have created a package to store the results automatically. To do it, you only need to cast one line spell magic_for(). In this text, we tell you about how to use the magic. 1. Overview for() is one of the most popular functions in R. As y
Spark 1.4.0 ã® SparkR ã‚’å‹•ã‹ã™ - Qiita
先日ã€Spark 1.4.0 ãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚Œã€å¤šæ•°ã®ã‚¢ãƒƒãƒ—デートãŒã‚ã‚‹ SparkR é‹ç”¨ãƒ¢ãƒ‹ã‚¿ãƒªãƒ³ã‚°ã¨DAGã®ãƒ“ジュアライゼーション REST API DataFrame API ã“ã®ä¸ã§ã‚‚ã€SparkR ã¨ã„ã†ã€çµ±è¨ˆè¨€èªž R ã‹ã‚‰ Sparkを利用ã§ãる拡張を今回ã¯è©¦ã—ãŸã„。他ã®Hadoop関連記事ã§ã¯ã€ç„¡è¦–ã•ã‚Œã‚„ã™ã„ Windows ã‚‚å–り扱ã†ã€‚ R ã«ã¯ã€ä»¥å‰ã‹ã‚‰ã€SparkR-pkg(https://github.com/amplab-extras/SparkR-pkg/) ã¨ã„ã†ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆãŒ Github上ã«ã‚ã‚Šã€ä»Šå›žã€ã“ã‚ŒãŒæœ¬å®¶ã«çµ±åˆã•ã‚ŒãŸå½¢ã®ã‚ˆã†ã 。 ビルド済ã¿ãƒ‘ッケージã®å…¥æ‰‹ ã¾ãšãƒ“ルドã‹ã‚‰ã¯ã˜ã‚ã‚‹ãŒã€ãƒ“ルドãŒé¢å€’ãªã‚‰ã°ã€Windows ã«ã‚‚対応ã—ãŸãƒ“ルド済ã¿ãƒ‘ッケージを以下ã‹ã‚‰å…¥æ‰‹ã§ãる。 Spark 1.4.0 ã®ãƒ“ルド 以å‰ã®ã“ã®è¨˜äº‹ã‚·ãƒªãƒ¼ã‚ºã¨åŒã˜ãã€ã¾ãšã¯ã€ãƒ“ル
分散処ç†ã«å…¥é–€ã—ã¦ã¿ãŸï¼ˆHadoop + Spark） | Casley Deep Innovationsæ ªå¼ä¼šç¤¾ 技術ブãƒã‚°
ã“ã‚“ã«ã¡ã¯ã€‚SI部ã®è…°å¡šã§ã™ã€‚ RDBやデータウェアãƒã‚¦ã‚¹ã®ä»•äº‹ã«æºã‚ã‚‹ã“ã¨ãŒå¤šã‹ã£ãŸç†è€…ã¯ã€æ•°å¹´å‰ã‹ã‚‰ãŸã³ãŸã³èžã“ãˆãŸãƒ“ッグデータ分æžã‚„機械å¦ç¿’ã®ãŸã‚ã®åˆ†æ•£å‡¦ç†ãƒ•ãƒ¬ãƒ¼ãƒ ワークã«èˆˆå‘³ã‚’覚ãˆãŸã‚‚ã®ã®ã€ã¤ã„ãžã‚¢ã‚¯ã‚»ã‚¹ã—ãªã„ã¾ã¾ã“ã“ã¾ã§æ¥ã¦ã—ã¾ã„ã¾ã—ãŸã€‚ 今回ブãƒã‚°ã‚’書ãã«ã‚ãŸã£ã¦ã€ã›ã£ã‹ããªã®ã§ã‚¤ãƒã‹ã‚‰æ‰‹ã•ãり入門ã—ã€ã„ã¾ã•ã‚‰ä»–人ã«èžã‘ãªã„分散処ç†ã®åˆæ©ã‹ã‚‰hadoop・sparkを触ã£ã¦ã¿ã‚‹ã¾ã§ã‚’ã¾ã¨ã‚ãŸã„ã¨æ€ã„ã¾ã™ã€‚ 1.分散処ç†ã®åŸºç¤ŽçŸ¥è˜ 1-1.分散処ç†ã®å‡¦ç†æ–¹å¼ï¼šMapReduce ã¾ãšåˆ†æ•£å‡¦ç†ã¨ã¯ã€ã²ã¨ã¤ã®è¨ˆç®—処ç†ã‚’ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã§æŽ¥ç¶šã—ãŸè¤‡æ•°ã®ã‚³ãƒ³ãƒ”ュータã§åŒæ™‚並列ã§å‡¦ç†ã™ã‚‹ã“ã¨ã§ã™ã€‚ ビッグデータ活用ã®å¸‚å ´ãŒæ—¥ã€…大ãããªã‚‹ã«å¾“ã£ã¦ã€æ•°ç™¾ãƒ†ãƒ©ï½žãƒšã‚¿ã®ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã‚‚çã—ã„ã‚‚ã®ã§ã¯ãªããªã£ã¦ãŠã‚Šã€æ—¥å¸¸çš„ã«ã“ã®è¦æ¨¡ã®ãƒ‡ãƒ¼ã‚¿ã‚’扱ã†ã‚·ã‚¹ãƒ†ãƒ ã§ã¯ã€ç¾å®Ÿçš„ãªæ™‚間的・費用的コストã§å‡¦ç†ã™ã‚‹å·¥å¤«ãŒå¿…è¦
Cloudera Standard ã®ã”案内 ~ 無償版 大幅機能強化ã®ãŠçŸ¥ã‚‰ã› | Cloudera Japan
Cloudera ã¯ã€æœ€å¤§è¦æ¨¡ã®ä¼æ¥ãŒã‚ã‚‰ã‚†ã‚‹å ´æ‰€ã«å˜åœ¨ã™ã‚‹ã™ã¹ã¦ã®ãƒ‡ãƒ¼ã‚¿ã‚’ä¿¡é ¼æ€§ã®é«˜ã„有æ„義ãªæ´žå¯Ÿã«å¤‰æ›ã§ãるよã†æ”¯æ´ã—ã¾ã™ã€‚ Trusted Data Today for Tomorrow’s AI (今日ã®ä¿¡é ¼ã§ãるデータをã€æ˜Žæ—¥ã® AI ã«è¨—ã™) データ㨠AI ãŒãƒ†ãƒ¼ãƒžã®ãƒ—レミアカンファレンスã§ã€æ¥ç•Œæœ€å‰ç·šã®æ˜Žç¢ºãªãƒ“ジョンをæŒã£ãŸæ–¹ã€…やソートリーダーã‹ã‚‰è²´é‡ãªæ´žå¯Ÿã‚’å¾—ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚
Apache Spark – pysparkã§æˆ¯ã‚Œã¦ã¿ã‚‹ – OpenGroove
å‰å›žæŠ•ç¨¿ã§ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã—ãŸSparkã‚’ã€pysparkã‹ã‚‰è»½ã触ã£ã¦ã¿ã‚‹ã€‚ 環境ã¯Amazon ec2上ã®CentOS 6.5ã€CDH5(beta2)。 ãã®å‰ã«ãƒ†ã‚¹ãƒˆãƒ‡ãƒ¼ã‚¿ã‚’用æ„ã—ã¦ãŠã。éŽåŽ»è¨˜äº‹ã«ã‚‚書ã„ãŸãƒ€ãƒŸãƒ¼ãƒ‡ãƒ¼ã‚¿ç”Ÿæˆãƒ©ã‚¤ãƒ–ラリã§ã“ã‚“ãªCSVを作ã£ãŸã€‚データã¯10000行。ダミーデータ作るã®ã‚‚é¢å€’ã ã£ãŸã‚‰ãƒã‚°ãƒ•ã‚¡ã‚¤ãƒ«ã¨ã‹ã€ãƒ†ã‚ストデータãªã‚‰ä½•ã§ã‚‚ã„ã„ã¨æ€ã†ã€‚ 29297,Ms. Jolie Haley DDS,2014-03-19 09:43:20 23872,Ayana Stiedemann,2014-03-03 10:31:44 23298,Milton Marquardt,2014-03-26 22:19:41 25038,Damian Kihn,2014-03-23 03:30:08 23743,Lucie Stanton,2014-03-14 20:53:33 28979,
大è¦æ¨¡ä¸¦åˆ—処ç†ï¼šPythonã¨Sparkã®ç”˜é…¸ã£ã±ã„関係～PyData.Tokyo Meetup #3イベントレãƒãƒ¼ãƒˆ
ãƒã‚´ã‚¹ãƒ†ãƒƒã‚«ãƒ¼ã®ä½œæˆè¨ˆç”»ã‚‚進行ä¸ã§ã™ã€‚è¿‘ã€…ã‚¤ãƒ™ãƒ³ãƒˆä¼šå ´ã§ãŠé…ã‚Šã§ãã‚‹ã‹ã‚‚知れã¾ã›ã‚“。 ãƒãƒ¥ãƒ¼ãƒˆãƒªã‚¢ãƒ«ãŠã‚ˆã³æ¬¡å›žå‹‰å¼·ä¼šã®ãŠçŸ¥ã‚‰ã› ã“ã®åº¦PyData.Tokyoåˆã®è©¦ã¿ã¨ã—ã¦ã€åˆå¿ƒè€…å‘ã‘ã®ãƒãƒ¥ãƒ¼ãƒˆãƒªã‚¢ãƒ«ã‚’3月7日（土曜日）ã«è¡Œã„ã¾ã™ã€‚ã¾ãŸã€æ¬¡å›žå‹‰å¼·ä¼šã¯ãƒ‡ãƒ¼ã‚¿è§£æžã«é–¢ã™ã‚‹ã€Œé«˜é€ŸåŒ–ã€ã‚’テーマã«ã—ã€4月3日（金曜日）ã«é–‹å‚¬ã—ã¾ã™ã€‚詳細ã¯è¨˜äº‹ã®æœ€å¾Œã‚’ã”覧下ã•ã„。 Sparkã«ã‚ˆã‚‹åˆ†æ•£å‡¦ç†å…¥é–€ PyData.Tokyo オーガナイザーã®ã‚·ãƒã‚¿ã‚¢ã‚ラ（@madyagi）ã§ã™ã€‚ ビッグデータを処ç†ã™ã‚‹ãŸã‚ã®åŸºç›¤ã¨ã—ã¦Hadoopã¯æ—¢ã«ãƒ‡ãƒ•ã‚¡ã‚¯ãƒˆã‚¹ã‚¿ãƒ³ãƒ€ãƒ¼ãƒ‰ã«ãªã‚Šã¤ã¤ã‚ã‚Šã¾ã™ã€‚一方ã§ã€ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã«å¯¾ã™ã‚‹ã•ã‚‰ãªã‚‹é«˜é€ŸåŒ–ã¨å®‰å®šåŒ–ã«å‘ã‘ã¦ã€æ–°ã—ã„技術ãŒæ—¥ã€…生ã¾ã‚Œã¦ãŠã‚Šã€æ§˜ã€…ãªæŠ€è¡“ãŒç«¶äº‰ã—ã€æ·˜æ±°ã•ã‚Œã¦ã„ã¾ã™ã€‚ãã‚“ãªä¸ã€Apache Spark（以下Spark）ã¯ã€æ–°ã—ã„分æžåŸºç›¤ã¨ã—ã¦æ˜¨å¹´ã‚ãŸã‚Šã‹ã‚‰æ€¥æ¿€ã«ãƒ¦ãƒ¼ã‚¶ãƒ¼ã‚’増
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
http://www.techburps.com/misc/install-apache-spark-on-ubuntu/121
HomeBrew 㧠Mac ã« Docker を入れã¦ã¿ãŸ - Qiita
CubieTruck(Cubieboard) Hadoop + Spark1.0.2 cluster構築 - Qiita
{{#tags}}- {{label}}
{{/tags}}