PySpark入門1
PySpark入門ã¨ã—ã¦ã€2014å¹´11月06æ—¥ã«æ ªå¼ä¼šç¤¾ALBERTã§é–‹å‚¬ã—ãŸç¤¾å†…勉強会ã§åˆ©ç”¨ã—ãŸã‚¹ãƒ©ã‚¤ãƒ‰ã§ã™ã€‚ PySparkã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«æ–¹æ³•ã€ç°¡å˜ãªä½¿ã„æ–¹ã€IPythonã‹ã‚‰PySparkã‚’interactive modeã§è§¦ã£ã¦ã¿ã‚‹ã¨ã“ã‚ã¾ã§ã‚’紹介ã—ã¦ã„ã¾ã™ã€‚
調査手法 | インサイト視点ã®ã‚³ãƒ³ã‚»ãƒ—ト /クリエイティブテスト -å¸‚å ´èª¿æŸ»ã‚¯ãƒªãƒ‹ãƒƒã‚¯
コンセプトã€ãƒ‘ッケージデザインã€ãƒãƒ¼ãƒŸãƒ³ã‚°ã€ã‚¯ãƒªã‚¨ã‚¤ãƒ†ã‚£ãƒ–ã®ç«¶äº‰åŠ›ã€è¨´æ±‚力をインサイトレベルã§ãƒã‚§ãƒƒã‚¯ã—ã€ã‚¤ãƒ³ã‚µã‚¤ãƒˆã¨ã®ä¸€è²«æ€§ã‚’ä¿ã¤ 弊社ã§ã¯è£½å“コンセプトを開発をã™ã‚‹éš›ã«ã€å®šæ€§èª¿æŸ»ã§æŠ½å‡ºã—ãŸã‚³ãƒ³ã‚·ãƒ¥ãƒ¼ãƒžãƒ¼ã‚¤ãƒ³ã‚µã‚¤ãƒˆã‚’広告代ç†åº—ã«æ¸¡ã—ã¦è¤‡æ•°ã®ã‚³ãƒ³ã‚»ãƒ—ト案を出ã—ã¦ã‚‚らã„ã€ãれらã®å—容性をテストã—ã¦ã„ã¾ã™ã€‚コンセプトテストをãŠé¡˜ã„ã—ã¦ã„る調査会社ã•ã‚“ã§ã¯ã€Œä¿¡é ¼æ€§ã€ã‚„「ユニークãƒã‚¹ã€ã€Œç†è§£åº¦ã€ã€Œè³¼è²·æ„欲ã€ãªã©ã®æŒ‡æ¨™ã§å—容性を評価ã—ã¦ã‚‚らã£ã¦ã¾ã™ã€‚å—容性ã®é«˜ã„コンセプトã«åŸºã¥ã„ã¦è£½å“やコミュニケーション開発をã—ã¦ã‚‚ã€å®Ÿéš›ã®å£²ä¸Šã¯ã¾ã¡ã¾ã¡ã§ã™ã€‚インサイトをçªã„ã¦ã„ã‚‹ã¯ãšãªã®ã«ã€ä½•æ•…ãªã®ã§ã—ょã†ã‹ï¼Ÿã‚³ãƒ³ã‚»ãƒ—トスクリーニングã®ç²¾åº¦ã‚’上ã’ã‚‹ã®ã«ã€è‰¯ã„コンセプトテストã®ä»•çµ„ã¿ã¯ã‚ã‚Šã¾ã›ã‚“ã‹ï¼Ÿ 定性調査ã§æ¶ˆè²»è€…ã®ç”Ÿæ´»ã‚³ãƒ³ãƒ†ã‚¯ã‚¹ãƒˆã‚„ブランド体験を調査ã—ã¦ã‚‚ã€ã‚³ãƒ³ã‚»ãƒ—トãŒã‚¤ãƒ³ã‚µã‚¤ãƒˆãƒ¬ãƒ™ãƒ«ã§ç«¶åˆã«è² ã‘ã¦ã„ã¦ã¯å¸‚å ´ã§
Apache SparkãŒã‚¹ãƒ«ãƒ¼ãƒ—ットã¨ãƒ¬ã‚¤ãƒ†ãƒ³ã‚·ã‚’両立ã•ã›ãŸä»•çµ„ã¿ã¨æœ€æ–°å‹•å‘ã‚’ã€Sparkコミッタã¨ãªã£ãŸNTTデータ猿田æ°ã«èžã„ãŸï¼ˆå‰ç·¨ï¼‰
Apache SparkãŒã‚¹ãƒ«ãƒ¼ãƒ—ットã¨ãƒ¬ã‚¤ãƒ†ãƒ³ã‚·ã‚’両立ã•ã›ãŸä»•çµ„ã¿ã¨æœ€æ–°å‹•å‘ã‚’ã€Sparkコミッタã¨ãªã£ãŸNTTデータ猿田æ°ã«èžã„ãŸï¼ˆå‰ç·¨ï¼‰ 最近ビッグデータ処ç†åŸºç›¤ã¨ã—ã¦æ€¥é€Ÿã«æ³¨ç›®ã‚’集ã‚ã¦ã„ã‚‹ã®ãŒã€ŒApache Sparkã€ã§ã™ã€‚ Sparkã¯ã€Hadoopã¨æ¯”較ã•ã‚Œã‚‹ã“ã¨ã‚‚多ãã€Hadoopよりも高速ã‹ã¤é«˜æ©Ÿèƒ½ãªåˆ†æ•£å‡¦ç†åŸºç›¤ã ã¨è¨€ã‚ã‚Œã¦ã„ã¾ã™ã€‚Sparkã¨ã¯ã„ã£ãŸã„ã€ã©ã®ã‚ˆã†ãªã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ãªã®ã§ã—ょã†ã‹ï¼Ÿ 今年6月ã«Sparkã®ã‚³ãƒŸãƒƒã‚¿ã«å°±ä»»ã—ãŸNTTデータã®çŒ¿ç”°æµ©è¼”æ°ã«èžãã¾ã—ãŸã€‚ 以下ã¯çŒ¿ç”°æ°ã‹ã‚‰ä¼ºã£ãŸSparkã®ç´¹ä»‹ã‚’ã¾ã¨ã‚ãŸã‚‚ã®ã§ã™ã€‚ã¾ãŸã€å¾Œç·¨ã§ã¯çŒ¿ç”°æ°ãŒã‚³ãƒŸãƒƒã‚¿ã«ãªã£ãŸçµŒç·¯ãªã©ã‚‚インタビューã—ã¾ã—ãŸã€‚ Hadoopã§ã¯è¤‡é›‘ãªå‡¦ç†ã«æ™‚é–“ãŒã‹ã‹ã‚‹ Sparkã¨ã¯ãªã«ã‹ã®å‰ã«ã€ã¾ãšã¯Hadoopã®è©±ã‹ã‚‰å§‹ã‚ã•ã›ã¦ãã ã•ã„。 Hadoopã¨ã¯ã€ã–ã£ãり言ã†ã¨åˆ†æ•£å‡¦ç†ãƒ•ãƒ¬ãƒ¼ãƒ ワーク「
レコメンドやコンテンツ発見ã«ã€‚オープンソース機械å¦ç¿’サーãƒã€ŒPredictionIOã€ãƒ¬ãƒ“ュー | ã•ãらã®ãƒŠãƒ¬ãƒƒã‚¸
レコメンドエンジンやスパム判定ã€éŸ³å£°ã‚„æ–‡å—èªè˜ãªã©ã¯æ©Ÿæ¢°å¦ç¿’ã¨å‘¼ã°ã‚Œã‚‹æŠ€è¡“ãŒä½¿ã‚ã‚Œã¦ã„ã¾ã™ã€‚大é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’ベースã«æ–°ã—ã„データãŒãªã‚“ã§ã‚ã‚‹ã‹ã‚’判æ–ã—ã¾ã™ã€‚ビッグデータã®æ™‚代ã«ãªã‚Šã€ç‰¹ã«æ³¨ç›®ã•ã‚Œã¦ã„る技術ã«ãªã‚Šã¾ã™ã€‚ PredictionIOã¯ãã®ã‚¨ãƒ³ã‚¸ãƒ³ã®ä¸€ã¤ã§ã€ã‚ªãƒ¼ãƒ—ンソース・ソフトウェアã¨ã—ã¦å…¬é–‹ã•ã‚Œã¦ã„ã¾ã™ã€‚Pythonã€PHPã€Rubyã€Javaå‘ã‘ã«SDKãŒå…¬é–‹ã•ã‚Œã¦ã„ã‚‹ã®ã§ã€æ§˜ã€…ãªã‚µãƒ¼ãƒ“スã‹ã‚‰åˆ©ç”¨ã§ãã‚‹ã§ã—ょã†ã€‚ 今回ã¯ãã®PredictionIOをレビューã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚インストールも試用もDockerを使ã£ã¦ç°¡å˜ã«ã§ãã¾ã™ã®ã§ãœã²ãƒãƒ£ãƒ¬ãƒ³ã‚¸ã—ã¦ã¿ã¦ãã ã•ã„。 å¿…è¦ãªã‚‚ã® Ubuntu 14.04 LTS（CoreOSã€CentOSã§ã‚‚大丈夫ã§ã™ï¼‰ Docker オプション：ã•ãらã®ã‚¯ãƒ©ã‚¦ãƒ‰ã®ã‚¢ã‚«ã‚¦ãƒ³ãƒˆ PredictionIOã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ« インストールã¯Dockerã•ãˆ
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
HomeBrew 㧠Mac ã« Docker を入れã¦ã¿ãŸ - Qiita
{{#tags}}- {{label}}
{{/tags}}