Cloudera Manager APIを使用ã—ãŸã‚¯ãƒ©ã‚¹ã‚¿ã®è‡ªå‹•åŒ– | by Sho Shimauchi | Cloudera Japan Official Blog
本記事ã¯ã€Cloudera ソフトウェア・エンジニアリング・マãƒãƒ¼ã‚¸ãƒ£ãƒ¼ bc Wong ã«ã‚ˆã‚‹è¨˜äº‹ã‚’翻訳ã—ãŸã‚‚ã®ã§ã™ã€‚ 原文ã«ã¤ã„ã¦ã¯ä»¥ä¸‹ã®ãƒšãƒ¼ã‚¸ã‚’ã”覧ãã ã•ã„。 How-to: Automate Your Cluster with Cloudera Manager API - Cloudera Engineering Blog API access was a new feature introduced in Cloudera Manager 4.0 (download free edition here.). Although not visible in… APIã‹ã‚‰ã®ã‚¢ã‚¯ã‚»ã‚¹ã¯ã€Cloudera Manager 4.0 ã§æ–°ãŸã«è¿½åŠ ã•ã‚ŒãŸæ©Ÿèƒ½ã§ã™ã€‚ç›®ã§è¦‹ãˆã‚‹UI部分ã§ã¯ã‚ã‹ã‚Šã¾ã›ã‚“ãŒã€ãƒ—ãƒã‚°ãƒ©ãƒžãƒ†ã‚£ãƒƒã‚¯ãªã‚¯ãƒ©ã‚¹ã‚¿æ“作ã¸ã®ã‚¢ã‚¯ã‚»ã‚¹æ¨©ï¼ˆãŸã¨ãˆã°ã€æ§‹æˆã‚„å†èµ·å‹•ãªã©ï¼‰ã‚„æƒ…å ±ã®ç›£è¦–（ヘル
Preferred Networks ã«ãŠã‘ã‚‹Hadoop - Preferred Networks Research & Development
Preferred Networks （以下PFN）ã§ã¯ã€ã€Œç¾å®Ÿä¸–界を計算å¯èƒ½ã«ã™ã‚‹ã€ã€Œå…¨ã¦ã®ã²ã¨ã«ãƒãƒœãƒƒãƒˆã‚’ã€ã¨ã„ã†ç›®æ¨™ã®ã‚‚ã¨ã€æ©Ÿæ¢°å¦ç¿’を始ã‚ã¨ã—ãŸã‚らゆる計算技術を用ã„ã¦ç ”究開発ã«æ—¥ã€…å–り組んã§ã„ã¾ã™ã€‚ãã®éŽç¨‹ã§ã¯å¿…ãšã¨ã„ã£ã¦ã„ã„ã»ã©ã€ãƒ‡ãƒ¼ã‚¿ã®ä¿å˜ã‚„èªã¿å‡ºã—ãŒå¿…è¦ã«ãªã‚Šã¾ã™ã€‚ã“ã“ã§ã¯ã€æˆ‘々ãŒã©ã®ã‚ˆã†ã«ãƒ‡ãƒ¼ã‚¿ç®¡ç†ã‚’ã—ã¦ã„ã‚‹ã‹ã€ã¾ãŸã€ãã®éŽç¨‹ã§ã©ã®ã‚ˆã†ã«Hadoopを利用ã—ã¦ã„ã‚‹ã‹ã«ã¤ã„ã¦ç´¹ä»‹ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ 写真: PFNカラーリングã®ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã‚µãƒ¼ãƒãƒ¼ Hadoopå°Žå…¥ã®çµŒç·¯ HadoopãŒå¤šã利用ã•ã‚Œã¦ã„るよã†ãªãƒã‚°åˆ†æžã‚„ã€ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズå‘ã‘ã®ETL処ç†ã‚„データサイエンスã«æ¯”ã¹ã‚‹ã¨ã€æ·±å±¤å¦ç¿’ã®åˆ†é‡Žã§ã‚ˆã利用ã•ã‚Œã¦ã„るよã†ãªè¦æ¨¡ã®ãƒ‡ãƒ¼ã‚¿ã¯æ¯”較的å°ã•ã„ã§ã™ã€‚よãç”»åƒèªè˜ã®ãƒ™ãƒ³ãƒãƒžãƒ¼ã‚¯ã¨ã•ã‚Œã‚‹ImageNetã®2012å¹´ã®ã‚³ãƒ³ãƒšã§åˆ©ç”¨ã•ã‚ŒãŸãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆã¯200GB程度ã§ã™ã€‚ã“ã‚Œã¯ãã‚‚ã
Cloudera Altus Director を使ã£ã¦ã¿ã‚‹ - ablog
MacBook Pro (macOS Sierra) ã« Cloudera Altus Director をインストールã—㦠AWS ã« Hadoop クラスターを作æˆã—ã¦ã¿ãŸã€‚ Cloudera Altus Director ã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ« Cloudera Director Server をインストールã™ã‚‹ $ brew tap takabow/cloudera $ brew install cloudera-director-server Cloudera Altus Director ã®èµ·å‹• Cloudera Director Server ã‚’èµ·å‹•ã™ã‚‹ $ cloudera-director-server-start クラスターã®ä½œæˆ ブラウザã§ã€Œhttp://localhost:7189ã€ã«ã‚¢ã‚¯ã‚»ã‚¹ã—ã€ãƒã‚§ãƒƒã‚¯ã—ã¦[Continue]をクリックã™ã‚‹ã€‚ ユーザーåã¨ãƒ‘スワードを入力
Cloudera Directorを入れã¦ã‚¯ãƒ©ã‚¦ãƒ‰ã«CDHクラスタを作ã‚ã†
Cloudera Directorã¯ClouderaãŒæä¾›ã™ã‚‹ã‚¯ãƒ©ã‚¦ãƒ‰ã¸ã®CDHã®ãƒ—ãƒãƒ“ジョニングツールã§ã™ã€‚Cloudera Directorを使ã†ã¨ã€AWSã€Azureã€GCPã«ç°¡å˜ã«CDHã®ã‚¯ãƒ©ã‚¹ã‚¿ã‚’構築ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ã“ã®è¨˜äº‹ã§ã¯ã€Cloudera Directorã‚’ãƒãƒ¼ã‚«ãƒ«ãƒžã‚·ãƒ³ã«å°Žå…¥ã™ã‚‹ãƒ¡ãƒªãƒƒãƒˆã¨æ–¹æ³•ã‚’紹介ã—ã¾ã™ã€‚ Cloudera Directorã¯ä½•ãŒã§ãã‚‹ã®ã‹Cloudera Directorã¯ã€ç•°ãªã‚‹ã‚¯ãƒ©ã‚¦ãƒ‰ç’°å¢ƒã§ã‚‚統一ã•ã‚ŒãŸã‚¤ãƒ³ã‚¿ãƒ¼ãƒ•ã‚§ãƒ¼ã‚¹ã§ã‚¯ãƒ©ã‚¹ã‚¿ç®¡ç†ã‚’ã§ãるよã†ã«ã™ã‚‹ãŸã‚ã®ã‚‚ã®ã§ã™ã€‚CDHクラスタを管ç†ã™ã‚‹Cloudera Managerよりもã†ä¸€æ®µä¸Šã®ãƒ¬ã‚¤ãƒ¤ãƒ¼ã§ã€ã‚¤ãƒ³ã‚¹ã‚¿ãƒ³ã‚¹ã®ç«‹ã¡ä¸Šã’ã‹ã‚‰ã‚¯ãƒ©ã‚¹ã‚¿ã®æ§‹ç¯‰ãƒ»ãƒ‡ãƒ—ãƒã‚¤ãƒ»åœæ¢ã€è¨å®šãƒ•ã‚¡ã‚¤ãƒ«ã§ã®ã‚¯ãƒ©ã‚¹ã‚¿æ§‹æˆã®ç®¡ç†ãªã©ãŒã§ãã¾ã™ã€‚ https://www.slideshare.net/savu.andrei/intro
Hive on Tez ã‚’ CDH ã§å‹•ã‹ã™ - Qiita
Tezã¨ã¯ ã¾ãšã¯Tezã®èª¬æ˜Žã§ã™ã€‚ Tezã¯YARN上ã§å‹•ä½œã™ã‚‹ãƒãƒƒãƒå‡¦ç†ç”¨ã®ãƒ•ãƒ¬ãƒ¼ãƒ ワークã§ã€HortonworksãŒä¸»å°Žã—ã¦é–‹ç™ºã—ã¦ã„ã¾ã™ã€‚ Tezã«è¿‘ã„ä½ç½®ä»˜ã‘ã®ã‚‚ã®ã«ã¯ã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 処ç†ç”¨ã®SliderãŒã‚ã‚Šã¾ã™ã€‚ Hortonworksã¯Sliderã®ä¸Šã§Stormã‚’å‹•ã‹ã™ã“ã¨ã‚’計画ã—ã¦ã„ã¾ã™ã€‚ Hive on Tezã¨ã¯ Hive on Tezã¯ã€ä¸Šè¨˜ã®Tezã®ä¸Šã§Hiveã‚’å‹•ã‹ã™ã‚‚ã®ã§ã™ã€‚ Hive 0.13ã‹ã‚‰Tez対応ã®ãƒ‘ッãƒãŒå…¥ã£ã¦ã„ã¦ã€å‹•ã‹ã™æº–å‚™ã¯ã§ãã¦ã„ã¾ã™ã€‚ ã—ã‹ã—ã€Clouderaã¯CDH 5.2ã§Hive 0.13ã«å¯¾å¿œã—ãŸã‚‚ã®ã®ã€Tezをパッケージングã—ã¾ã›ã‚“ã§ã—ãŸã€‚ ãã®ãŸã‚ã€ãã®ã¾ã¾ã®CDHã§ã¯Hive on TezãŒå‹•ãã¾ã›ã‚“。 Hive on Tezã‚’CDHã§å‹•ã‹ã™æ–¹æ³• Tezã¯ãƒ©ã‚¤ãƒ–ラリã§ã‚ã‚‹ãŸã‚ã€CDHã®Hive 0.13ã¨çµ„ã¿åˆã‚ã›ã‚Œã°å‹•ä½œã™
#cwt2016 Cloudera Managerを用ã„㟠Hadoop ã®ãƒˆãƒ©ãƒ–ルシューティング
2. 2© Cloudera, Inc. All rights reserved. ⾃⼰紹介 •  ⼩林⼤輔 (@d1ce_) •  Cloudera ⼊社五年⽬ •  カスタマーオペレーションズエンジニア == テクニカルサãƒãƒ¼ãƒˆ •  éŽåŽ»ã®ä¸»ãªè¬›æ¼” •  Hadoop Operations (2013) http://www.slideshare.net/Cloudera_jp/b3-hadoop-operations-20131107 •  HBaseサãƒãƒ¼ãƒˆæœ€å‰ç·š (2015) http://www.slideshare.net/Cloudera_jp/hbase-hbaseca •  Troubleshooting Using Cloudera Manager (2015) http://www.slideshare.net/Cloudera_jp/troubleshootin
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Building a parcel
GitHub - cloudera/cloudera-playbook: Cloudera deployment automation with Ansible
Setting up Tez on CDH Cluster
Cloudera Enterprise Reference Architecture for Bare Metal Deployments | 5.15.x | Cloudera Documentation
Cloudera Managerã®ä»•çµ„ã¿ ãã®1
Cloudera ​Enterprise Reference ​Architecture for ​Bare ​Metal Deployments
{{#tags}}- {{label}}
{{/tags}}