Sqoop MR Execution Engine - Apache Sqoop - Apache Software Foundation
This document provides details of how the Sqoop MR Execution Engine works, its major components and details about the internals of the the implementation SummaryThe main entry point in Sqoop2 for job execution is the JobManager that is part of the package org.apache.sqoop.driver. JobManager holds the handle to the SubmissionEngine and the ExecutionEngine. Submission Engine will use the concrete ap
Sqoop export update/staging - ã²ã—ã ã¾ã®å¤‰æ›´å±¥æ´
ã²ã—ã ã¾ï¼¨ï¼°ã®æ›´æ–°å±¥æ´ã€‚ 主ã«ï¼´ï¼²ï¼°ï¼§ãƒªãƒ—レイã®å…ƒãƒã‚¿é›†ã€ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°æŠ€è¡“メモã¨è‡ªä½œã‚½ãƒ•ãƒˆã€å¥½ããªã‚²ãƒ¼ãƒ や音楽ã§ã™ã€‚ Sqoopã®export（HDFS→RDB）ã«é–¢ã—ã¦ã€--update-keyã¨ã‚¹ãƒ†ãƒ¼ã‚¸ãƒ³ã‚°ãƒ†ãƒ¼ãƒ–ルã«ã¤ã„ã¦ãƒ¡ãƒ¢ã€‚ ステージングテーブルã¯ã€å¯¾è±¡ãƒ†ãƒ¼ãƒ–ルã«ç›´æŽ¥ã‚¤ãƒ³ã‚µãƒ¼ãƒˆã›ãšã€ä¸é–“テーブル（ステージングテーブル）ã«ä¸€æ—¦æ›¸ãè¾¼ã¿ã€å¯¾è±¡ãƒ†ãƒ¼ãƒ–ルã¸ã¯ãã“ã‹ã‚‰ç§»é€ã™ã‚‹ã‚‚ã®ã€‚ Sqoopã¯è¤‡æ•°ã®ãƒ‡ãƒ¼ã‚¿ãƒŽãƒ¼ãƒ‰ã‹ã‚‰ä¸¦åˆ—ã§ã‚¤ãƒ³ã‚µãƒ¼ãƒˆã™ã‚‹ã®ã§ã€ã‚³ãƒŸãƒƒãƒˆã‚¿ã‚¤ãƒŸãƒ³ã‚°ãŒã°ã‚‰ã°ã‚‰ã«ãªã‚Šã€ä¸é€”åŠç«¯ãªçŠ¶æ…‹ãŒå‡ºæ¥ã¦ã—ã¾ã†ã€‚ ã“れを解消ã™ã‚‹ç‚ºã«ã‚¹ãƒ†ãƒ¼ã‚¸ãƒ³ã‚°ãƒ†ãƒ¼ãƒ–ルを使ã†ã€‚ 通常ã®exportã§ã¯ã€INSERT文を使ã£ã¦ãƒ†ãƒ¼ãƒ–ルã«ãƒ‡ãƒ¼ã‚¿ã‚’登録ã™ã‚‹ã€‚ テーブルã«ãƒ‡ãƒ¼ã‚¿ãŒå˜åœ¨ã—ã¦ã„ã‚‹ã¨ãã®ç‚ºã«ã€UPDATEæ–‡ã§æ›´æ–°ã™ã‚‹æŒ‡å®šãŒ--update-key。--update-keyã§WHEREæ¡ä»¶ã¨ãªã‚‹ã‚«ãƒ©ãƒ を指定ã™ã‚‹ã€‚
Google グループ
Google グループã§ã¯ã€ã‚ªãƒ³ãƒ©ã‚¤ãƒ³ フォーラムやメール ベースã®ã‚°ãƒ«ãƒ¼ãƒ—を作æˆã—ãŸã‚Šã€ã“ã†ã—ãŸãƒ•ã‚©ãƒ¼ãƒ©ãƒ やグループã«å‚åŠ ã—ãŸã‚Šã™ã‚‹ã“ã¨ã§ã€å¤§å‹¢ã®ãƒ¦ãƒ¼ã‚¶ãƒ¼ã¨æƒ…å ±ã®å…±æœ‰ã‚„ディスカッションを行ã†ã“ã¨ãŒã§ãã¾ã™ã€‚
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
処ç†ã‚’実行ä¸ã§ã™
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
GitHub - vybs/sqoop-on-spark: Sqoop on Apache Spark Engine
[SQOOP-1532] Sqoop2: Support Sqoop on Spark Execution Engine - ASF JIRA
{{#tags}}- {{label}}
{{/tags}}