Digdag + embulk + BigQuery + Re:dash ã§ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤æ§‹ç¯‰ã®å¤¢ã‚’見る - 雑ãªãƒ¡ãƒ¢
Digdag ㌠Apache License 2.0 ã®å…ƒã§ã‚ªãƒ¼ãƒ—ンソース化ã•ã‚Œã¾ã—ãŸã‚ˆï¼ ã•ã試ã™ã‚“ã â€¦ï¼ ä»Šã™ãã«ã§ã‚‚ï¼ https://t.co/Uzc4a5GLCe ドã‚ュメント：https://t.co/PF8wy5KHln— Sadayuki Furuhashi (@frsyuki) 2016å¹´6月15æ—¥ DigdagãŒå…ˆæ—¥ãƒªãƒªãƒ¼ã‚¹ã•ã‚ŒãŸã®ã‚’ãã£ã‹ã‘ã«ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤æ§‹ç¯‰ã®å¤¢ã‚’見ãŸã€‚ 今回ã¯ã€Google Cloud Platform（以下ã€GCP）ã®ã‚³ã‚¹ãƒˆã‚’å¯è¦–化ã‹ã¤åˆ†æžå¯èƒ½ã«ã—ã¦ã¿ã¦ã€ã¾ãšã¯Digdagã®ä½¿ç”¨æ„Ÿã‚’試ã—ã¦ã¿ã‚‹ã“ã¨ã«ã™ã‚‹ã€‚ 事å‰çŸ¥è˜ Digdagã¨ã¯ Workload Automation Systemã§ã‚る。以下ã®è¨˜äº‹ãŒè©³ã—ã„。 Embulkã¨Digdagã¨ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤ã¨ 分散ワークフãƒãƒ¼ã‚¨ãƒ³ã‚¸ãƒ³ã€ŽDigDagã€ã®å®Ÿè£… at Tokyo RubyKaigi
Google Cloud Datalabを使ã£ã¦BigQueryã®ãƒ‡ãƒ¼ã‚¿ã‚’分æžã™ã‚‹ - ZOZO TECH BLOG
ã“ã‚“ã«ã¡ã¯ã€‚VASILYã§ã‚¤ãƒ³ã‚¿ãƒ¼ãƒ³ã¨ã—ã¦åƒã„ã¦ã„る永井ã§ã™ã€‚大å¦ã§ã¯çµ±è¨ˆã®ç ”究をã—ã¦ã„ã¦ã€VASILYã§ã¯ä¸»ã«ãƒ‡ãƒ¼ã‚¿åˆ†æžã«å–り組んã§ã„ã¾ã™ã€‚今回ã¯å…ˆæœˆã®10月13æ—¥ã«Î²ç‰ˆã§æ供開始ã¨ãªã£ãŸGoogle Cloud Datalabを試ã—ã¦ã¿ãŸã®ã§ã€ãã®ç´¹ä»‹ã‚’ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ 1.Cloud Datalabã¨ã¯ï¼Ÿ 2.準備 3.Notebookã®ä½œæˆ 4.BigQueryã‹ã‚‰ã®ãƒ‡ãƒ¼ã‚¿å–å¾— 5.å–å¾—ã—ãŸãƒ‡ãƒ¼ã‚¿ã®å¯è¦–化 ã¨ã„ã†æµã‚Œã§ç´¹ä»‹ã—ã¦ã„ãã¾ã™ã€‚ Cloud Datalabã¨ã¯ï¼Ÿ Cloud Datalabã®ç‰¹å¾´ Cloud Datalabã¯ã€Google Cloud Platform上ã§èµ·å‹•ã™ã‚‹Jupyter Notebook（旧IPython Notebook）ã®ã“ã¨ã§ã™ã€‚ 特徴ã¨ã—ã¦ã¯ã€ ・BigQueryã€Compute Engineã€Cloud Storage上ã«ã‚るデータã®åˆ†æž
MPP on Hadoop, Redshift, BigQuery - Go ahead!
Twitterã§ã€Œæ—©ã今æµè¡Œã®MPPã®å¤§ã¾ã‹ãªä½¿ã„æ–¹ã®é•ã„書ã‘よï¼ã€ã¨ã„ã†ãƒ—レッシャーãŒåŠç«¯ãªã„ã®ã§ã¦ãã¨ã†ã«æ›¸ãã¾ã™ï¼Žã“ã®è¨˜äº‹ã¯ä¿ºã®çµŒé¨“ã¨å‹‰å¼·ä¼šãªã©ã§ãƒ¦ãƒ¼ã‚¶ã‹ã‚‰èžã„ãŸè©±ã‚’ã‚‚ã¨ã«æ›¸ã„ã¦ã„ã‚‹ã®ã§ï¼Œã™ã¹ã¦ãŒä¿ºã®çµŒé¨“ã§ã¯ã‚ã‚Šã¾ã›ã‚“(特ã«BigQuery)．å„社ã®SAã®äººã¨ã‹ã«èžã‘ã°ï¼Œã‚‚ã£ã¨è‰¯ã„アプãƒãƒ¼ãƒã¨ã‹è©³ç´°ã‚’æ•™ãˆã¦ãれるã‹ã‚‚ã—ã‚Œã¾ã›ã‚“． オンプレミスã®å•†ç”¨MPPã¯ä½¿ã£ãŸã“ã¨ãªã„ã®ã§ãƒŽãƒ¼ã‚³ãƒ¡ãƒ³ãƒˆã§ã™ï¼Ž MPP on Hadoopã§PrestoãŒãƒ¡ã‚¤ãƒ³ãªã®ã¯ä»Šä¸€ç•ªä½¿ã£ã¦ã„ã‚‹ã‹ã‚‰ã§ï¼ŒImpalaãªã©ä»–ã®MPP on Hadoopçš„ãªã‚‚ã®ã‚‚ä¼¼ãŸã‚ˆã†ãªæ„Ÿã˜ã‹ãªã¨æ€ã£ã¦ã„ã¾ã™ï¼Ž ã‚‚ã¡ã‚ん実装ã®é•ã„ãªã©ãŒã‚ã‚‹ã®ã§ï¼Œãã®è¾ºã¯é©å®œè‡ªåˆ†ã§è£œé–“ã—ã¦ãã ã•ã„． å‰æ アプリケーションを開発ã—ã¦ã„ã¦ï¼Œãã®ãŸã‚ã®è§£æžåŸºç›¤ã‚’一ã‹ã‚‰ä½œã‚‹ï¼Ž ç°¡å˜ãªã¾ã¨ã‚ データを貯ã‚る所ãŒä½œã‚Œã‚‹ã®ã§ã‚ã‚Œã°ï¼Œãã“ã«ç›´æŽ¥ã‚¯ã‚¨ãƒªã‚’投ã’られるPre
TechCrunch | Startup and Technology News
Live Nation says its Ticketmaster subsidiary was hacked. A hacker claims to be selling 560 million customer records. An autonomous pod. A solid-state battery-powered sports car. An electric pickup truck. A convertible grand tourer EV with up to 600 miles of range. A “fully connected mobility device†for young urban innovators to be built by Foxconn and priced under $30,000. The next Popemobile. Ov
ãªãœç§ãŸã¡ã¯Sumo Logicã‚’æ¨ã¦ã¦BigQueryã‚’é¸ã‚“ã ã®ã‹ - tech.guitarrapc.cóm
ãƒã‚°åˆ†æžã‚µãƒ¼ãƒ“スã¯ã‚¢ãƒ—リケーションã®ã‚¤ãƒ³ãƒ•ãƒ©ã§ã‚ã‚Šã€ã‚µãƒ¼ãƒ“ス開発/é‹ç”¨ã®ä¸ã§é‡è¦ãªä½ç½®ã‚’å ã‚ã¾ã™ã€‚グラニã§ã¯ã€ä»Šå¹´ã«å…¥ã£ã¦åˆ©ç”¨ã—ã¦ã„ã‚‹ãƒã‚°åˆ†æžã‚µãƒ¼ãƒ“スを〠Sumo Logic ã‹ã‚‰ã€€Google BigQuery ã«å®Œå…¨ç§»è¡Œã—ã¾ã—ãŸã€ 本記事ã¯ã€ã‚°ãƒ©ãƒ‹ã§è°è«–ã•ã‚ŒãŸã€Œãƒã‚°åˆ†æžã‚µãƒ¼ãƒ“スã¨ã—ã¦ã® SumoLogic 㨠BigQueryã€ã®ã¾ã¨ã‚を推敲ã€è»¢è¼‰ã—ãŸã‚‚ã®ã§ã™ã€‚ã“ã‚Œã‹ã‚‰ãƒã‚°åˆ†æžã‚µãƒ¼ãƒ“スを検討ã•ã‚Œã‚‹æ–¹ã€…ã«ã¨ã£ã¦ã€è°è«–ã®å†…容ãŒå°‘ã—ã§ã‚‚å‚考ã«ãªã‚‹ã“ã¨ã‚’願ã„公開ã—ã¾ã™ã€‚ アジェンダ ã¾ãšã¯æ–‡è„ˆã‚’æ•´ãˆã‚‹ãŸã‚ã«ã‚¢ã‚¸ã‚§ãƒ³ãƒ€ã‹ã‚‰ã€‚ アジェンダ 日常的ãªã‚¢ãƒ—リケーション監視フãƒãƒ¼ APM ã¨ã—ã¦ç›¤çŸ³ãª New Relic ãƒã‚°åˆ†æžã‚µãƒ¼ãƒ“スã«ã‚ˆã‚‹ã‚¢ãƒ‰ãƒ›ãƒƒã‚¯ãªãƒã‚°åˆ†æž ãƒã‚°åˆ†æžã‚µãƒ¼ãƒ“スã«æ±‚ã‚ã‚‹ã“㨠Sumo Logic ã®åˆ©ç”¨ã¨èª²é¡Œ Sumo Logic ã®åˆ©ç‚¹ Sumo Logicã§ç™ºç”Ÿã—ãŸèª²é¡Œ ãƒã‚°åŽ
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Jupyter(Python)ã¨BigQueryã«ã‚ˆã‚‹ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤ã®DevOps #pyconjp // Speaker Deck
Login to Meetup | Meetup
GCP Next: GoogleãŒæãã€MapReduceを超ãˆãŸãƒ“ッグデータã®ä¸–ç•Œ
{{#tags}}- {{label}}
{{/tags}}