グループを作れã°ã€ç„¡æ–™ã§èª°ã§ã‚‚イベントページãŒä½œæˆã§ãã¾ã™ã€‚æƒ…å ±ç™ºä¿¡ã‚„äº¤æµã®ãŸã‚ã®ã‚¤ãƒ™ãƒ³ãƒˆã‚’TECH PLAY ã§å…¬é–‹ã—ã¦ã¿ã¾ã›ã‚“ã‹ï¼Ÿ
イベント資料｜Embulk & Digdag Online Meetup 2020 - TECH PLAY［テックプレイ］
グループを作れã°ã€ç„¡æ–™ã§èª°ã§ã‚‚イベントページãŒä½œæˆã§ãã¾ã™ã€‚æƒ…å ±ç™ºä¿¡ã‚„äº¤æµã®ãŸã‚ã®ã‚¤ãƒ™ãƒ³ãƒˆã‚’TECH PLAY ã§å…¬é–‹ã—ã¦ã¿ã¾ã›ã‚“ã‹ï¼Ÿ
digdag-3tips
ファッションãƒã‚§ãƒƒã‚¯ãƒ©ãƒ³ã‚ングRubyKaigiã®è£å´ / Fashion check ranking app for RubyKaigi2019
Dockerã§Digdagサーãƒã‚’å‹•ã‹ã™ï¼ˆã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆã®ç°¡å˜ãªå‹•ä½œç¢ºèªç”¨ã€PostgreSQLä¸ä½¿ç”¨ï¼‰ - memo486
digdag コマンドやクライアントライブラリãªã©ã®å‹•ä½œç¢ºèªã®ãŸã‚〠手軽ã«ãƒªã‚»ãƒƒãƒˆã—ãŸã‚Šæ¨ã¦ã‚‰ã‚ŒãŸã‚Šã™ã‚‹ Digdag サーãƒãŒã‚ã‚‹ã¨ä¾¿åˆ©ã‹ã‚‚？ ã¨æ€ã£ã¦é›‘ã«ç”¨æ„ã—ã¦ã¿ãŸã€‚ Dockerfile FROM ubuntu:18.04 RUN apt update \ && apt install -y --no-install-recommends \ curl \ openjdk-8-jre-headless \ && curl -o ${HOME}/bin/digdag --create-dirs -L \ "https://dl.digdag.io/digdag-0.9.39" \ && mkdir ${HOME}/tasklog é©å½“ãªã‚·ã‚§ãƒ«ã‚¹ã‚¯ãƒªãƒ—ト #!/bin/bash ENDPOINT=localhost:65432 CONTAINER_NAME=digdag_server
In Praise of Digag, an Alternative to Airflow
At Culture Amp, we’ve been customers of Treasure Data for about a year. We’ve been able to get some great momentum around product analytics with their stack of tools, which includes solutions for data ingestion, data querying, workflow management, and data export. Treasure Data are very good open-source citizens, and many of the tools that power their stack are open-sourced. Their most popular is
Jenkinsをエンジニアã§ãªã„人も使ãˆã‚‹Digdagã®Web UIã¨ã—ã¦ä½¿ã† - エムスリーテックブãƒã‚°
ã“ã‚“ã«ã¡ã¯ã€ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ãƒªãƒ³ã‚°ã‚°ãƒ«ãƒ¼ãƒ—ã®ç¦æž— (@fukubaya) ã§ã™ã€‚ ç¾åœ¨ã€å¼Šç¤¾ã§ã¯é•·å¹´é‹ç”¨ã•ã‚Œç¶šã‘ã¦ã„るレãƒãƒ¼ãƒˆåŸºç›¤ã®ãƒªãƒ‹ãƒ¥ãƒ¼ã‚¢ãƒ«ã‚’昨年ã‹ã‚‰ç¶šã‘ã¦ã„ã¾ã™ã€‚ ãã®ä¸€ç’°ã§ã€ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã§ãªã„人も使ãˆã‚‹ãƒ¬ãƒãƒ¼ãƒˆç”ŸæˆUIを実ç¾ã™ã‚‹ãŸã‚〠Digdagã¨Jenkinsを利用ã—ãŸä»•çµ„ã¿ã‚’検討ã—ã¾ã—ãŸã€‚ 本記事ã§ã¯ãã®ä¸€ä¾‹ã‚’ã”紹介ã—ã¾ã™ã€‚ 横浜赤レンガ倉庫ã¯æ¨ªæµœæ¸¯ã«ã‚ã‚‹æ´å²çš„建築物。本文ã«ã¯ç‰¹ã«é–¢ä¿‚ã‚ã‚Šã¾ã›ã‚“。 レãƒãƒ¼ãƒˆç”ŸæˆUIã¨ã—ã¦ã®Jenkins 弊社ã§ã¯ã€å®¢è¦³çš„ãªãƒ‡ãƒ¼ã‚¿ã«åŸºã¥ãæ„志決定ã™ã‚‹ã“ã¨ãŒã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã«é™ã‚‰ãšåŸºæœ¬ã¨ãªã£ã¦ã„ã‚‹ãŸã‚〠ã‚らゆるサービスã§ãƒ‡ãƒ¼ã‚¿ã®è“„ç©ã€åˆ†æžã€æ´»ç”¨ãŒæ—¥å¸¸çš„ã«è¡Œã‚ã‚Œã¦ã„ã¾ã™ã€‚ レãƒãƒ¼ãƒˆç”Ÿæˆå‡¦ç†ã¯åŸºæœ¬çš„ã«ã¯ã‚¹ã‚¯ãƒªãƒ—ト実行ãªã®ã§ã€å®Ÿè¡Œã‚‚コマンド実行ã«ãªã‚Šã¾ã™ãŒã€ エンジニアã§ãªã„人ã«ã‚³ãƒžãƒ³ãƒ‰å®Ÿè¡Œã§ãƒ¬ãƒãƒ¼ãƒˆã‚’生æˆã—ã¦ã‚‚らã†ã®ã¯é›£ã—ã„ã§ã™ã€‚ ãã“ã§ã€å¼Šç¤¾ã§ã¯Jenkins
Digdag ã® Plugin ã‚’ãŸãã•ã‚“作ã£ãŸã®ã§ç´¹ä»‹ã™ã‚‹ã‚ˆ - Gunosy Tech Blog
ã“ã¡ã‚‰ã¯ Gunosy Advent Calendar 2018ã€7日目ã®è¨˜äº‹ã§ã™ã€‚ãªãŠã€æ˜¨æ—¥ã®è¨˜äº‹ã¯ @yutanim ã•ã‚“ã® RxSwiftã«ãŠã‘ã‚‹å«ã‹ã‚‰ã®ç¥–父æ¯åè¡Œ ã§ã—ãŸã€‚ qiita.com ã¯ã˜ã‚ã« ã“ã‚“ã«ã¡ã¯ã€åºƒå‘ŠæŠ€è¡“部㮠ｷｳﾞｨﾀｽﾎﾟ(人工知能) (@Civitaspo) / Twitter ã§ã™ã€‚ Gunosy ã«å…¥ç¤¾ã—ã¦ã‹ã‚‰æ—©ã„ã‚‚ã®ã§1å¹´ãŒçµŒã¡ã¾ã—ãŸã€‚昨年㮠Gunosy Advent Calendar ã§ã¯åƒ•ã¯èªã‚€å°‚é–€ã ã£ãŸã®ã§ã™ãŒã€ã€ŽGunosyã®ãƒ‘ーソナライズを支ãˆã‚‹æŠ€è¡“ -ワークフãƒãƒ¼ç·¨-ã€ã‚’èªã‚“ã§éžå¸¸ã«æ„ŸéŠ˜ã‚’å—ã‘ãŸã®ã‚’覚ãˆã¦ã„ã¾ã™ã€‚ tech.gunosy.io ã“ã“ã§ã¯ãã®ã¨ã感銘をå—ã‘ãŸè¨€è‘‰ã‚’紹介ã—ã¦ãŠãã¾ã™ã€‚ ワークフãƒãƒ¼ã¯ã€ã„ã‚ã°ã‚·ã‚¹ãƒ†ãƒ 上ã«ãŠã‘る兵站ã¨ã„ã£ã¦ã‚‚ã„ã„ã§ã—ょã†ã€‚「戦争ã®ãƒ—ãƒã¯å…µç«™ã‚’語りã€æˆ¦äº‰ã®ç´ 人ã¯æˆ¦ç•¥ã‚’語るã€ã¨ã„ã†å言もã‚ã‚‹ãらã„ã§
Digdagã§Rubyã®Bundlerを使ㆠ- Qiita
JRubyã˜ã‚ƒãªã„よ Digdagã®ã‚³ãƒ¼ãƒ‰ã‚’追ã£ã¦ã„ãã¨RbOperatorFactory.RbOperator#runTask()ã§Rubyスクリプトを実行ã—ã¦ã„ã¾ã™. 具体的ã«ã¯ProcessBuilderを使ã£ã¦ã„ã¾ã™. システムã®ç’°å¢ƒå¤‰æ•°ã‚’見ã¦rubyコマンドを実行ã—ã¦ã„ã¾ã™. Tokyo Ruby会è°#11 ワークフãƒãƒ¼ã‚¨ãƒ³ã‚¸ãƒ³Digdagã®ã¾ã¨ã‚ - Qiitaã®ãƒ“デオを見ãŸã¨ãRuby使ãˆã‚‹ã¨èžã„ã¦å‹æ‰‹ã«JRubyã ã‚ã†ãªã¨ã‹æ€ã£ã¦ã¾ã—ãŸ. Digdagã®ãƒ¯ãƒ¼ã‚¯ãƒ•ãƒãƒ¼ã®ä»•çµ„ã¿ digdag pushã‚’ã™ã‚‹ã¨ アーカイブãŒä½œæˆã•ã‚Œã¦ãã‚ŒãŒDigdag serverã«é€ã‚‰ã‚Œã‚‹ ワークフãƒãƒ¼ã‚’実行ã™ã‚‹ã¨ã テンãƒãƒ©ãƒªãƒ‡ã‚£ãƒ¬ã‚¯ãƒˆãƒªã«å±•é–‹ã•ã‚Œã‚‹ ワークフãƒãƒ¼å®Ÿè¡Œã•ã‚Œã¾ã™ ã§ã¯æœ¬é¡Œã®Bundlerを使ã†æ–¹æ³•ã§ã™. Digdagã®ä»•çµ„ã¿ã‚’ã‚る程度知ã£ãŸä¸Šã§Bundlerを使ã†æ–¹æ³•ã¯å¹¾ã¤ã‹ã‚
digdag run (local mode) ã§ä¸¦åˆ—実行数を制御ã™ã‚‹ - Islands in the byte stream
ã¨ã‚る分散ãƒãƒƒãƒã‚·ã‚¹ãƒ†ãƒ ã§digdagã‚’å°Žå…¥ã—ã¦ã¿ã¦ã„ã¾ã™ã€‚ www.digdag.io スケジューラ機能ãªã©ã¯ä½¿ã£ã¦ãŠã‚‰ãšã€ã‚¿ã‚¹ã‚¯ã‚’良ã„æ„Ÿã˜ã«ä¸¦åˆ—実行ã™ã‚‹ãŸã‚ã®makeよりã¡ã‚‡ã£ã¨ä¾¿åˆ©ãªãƒ„ールã€ãらã„ã®æ„Ÿã˜ã§ä½¿ã£ã¦ã¾ã™ã€‚ digdagã¯ä¸‹è¨˜ã®ã‚ˆã†ã«loopãªã©ã‚’ _parallel: true を指定ã™ã‚‹ã ã‘ã§ä¸¦åˆ—実行ã§ãã‚‹ã®ãŒã„ã„ã§ã™ã。 timezone: UTC +repeat: loop>: 3 _parallel: true _do: +run: sh>: "echo ${i}" +teardown: echo>: finish ${session_time} ã¨ã“ã‚ã§ã€ã“ã®ã“ã®ä¸¦åˆ—実行数を制御ã™ã‚‹æ–¹æ³•ãŒã‚ã‹ã‚‰ãªã‹ã£ãŸã®ã§ã‚³ãƒžãƒ³ãƒ‰ãƒ©ã‚¤ãƒ³ã‚ªãƒ—ションã§æ¸¡ã›ã‚‹ã‚ˆã†ã«pull-requestã—ã¾ã—ãŸã€‚ digdag v0.9.13 ã‹ã‚‰ãŸã¶ã‚“使ãˆã¾ã™ã€‚ add --max-task-t
Digdagã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ã¨ã‚³ãƒ³ã‚»ãƒ—トをç†è§£ã™ã‚‹ #digdag | DevelopersIO
Treasure Data社ã«ã‚ˆã£ã¦OSSワークフãƒãƒ¼ã‚¨ãƒ³ã‚¸ãƒ³ã€ŽDigdagã€ã¯ãã®ç™ºè¡¨ä»¥å¾Œå¤šãã®å響を呼ã³ã€ç¤¾å†…外をå«ã‚良ã利用ã•ã‚Œã‚‹ã‚ˆã†ã«ãªã£ã¦ãã¦ã„ã¾ã™ãŒå€‹äººçš„ã«ã¯ä¸‹è¨˜ã®ã€Žè©¦ã—ã¦ã¿ãŸã€ã‚¨ãƒ³ãƒˆãƒªä»¥é™ã€ã‚ã¾ã‚Šè§¦ã£ã¦æ¥ã¦ã„ã¾ã›ã‚“ã§ã—ãŸã€‚ã¡ã‚‡ã£ã¨å€‹äººçš„ã«ã‚‚è…°ã‚’æ®ãˆã¦å–り掛ã‹ã£ã¦ã¿ã‚ˆã†ã‹ã¨ã„ã†æ„Ÿã˜ã«ãªã£ã¦ãã¾ã—ãŸã®ã§ã€ä»•çµ„ã¿ã‚„使ã„方を把æ¡ã™ã‚‹ã¨ã„ã†æ„味ã§ä¸€ç•ªå‚考ã«ãªã‚‹ã§ã‚ã‚ã†å…¬å¼ãƒ‰ã‚ュメントã®ä¸€éƒ¨ã‚’èªã¿é€²ã‚ã¦ã¿ãŸè¨˜éŒ²ã‚’ブãƒã‚°ã‚¨ãƒ³ãƒˆãƒªã¨ã—ã¦æ®‹ã—ã¦ãŠããŸã„ã¨æ€ã„ã¾ã™ã€‚ Treasure Data社ã®OSSワークフãƒãƒ¼ã‚¨ãƒ³ã‚¸ãƒ³ã€ŽDigdagã€ã‚’試ã—ã¦ã¿ãŸ #digdag ｜ Developers.IO Digdagã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ Digdagã«ã‚ˆã‚‹ãƒ¯ãƒ¼ã‚¯ãƒ•ãƒãƒ¼ã®è‡ªå‹•åŒ– ワークフãƒãƒ¼ã‚’使ã£ã¦ã€æ‰‹å‹•ã§è¡Œãªã£ã¦ã„ã‚‹ã‚らゆるæ“作を自動化出æ¥ã¾ã™ã€‚一連ã®ã‚¿ã‚¹ã‚¯ã‚’『ワークフãƒãƒ¼ã€ã¨ã—ã¦å®šç¾©ã—ã€Digdagを使
Digdagã¸æ—¥æ¬¡ãƒãƒƒãƒã‚’移行ã—ã¦å¹¸ã›ã«ãªã‚‹ãŠè©±
DMM.comラボã§ã¯ãƒ“ッグデータ基盤ã®æ—¥æ¬¡ãƒãƒƒãƒï¼ˆETL処ç†ï¼‰ã®ãƒ¯ãƒ¼ã‚¯ãƒ•ãƒãƒ¼ã‚¨ãƒ³ã‚¸ãƒ³ã¨ã—ã¦Digdagを採用ã—ã¾ã—ãŸã€‚ ワークフãƒãƒ¼ã®é‹ç”¨ã¯ã€éšœå®³æ™‚ã®ãƒªã‚«ãƒãƒªã€é€²æ—状æ³ã«å¿œã˜ãŸä»–システム連æºã€JOB実行時間ã®å±€æ‰€åŒ–ãªã©æ§˜ã€…ãªèª²é¡ŒãŒã‚ã‚Šã¾ã™ã€‚ Digdagé¸å®šç†ç”±ã‚„è¨è¨ˆã®å‹˜æ‰€ï¼ˆã‚µãƒ¼ãƒæ§‹æˆãƒ»ãƒ¯ãƒ¼ã‚¯ãƒ•ãƒâ€¦
マルãƒã‚¯ãƒ©ã‚¦ãƒ‰ã§ãƒ¯ãƒ¼ã‚¯ãƒ•ãƒãƒ¼ç®¡ç†ã€ç±³Treasure Dataã®OSS「Digdagã€
ビッグデータ分æžã®ã‚¯ãƒ©ã‚¦ãƒ‰ã‚µãƒ¼ãƒ“スをæä¾›ã™ã‚‹ç±³Treasure DataãŒã€è¤‡æ•°ã®ã‚¯ãƒ©ã‚¦ãƒ‰ã‚’連æºã—ã¦ä¸€ã¤ã®ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã‚’実ç¾ã™ã‚‹ã€Œãƒ¯ãƒ¼ã‚¯ãƒ•ãƒãƒ¼ç®¡ç†ã€ã®ã‚µãƒ¼ãƒ“ス「Treasure Workflowã€ã‚’開始ã—ãŸã€‚åŒç¤¾ãŒé–‹ç™ºã™ã‚‹OSS（オープンソースソフトウエア）「Digdagã€ã‚’使用ã™ã‚‹ã€‚ 「Microsoft Azureã€ã§ç¨¼åƒã™ã‚‹ã‚¢ãƒ—リケーションã®ãƒã‚°ã‚„「Facebook Adsã€ã®åºƒå‘Šé–²è¦§ãƒ‡ãƒ¼ã‚¿ã‚’「Amazon S3ã€ã«è“„ç©ã—ã¦ã€ã€ŒAmazon Machine Learningã€ã§æ©Ÿæ¢°å¦ç¿’ã—ã€åˆ†æžçµæžœã‚’「Treasure Dataã€ã‚„「Google BigQueryã€ã§é›†è¨ˆã™ã‚‹â€•â€•ã€‚Treasure Workflowã‚„DigdagãŒå®Ÿç¾ã™ã‚‹è¤‡æ•°ã‚¯ãƒ©ã‚¦ãƒ‰ï¼ˆãƒžãƒ«ãƒã‚¯ãƒ©ã‚¦ãƒ‰ï¼‰ã«ã¾ãŸãŒã‚‹ãƒ¯ãƒ¼ã‚¯ãƒ•ãƒãƒ¼ç®¡ç†ã¨ã¯ã€ã“ã®ã‚ˆã†ãªã‚‚ã®ã 。 Treasure Dataã¯2016å¹´11月29æ—¥ã«ã€Digdagã‚’O
ã€åŸºèª¿è¬›æ¼”】分散ワークフãƒãƒ¼ã‚¨ãƒ³ã‚¸ãƒ³ã€ŽDigdagã€ã®å®Ÿè£…　å¤æ©‹ 貞之æ°
æ±äº¬Rubyä¼šè° 11（2016å¹´5月28æ—¥åŽéŒ²ï¼‰
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Add Graal JavaScript engine in addition to Nashorn by frsyuki · Pull Request #1256 · treasure-data/digdag
digdag ã® rb オペレータ㧠bundle exec を使ã†ï¼“ã¤ã®æ–¹æ³• - Qiita
https://docs.digdag.io/api/
GitHub - saicologic/digdag_client: Unofficial Digdag WebAPI Client Library for Digdag Server.
GitHub - szyn/mog: mog is the CLI for Digdag (Unofficial) (https://www.digdag.io).
Digdagã¯ãªãœYAMLãªã®ã‹ï¼Ÿ
{{#tags}}- {{label}}
{{/tags}}