「Data Engineering Study #23 Data orchestration 特集ã€ã®ç™ºè¡¨è³‡æ–™ã§ã™ イベントページ: https://forkwell.connpass.com/event/310011/
ワークフãƒãƒ¼ã‚ªãƒ¼ã‚±ã‚¹ãƒˆãƒ¬ãƒ¼ã‚·ãƒ§ãƒ³å…¥é–€
「Data Engineering Study #23 Data orchestration 特集ã€ã®ç™ºè¡¨è³‡æ–™ã§ã™ イベントページ: https://forkwell.connpass.com/event/310011/
GitHub - meirwah/awesome-workflow-engines: A curated list of awesome open source workflow engines
Activepieces - Open source no-code business automation, alternative to Zapier AiiDA - Open source workflow manager for computational science with strong focus on performance, provenance, and extensibility. Airflow - Python-based platform for running directed acyclic graphs (DAGs) of tasks Argo Workflows - Open source container-native workflow engine for getting work done on Kubernetes Arvados - Op
Power Apps & GPT-4oを使ã£ã¦è¶…高速ã§ç”»åƒè§£æžã‚¢ãƒ—ãƒªã‚’ä½œã‚‹ï¼ - Qiita
GPT-4o凄ã™ãŽã‚‹ï¼ï¼ 出ãŸã¨ãã‹ã‚‰é¨’ãŽã¾ãã£ã¦ã„ã¾ã—ãŸãŒã€GPT-4oã®ç™»å ´ã§èˆˆå¥®ã—ã£ã±ãªã—ã®ç§ã§ã™ã€‚ 先日ã“ã¡ã‚‰ã®Qiitaã®è¨˜äº‹ã‚’æ‹èªã—ã€ã€ŒPower Appsã§ã‚„ã£ãŸã‚‰ã©ã†ãªã‚‹ã ã‚ã†ðŸ§ã€ã¨ã„ã†æ€ã„ãŒæŠ‘ãˆã‚‰ã‚Œãšã€ä½œã£ã¦ã¿ãŸã‚‰è¶…高速ã§ç”»åƒè§£æžã‚¢ãƒ—リãŒä½œæˆã§ãã¾ã—ãŸï¼ ã‚らãŸã‚ã¦è¨˜äº‹ã‚’出ã—ã¦ãã ã•ã£ãŸã“ã¨ã«æ„Ÿè¬ã„ãŸã—ã¾ã™ï¼ ã¾ãšã¯åˆå¼¾ï¼ã¨ã„ã†ã“ã¨ã§GPT-4oを使ã£ã¦ã€ Power Appsã§ç”»åƒè§£æžã‚¢ãƒ—リを作æˆã™ã‚‹æ–¹æ³• を書ã„ã¦ã„ãã¾ã™ï¼ ã¾ãšã¯è¦‹ãŸç›®ï¼ˆPower Apps）ã‹ã‚‰ï¼ ã¾ãšã¯Power Appsã§ã‚µã‚¯ã£ã¨ç”»é¢ã‚’作りã¾ã™ï¼ PowerPoint感覚ã§ä½œã‚Œã‚‹ã“ã¨ãŒå¼·ã¿ã§ã™ã‹ã‚‰ãï¼ æœ€ä½Žé™ã®ã‚‚ã®ã§æ§‹æˆã—ã¦ã„ã¾ã™ã€‚ ç”»é¢ â”œâ”€ ScreenContainer - スクリーン全体 ├─ HeaderContainer │ └─ Header - ヘッダーコントãƒãƒ¼ãƒ« ├─ Bo
Celeryã«ã‚ˆã‚‹PythonベースéžåŒæœŸã‚¿ã‚¹ã‚¯å‡¦ç†
ã¯ã˜ã‚㫠例ãˆã°æ©Ÿæ¢°å¦ç¿’モデルをé‹ç”¨ã™ã‚‹éš›ã«ã€WebAPIå½¢å¼ã§äºˆæ¸¬ã‚’æä¾›ã™ã‚‹ã®ã¯ä¸€èˆ¬çš„ãªæ–¹æ³•ã¨è¨€ãˆã¾ã™ã€‚ã“ã“ã§æŽ¨è«–処ç†ã«æ™‚é–“ãŒã‹ã‹ã‚‹å ´åˆã«ã¯ã€ãƒªã‚¯ã‚¨ã‚¹ãƒˆã«å¯¾ã™ã‚‹ãƒ¬ã‚¹ãƒãƒ³ã‚¹ã ã‘å…ˆã«è¿”ã—ã¦ãŠãã€å‡¦ç†ã®æœ¬ä½“ã¯ãƒãƒƒã‚¯ã‚°ãƒ©ã‚¦ãƒ³ãƒ‰ã§éžåŒæœŸçš„ã«å®Ÿè¡Œã™ã‚‹ã¨ã„ã†é¸æŠžè‚¢ãŒå˜åœ¨ã—ã¾ã™ã€‚ 本記事ã§ã¯ã€Pythonベースã®åˆ†æ•£ã‚¿ã‚¹ã‚¯ã‚ューツールã§ã‚ã‚‹Celeryを用ã„ã¦ã€WebAPIã¸ã®ãƒªã‚¯ã‚¨ã‚¹ãƒˆã«å¯¾å¿œã—ãŸã‚¿ã‚¹ã‚¯ã‚’éžåŒæœŸå®Ÿè¡Œã—ã€çµæžœã‚’確èªã™ã‚‹ã¾ã§ã‚’紹介ã—ã¾ã™ã€‚サンプルコードã¯ä»¥ä¸‹ã«é…ç½®ã—ã¾ã—ãŸã€‚ Celeryã¨ã¯ å…¬å¼ãƒ‰ã‚ュメントã®å†’é ã«ã¯ä»¥ä¸‹ã®ã‚ˆã†ã«æ›¸ã‹ã‚Œã¦ã„ã¾ã™ã€‚ Celery is a simple, flexible, and reliable distributed system to process vast amounts of messages, while providing operation
Prometheus Metricsを使ã£ã¦Argo Workflowsã®Workflowã®æˆå¦ã‚’Datadogã§ç›£è¦–ã™ã‚‹ - yasuhisa's blog
背景 具体的ãªè¨å®š コントãƒãƒ¼ãƒ©ãƒ¼ã«è¨å®šã‚’生や㙠workflowを監視ã™ã‚‹ãŸã‚ã®ã‚«ã‚¹ã‚¿ãƒ メトリクスを定義ã™ã‚‹ å„workflowã«åŒæ§˜ã®ã‚«ã‚¹ã‚¿ãƒ メトリクスを定義ã™ã‚‹ デãƒãƒƒã‚°æ–¹æ³• 所感 背景 å‰è·ã«å¼•ã続ãã€ç¾è·ã§ã‚‚Argo Workflowsを使ã£ã¦ãƒ‡ãƒ¼ã‚¿ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ãƒªãƒ³ã‚°ç³»ã®ãƒãƒƒãƒå‡¦ç†ã‚’è¡Œãªã£ã¦ã„ã‚‹ 以å‰ã«Cloud Workflowsを調査ã—ãŸã“ã¨ãŒã‚ã£ãŸãŒã€ã¾ã ã¡ã‚‡ã£ã¨åŽ³ã—ã„æ„ŸãŒã‚ã£ãŸ å‰è·ã§ã¯Cloud Monitoringã§ç›£è¦–ã—ã¦ã„ãŸãŒã€ç¾è·ã§ã¯Datadogã§ç›£è¦–ã—ã¦ã„ã‚‹ã®ã§ã€å…¨ç¤¾ã®ä½“制ã«åˆã‚ã›ã¦Datadogã§ç›£è¦–ã—ã¦ã„ããŸã„ Argo Workflowsã¯Prometheus Metricsã«å¯¾å¿œã—ã¦ãŠã‚Šã€Datadogã¯agent経由ã§Prometheus Metricsã®åŽé›†ã‚’容易ã«è¡Œãªãˆã‚‹ã“ã¨ãŒåˆ†ã‹ã£ãŸ åŒåƒšã®SREã§ã‚ã‚‹tapihã•ã‚“ã‹ã‚‰æ•™ãˆã¦ã„ãŸã ã„ã¦ã¾ã—ãŸã€
ãƒãƒƒãƒå‡¦ç†ç³»ã®åˆ·æ–°ã¨Argo Workflow移行
ã“ã‚Œã¯PTAアドベントカレンダーã®7日目ã®è¨˜äº‹ã§ã™ã€‚ 5å¹´é–“é‹ç”¨ã•ã‚Œã¦ããŸãƒãƒƒãƒå‡¦ç†ç³»ã‚’刷新ã—ã€Argo Workflowを用ã„ãŸãƒãƒƒãƒå‡¦ç†ç³»ã«ç§»è¡Œã—ãŸã®ã§ãã®ç´¹ä»‹è¨˜äº‹ã§ã™ã€‚ 背景 GKE上ã§ãƒãƒƒãƒå‡¦ç†ã®ãƒ¯ãƒ¼ã‚¯ãƒãƒ¼ãƒ‰ã‚’実行ã—ã¦ãŠã‚Šã€ãƒ¯ãƒ¼ã‚¯ãƒ•ãƒãƒ¼ã‚¨ãƒ³ã‚¸ãƒ³ã¨ã—ã¦Digdagを採用ã—ã¦ã„ã¾ã—ãŸã€‚ユースケースã¨ã—ã¦ã¯å®šæœŸå®Ÿè¡Œã®ãƒãƒƒãƒå‡¦ç†ã€ETLã€æ©Ÿæ¢°å¦ç¿’ç‰ã€‚ Digdagを用ã„ãŸãƒ¯ãƒ¼ã‚¯ãƒ•ãƒãƒ¼å®šç¾©ã¯ã‚·ãƒ³ãƒ—ルã‹ã¤é‹ç”¨ã«å¿…è¦ãªæ©Ÿèƒ½ã‚’æä¾›ã—ã¦ãã‚Œã¦ã„ã¾ã™ã€‚実際ã®ãƒ¯ãƒ¼ã‚¯ãƒ•ãƒãƒ¼å†…部ã®å‡¦ç†ã¨ã—ã¦ã¯ã€ãƒ¯ãƒ¼ã‚¯ãƒ•ãƒãƒ¼ã®å„タスクã«ãŠã„ã¦ã¯åŸºæœ¬çš„ã«ã¯ãƒã‚¸ãƒƒã‚¯ã¯æŒãŸãšKubernetes Jobã®å®Ÿè¡Œã®ã¿ã‚’è¡Œã„ã¾ã™ã€‚ãã®ãŸã‚ã«Digdagã¨Kubernetes Jobé–“ã§å”調動作ã™ã‚‹ãŸã‚ã®ä»•çµ„ã¿ãŒç‹¬è‡ªã§ç”¨æ„ã•ã‚Œã¦ã„ã¾ã—ãŸã€‚ã“ã®ã‚ˆã†ãªãƒãƒƒãƒå‡¦ç†ç³»ãŒç´„5年程é‹ç”¨ã•ã‚Œã¦ãã¾ã—ãŸã€‚ ã“ã®ä»•çµ„ã§ä»Šã¾ã§å…ƒæ°—ã«å‹•ã„ã¦ã¯ã„ãŸã®ã§ã™ãŒæ¬¡ã®ã‚ˆ
1
ランã‚ング
ランã‚ング
メンテナンス
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}