ディメンショナル・モデルã®æ¦‚è¦ã¨ã“ã‚Œã‹ã‚‰ã®æ´»ç”¨å±€é¢ï¼ˆï¼‘）
ディメンショナル・モデルã¯ã€ãƒ‡ãƒ¼ã‚¿åˆ†æžåŸºç›¤ã®ã‚¤ãƒ³ãƒ•ã‚©ãƒ¡ãƒ¼ã‚·ãƒ§ãƒ³ãƒžãƒ¼ãƒˆã§ä¸å¿ƒçš„ãªå½¹å‰²ã‚’æžœãŸã™ãƒ‡ãƒ¼ã‚¿ãƒ¢ãƒ‡ãƒªãƒ³ã‚°æ‰‹æ³•ã®ä¸€ã¤ã§ã™ã€‚ã“ã®æ‰‹æ³•ã¯è¿‘å¹´ã€ä¸»ã«ã‚¤ãƒ³ãƒ•ã‚©ãƒ¡ãƒ¼ã‚·ãƒ§ãƒ³ãƒžãƒ¼ãƒˆã§åˆ©ç”¨ã•ã‚Œã¦ã„ã¾ã™ãŒã€1980年代ã«æå”±ã•ã‚Œã¦ä»¥æ¥2010å¹´é ƒã¾ã§ã¯ãƒ‡ãƒ¼ã‚¿ã‚¦ã‚§ã‚¢ãƒã‚¦ã‚¹è‡ªä½“ã®ãƒ¢ãƒ‡ãƒªãƒ³ã‚°ã«ä½¿ç”¨ã•ã‚Œã‚‹ã“ã¨ã‚‚ã‚ã‚Šã¾ã—ãŸã€‚本稿ã§ã¯ã€ãƒ‡ã‚£ãƒ¡ãƒ³ã‚·ãƒ§ãƒŠãƒ«ãƒ»ãƒ¢ãƒ‡ãƒ«ã®åŸºæœ¬æ¦‚念ã¨ãã®å¿œç”¨ã®æ´å²ã‚’振り返りã€ç¾åœ¨ã®æŠ€è¡“çš„ãªèƒŒæ™¯ã‚’考慮ã—ãŸæ´»ç”¨å±€é¢ã«ã¤ã„ã¦ï¼’回ã«åˆ†ã‘ã¦è§£èª¬ã—ã¾ã™ã€‚
dbtã¨BigQueryã§å§‹ã‚ã‚‹Data Vault入門
dbt Tokyo Meeup #3ã®ç™ºè¡¨å†…容ã§ã™ 発表ã®ã‚¢ãƒ¼ã‚«ã‚¤ãƒ–ã¯ã“ã¡ã‚‰ã‹ã‚‰ https://youtu.be/SYsiRFR2LGw #dbt_tokyo
パーティション分割テーブルã®ä½œæˆ  | BigQuery  | Google Cloud Documentation
フィードãƒãƒƒã‚¯ã‚’é€ä¿¡ コレクションã§ã‚³ãƒ³ãƒ†ãƒ³ãƒ„ã‚’æ•´ç† å¿…è¦ã«å¿œã˜ã¦ã€ã‚³ãƒ³ãƒ†ãƒ³ãƒ„ã®ä¿å˜ã¨åˆ†é¡žã‚’è¡Œã„ã¾ã™ã€‚ パーティション分割テーブルã®ä½œæˆ ã“ã®ãƒšãƒ¼ã‚¸ã§ã¯ã€BigQuery ã§ãƒ‘ーティション分割テーブルを作æˆã™ã‚‹æ–¹æ³•ã«ã¤ã„ã¦èª¬æ˜Žã—ã¾ã™ã€‚パーティション分割テーブルã®æ¦‚è¦ã«ã¤ã„ã¦ã¯ã€åˆ†å‰²ãƒ†ãƒ¼ãƒ–ルã®æ¦‚è¦ã‚’ã”覧ãã ã•ã„。 始ã‚ã‚‹å‰ã« ã“ã®ãƒ‰ã‚ュメントã®å„タスクを実行ã™ã‚‹ãŸã‚ã«å¿…è¦ãªæ¨©é™ã‚’ユーザーã«ä¸Žãˆã‚‹ Identity and Access Management（IAM）ã®ãƒãƒ¼ãƒ«ã‚’付与ã—ã¾ã™ã€‚ å¿…è¦ãªæ¨©é™ å¿…è¦ãªãƒãƒ¼ãƒ« テーブルã®ä½œæˆã«å¿…è¦ãªæ¨©é™ã‚’å–å¾—ã™ã‚‹ã«ã¯ã€æ¬¡ã® IAM ãƒãƒ¼ãƒ«ã‚’付与ã™ã‚‹ã‚ˆã†ç®¡ç†è€…ã«ä¾é ¼ã—ã¦ãã ã•ã„。 データをèªã¿è¾¼ã‚“ã§ãƒ†ãƒ¼ãƒ–ルを作æˆã™ã‚‹å ´åˆã€ã¾ãŸã¯ã‚¯ã‚¨ãƒªçµæžœã‚’テーブルã«ä¿å˜ã™ã‚‹å ´åˆã¯ã€ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã«å¯¾ã™ã‚‹ BigQuery ジョブユーザー（roles/bigquery.job
データ活用基盤ã®ä»Š 〜DWH外観図〜 - クックパッド開発者ブãƒã‚°
ã“ã‚“ã«ã¡ã¯ã€ä»Šå¹´ã®1月ã«ä¼šå“¡äº‹æ¥éƒ¨ã‹ã‚‰æŠ€è¡“部データ基盤グループã¸ç•°å‹•ã—ãŸä½è—¤ã§ã™ã€‚先日ã€äº¬ã¾ãµ2019å‰å¤œç¥ã‚¤ãƒ™ãƒ³ãƒˆã«å‚åŠ ã™ã‚‹ãŸã‚ã«äººç”Ÿã§åˆã‚ã¦ãƒ”カピカ光る棒を買ã„ã¾ã—ãŸã€‚ æ–°å’ã§å…¥ç¤¾ã—ã¦ã‹ã‚‰2å¹´ã»ã©åˆ†æžä½œæ¥ã‚’ã—ã¦ã„ãŸèº«ã‹ã‚‰ã€ãƒ‡ãƒ¼ã‚¿æ´»ç”¨åŸºç›¤ã‚’作るå´ã¸ç«‹å ´ã‚’変ãˆã¾ã—ãŸã€‚今回ã¯æ–°ãŸã«èº«ã‚’移ã—ãŸãƒ‡ãƒ¼ã‚¿æ´»ç”¨åŸºç›¤ã®å¤–観を説明ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ 2017å¹´ã«ã‚‚åŒå†…容ã®è¨˜äº‹ãŒæŠ•ç¨¿ã•ã‚Œã¦ã„ã¾ã™ã®ã§ã€å½“時ã¨ã®é•ã„ã‚’ä¸å¿ƒã«èª¬æ˜Žã—ã¦ã„ãã¾ã™ã€‚ 外観図 以下ãŒ2019å¹´10月ç¾åœ¨ã«ãŠã‘るクックパッドã®ãƒ‡ãƒ¼ã‚¿æ´»ç”¨åŸºç›¤ã®å…¨ä½“åƒã§ã™ã€‚ クックパッドã®DWH外観図 masterデータã®ã‚¤ãƒ³ãƒãƒ¼ãƒˆãŒMySQL以外ã«ã‚‚複数種対応ã—始ã‚ãŸã“ã¨ã¨ã€Prismã¨Spectrum（S3＋Glue）周りã¨ã€Tableau ServerãŒå¤§ããªå¤‰æ›´ç‚¹ã¨ãªã£ã¦ã„ã¾ã™ã€‚2017å¹´ã®å›³ã«Dmemoã¯ã‚ã‚Šã¾ã›ã‚“ã§ã—ãŸãŒã€è¨˜äº‹æœ¬æ–‡ã«ã‚る通り当時ã‹
GitHub - cartershanklin/hive-scd-examples: How to manage Slowly Changing Dimensions with Apache Hive
ãŠæŽ¢ã—ã®ãƒšãƒ¼ã‚¸ãŒè¦‹ã¤ã‹ã‚Šã¾ã›ã‚“ã§ã—ãŸï¼šæ—¥ç«‹ã‚½ãƒªãƒ¥ãƒ¼ã‚·ãƒ§ãƒ³ã‚ºæ±æ—¥æœ¬
申ã—訳ã”ã–ã„ã¾ã›ã‚“。ãŠå®¢ã•ã¾ãŒãŠæŽ¢ã—ã®ãƒšãƒ¼ã‚¸ãŒè¦‹ã¤ã‹ã‚Šã¾ã›ã‚“ã§ã—ãŸã€‚ ãŠå®¢æ§˜ãŒã”利用ã®ãƒ–ラウザã§ã¯æ£å¸¸ã«è¡¨ç¤ºã•ã‚Œãªã„å¯èƒ½æ€§ãŒã”ã–ã„ã¾ã™ã€‚ InternetExplorer以外ã®ãƒ–ラウザã§ã”覧ãã ã•ã„。 InternetExplorer以外ã®ãƒ–ラウザã§ã‚‚表示ã•ã‚Œãªã„å ´åˆã¯ã€URLãŒå¤‰æ›´ã•ã‚ŒãŸã€ã¾ãŸã¯ãƒšãƒ¼ã‚¸ãŒå˜åœ¨ã—ãªã„å¯èƒ½æ€§ãŒã”ã–ã„ã¾ã™ã€‚ ãŠæ‰‹æ•°ã§ã™ãŒã€æ—¥ç«‹ã‚½ãƒªãƒ¥ãƒ¼ã‚·ãƒ§ãƒ³ã‚ºæ±æ—¥æœ¬ サイトトップ ページよりã”希望ã®ãƒšãƒ¼ã‚¸ã«ãŠé€²ã¿ãã ã•ã„。 日立ソリューションズæ±æ—¥æœ¬ã€€Webサイトトップページ㸠日立ソリューションズæ±æ—¥æœ¬ã€€ã‚µã‚¤ãƒˆãƒžãƒƒãƒ—ã¸
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Big Metadata: When Metadata is Big Data
CIDR Proceedings
AutomateDV
Napa: Powering Scalable Data Warehousing with Robust Query Performance at Google
Microsoft Word - Google Big Query - ESG Economic Value Audit Whitepaper - May 2017.docx
https://services.google.com/fh/files/blogs/esg_economic_validation_google_bigquery_vs_cloud-based-edws-september_2019.pdf
Schema Reference
TechCrunch | Startup and Technology News
https://cloudonair.withgoogle.com/events/datawarehouse
Latest Insights on Data and AI | Cloudera Blog
Latest Insights on Data and AI | Cloudera Blog
Introducing column based partitioning in BigQuery - Shine Solutions Group
Shasta: Interactive Reporting at Scale
Practices for Continuous Data Warehousing (DW)/Business Intelligence (BI)
{{#tags}}- {{label}}
{{/tags}}