検索対象

並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 46件

新着順 人気順

データカタログの検索結果1 - 40 件 / 46件

タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。

データカタログに関するエントリは46件あります。 データ、 統計、 data などが関連タグです。 人気エントリには 『データカタログを作成してZOZOTOWNデータベース定義をまとめた話 - ZOZO TECH BLOG』などがあります。

データカタログの関連エントリー

  • データカタログを作成してZOZOTOWNデータベース定義をまとめた話 - ZOZO TECH BLOG

    こんにちは。ZOZOTOWN開発本部 バックエンド1ブロックの山本です。普段はZOZOTOWNのバックエンドやマイクロサービスAPIなどの開発に携わっています。 ZOZOTOWNは膨大なデータを有しており、テーブルやカラムの数も膨大です。しかし、ER図やテーブル定義に関するドキュメントは手動で更新されていたため情報遅れが生じ、信頼性が低いものとなっていました。 本記事ではその問題を解決するための取り組み、「データカタログ作成プロジェクト」について紹介します。 目次 目次 データカタログとは Dataedo dbdocs 背景・目的 課題の解決手段 内製したソフトウェアのアーキテクチャと基本機能 ER図作成UI 利用実績に基づく仮想外部キーの作成、カーディナリティの推定 リレーションシップを持っているテーブルペアの洗い出し 1:N or 1:1の推定 0以上か1以上の推定 リレーションシップ

      データカタログを作成してZOZOTOWNデータベース定義をまとめた話 - ZOZO TECH BLOG

    • データカタログ特集　データ利活用に向けたアーキテクチャ6選 - Findy Tools

      整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 株式会社10X事業内容10Xでは「10xを創る」をミッションとし、小売向けECプラットフォーム「Stailer」の提供を通じて、スーパーやドラッグストア等のオンライン事業立ち上げ・運営支援を行っています。Stailerでは業務構築におけるコンサルティングから、必要な商品マスタやお客様アプリ・スタッフ向けのオペレーションシステム等の提供、配達システムの提供、販売促進の支援など、データを分析しながら一気通貫での支援を行っています。 データカタログ導入の背景以前はデータ分析にデータレイクのテーブルがよく利用されており、カラムのメタデ

        データカタログ特集　データ利活用に向けたアーキテクチャ6選 - Findy Tools

      • データカタログにNotionを選択した理由

        実装方法 冪等性を担保したGoogle Cloud Composerの設計と実装で紹介しているとおり、Luupのデータ基盤はGoogle Cloud Composerを軸に動いています。なので今回も、Google Cloud Composerの環境下に作りました。 アウトプットイメージは以下です。 以下のNotion APIのDocumentを参考に実装を進めていきます。 サンプルコードも豊富で、説明も丁寧なので簡単に実装できました。 以下、コード一例です。 # Notionのフォーマットに変換するメソッド def format_standard_property_value(self, property_name: str, value: str): if property_name == "title": return {"title": [{"text": {"content": v

          データカタログにNotionを選択した理由

        • dbt docsを使ったデータカタログの運用事例紹介

          10Xが掲げるオリジナルの品質特性について #nihonbashitesttalk / 10X quality characteristic

            dbt docsを使ったデータカタログの運用事例紹介

            • データカタログの関連エントリー

          • Amazon DataZone でデータカタログを実現する - Taste of Tech Topics

            はじめに こんにちは一史です。最近自動給水器を買い、ベランダで育てているバジルの水やりを自動化しました。テクノロジーは素晴らしいですね。 さて、AWSにはAmazon DataZoneという組織が蓄積した膨大なデータに対して、データの発見、アクセス制御、管理を簡素化するデータ管理サービスがあります。 データドリブンが重要視される昨今、今回はDataZone上にデータカタログの作成を行ってみます。 はじめに 概要 データレイクとは データカタログとは なぜAmazon DataZoneが必要か（AWS Guleとの違い） Amazon DataZoneとは サービス概要 DataZoneのデータカタログの完成像 Amazon DataZoneでデータカタログを作成してみる 構成概要 データ準備 ドメインとデータポータルの作成 プロジェクトの作成 環境の作成 データカタログの作成 データアセッ

              Amazon DataZone でデータカタログを実現する - Taste of Tech Topics

            • 最近のデータカタログの各種機能の有無を確認してみた（2024å¹´4月時点） | DevelopersIO

              さがらです。 ここ１～２年は新しい製品のリリースが落ち着いてきた印象ですが、Modern Data Stack界隈ではたくさんのデータカタログ製品が存在しています。 私も２年くらい前に色々触って調査したものの、この２年間での各製品のアップデートが凄まじく「どの製品がどの機能を持っているんだっけ…？」と知識が怪しくなってきてしまっている状況です。 そこで、今回改めて各製品の公式ドキュメントをベースに、最近のデータカタログの各種機能の有無を確認してみたので、本記事でまとめてみます。 ※注意事項：各製品のアップデートのスピードは本当に早いため、半年も経てば現時点で出来ていなかったことが出来ているようになっている可能性が高いです。最新の情報はご自身で確認の上、本記事は参考程度にご利用ください。 比較対象のデータカタログ 比較対象としては、以下のデータカタログを比較します。 SaaS Atlan S

                最近のデータカタログの各種機能の有無を確認してみた（2024年4月時点） | DevelopersIO

              • データ利活用を推進するのためのメタデータ管理術 | 日本発のデータカタログ「COMETA」

                メタデータとは メタデータとは「データに関するデータ」と定義されています。 「データに関するデータ」というのは表現としてピンとこない方は、データ利活用に必要なデータに関する周辺情報と覚えておけば良いでしょう。 具体的に「データに関するデータ」とは何なのか、まずは、写真のデータを例に挙げ説明します。 写真にはExifという規格に沿った写真の撮影情報データが付加されています。そして、写真というデータに対して、Exifという規格に沿って保持しているデータをメタデータと呼びます。 写真のメタデータであるExif情報はWindowsでもMacでもファイルから確認することができます。 次に、データ基盤で管理されている顧客情報を管理しているテーブルを例に、データに関するメタデータについて説明します。 たとえば以下の画像のようなデータです。メタデータが無い時はリレーショナルデータベース（RDB）の情報その

                  データ利活用を推進するのためのメタデータ管理術 | 日本発のデータカタログ「COMETA」

                • “データ活用を促す”ためのデータカタログの条件とは？ 基本から教わった (1/2)

                  企業でデータ活用の機運が高まる中、データ環境の構成要素のひとつとして注目されるのが「データカタログ」だ。調査会社ITRの発表（2024年1月）によると、国内企業でもデータカタログの有用性に対する理解が深まっており、2022～2027年度の国内データカタログ市場の年間平均成長率（CAGR）は18.3％と予測されている。 データカタログの役割をひと言で言えば「企業内にあるデータを一元管理すること」だ。ただし、本来の目的は「企業におけるデータ活用を促進すること」であり、この目的を果たさなければ意味がないはずだ。企業内でのデータ活用を促すために、データカタログにはどんな要件が求められるのだろうか。 今回は、データ基盤支援サービスの「TROCCO（トロッコ）」や、データカタログサービスの「COMETA（コメタ）」を提供するprimeNumberの鈴木健太氏、廣瀬智史氏に、データカタログの基本的な役割

                    “データ活用を促す”ためのデータカタログの条件とは？ 基本から教わった (1/2)

                  • データカタログの本格導入に向けたdbt-osmosisへの貢献について紹介します - 10X Product Blog

                    Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ管理の仕事をしています。 最近、データカタログの本格導入の準備を進めていて、それに向けた補助ツールとしてdbt-osmosisもゴリゴリと使い倒すようになってきました。その中で「10Xでの運用を考えるとこういうケースで困るし、前職までの経験を踏まえると解決できると他社でも役に立ちそう」「この挙動は普通にバグっぽいな...」というものがあったので、立て続けにPull Requestを送りました。ありがたいことに全部マージしてもらえましたが、せっかくなのでデータカタログの導入に向けてdbt-osmosisを採用した背景やどういったPull Requestを送ったか紹介します。 データカタログ導入の必要性 メタデータをいかに効率よく入力するか: dbt-osmosisの導入 取り込

                      データカタログの本格導入に向けたdbt-osmosisへの貢献について紹介します - 10X Product Blog

                    • OSSデータカタログの決定版！？OpenMetadataがかなりイケてるので紹介したい | DevelopersIO

                      本記事では、最近登場したばかりのOSSデータカタログ OpenMetadata についてご紹介していきます。 商用製品縛りでデータ系SaaSを紹介してきた本アドベントカレンダーですが、最後の23製品目はOSSのデータカタログをご紹介します。というのも、商用製品並みに良くできているんですよねコレ。 OpenMetadataについて OpenMetadataは、2021年8月に最初のバージョン0.3.0がリリースされたOSSのデータカタログです。1ヶ月サイクルでリリースするという驚異的な開発速度で改善や機能拡張が進み、2021年12月23日現在でバージョンは0.7.0がリリースされています。 Announcing OpenMetadata. Open-source project to supercharge your… | by Suresh Srinivas | OpenMetadata

                        OSSデータカタログの決定版！？OpenMetadataがかなりイケてるので紹介したい | DevelopersIO

                      • データカタログ横断システム

                        データカタログ横断システムはSIP NIIコンソーシアムが開発したオープンデータに係る情報検索サイトです。

                        • データカタログにConnected Sheetsã‚„Looker Studioの情報を取り込んでレポートのデータソースを追跡する - LayerX エンジニアブログ

                          はじめに こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社では、データの意味やデータの質、データの利活用を一元的に管理することを目的として、データカタログソリューションの一種であるOpenMetadataを導入しました。OpenMetadataを利用することで、様々な種類のデータベースやBI、CRMと連携し、データの管理と可視化を効率化しています。 弊社では主にBIツールとしてLooker Studioを使用しています。また、Google SheetsはConnected Sheetsの機能を使い、BigQuery上に構築されたデータ基盤のデータを用いて簡易的にデータ分析や可視化を行うツールとして利用しています。しかし、これらのツールはOpenMetadataのビルトイン機能ではサポートされていませんでした。そのため、データ変更時の影響範囲の把握や

                            データカタログにConnected SheetsやLooker Studioの情報を取り込んでレポートのデータソースを追跡する - LayerX エンジニアブログ

                          • データカタログとは～DMBOKをベースにした拡張的解釈～ - Qiita

                            はじめに データレイクの普及に伴い、再注目されているデータカタログについて整理します。本投稿は、Data Management Body of Knowledge 日本語版（以後、 DMBOK ）をベースに投稿者の解釈を加えてものであり、DMBOKに準拠しているわけではないことに留意してください。 データカタログとは データカタログとは、データモデルとData Integration and Interoperability（データ統合と相互運用性）のメタデータに関する、カタログの作成（定義・抽出・蓄積）、および、カタログの利用（探索・把握・共有・配信）によるデータガバナンス支援ツールです。 メタデータとは、DMBOKにて、下記のように記載されています。 最も一般的な定義である「データに関するデータ」は単純過ぎて誤解を招きやすい。メタデータとして分類できる情報の種類は幅広い。ITプロセスと

                              データカタログとは～DMBOKをベースにした拡張的解釈～ - Qiita

                            • Dataplex(æ—§Data Catalog)によるデータカタログの調査 - yasuhisa's blog

                              Dataplex(旧Data Catalog)によるデータカタログについてあれやこれやれやをまとめておいたポインタが欲しくなってきたので、とりとめもなくつらつらと書きます。 注意点: BigQuery on GCPの運用を前提に書いてます Dataplexはデータカタログ以外の機能もたくさんありますが、データカタログの観点にフォーカスして書いてます 論理的なデータ構造を作成したり、それに基づいた権限管理など 少人数のチームでデータ基盤を運営しており、データカタログの運用自体に工数をなかなか割けない前提で書いてます 自前で作ることも難しいし、ましてそれを継続的に運用するのはさらに難しい 「データカタログ」という言葉が指すスコープも色々ありそうですが、「検索 + メタデータ管理」くらいのスコープで書いてます 包括的に書くつもりはないので、漏れてる観点は多いと思います データカタログがなぜ必要か

                                Dataplex(旧Data Catalog)によるデータカタログの調査 - yasuhisa's blog

                              • OpenMetadataとdbtによるデータカタログの構築

                                2 © 2023 LayerX Inc. 自己紹介 平田 拓也(@TrsNium) 株式会社LayerX 機械学習・データ基盤部 データエンジニア 2023年11月よりLayerXにjoin これまで • エッジデバイス上でMLOpsをするためのSaaSの開発 • 自社ECサイトの機械学習を使ったプロダクトのSRE などをやってました →LayerXに転職して初めてdbtを触りました お手柔らかに、よろしくお願いします！ mm 3 © 2023 LayerX Inc. バクラクシリーズラインナップ 稟議・支払申請・経費精算 仕訳・支払処理効率化 法人カードの発行・管理 帳票保存・ストレージ 帳票発行 * 経費精算のSlack連携は申請内容の通知のみ ・AIが領収書を５秒でデータ化 ・スマホアプリとSlack連携あり ・領収書の重複申請などミス防止機能 ・AIが請求書を５秒でデータ化 ・仕訳

                                  OpenMetadataとdbtによるデータカタログの構築

                                • オープンなコミュニティ志向のデータカタログ「data.world」を試してみた | DevelopersIO

                                  本記事では、今注目されているデータカタログの一つ data.world について紹介とデモを行なっていきます。 そもそも、「データカタログって何？」という方のために軽く説明しておきますと、データカタログとはざっくり、 データベース・データレイク内のデータに対して、概要や特徴量、関連性などをまとめて一覧化しておくサービス です。え、それだけ？と思われるかもしれませんが、現代のデータ基盤はデータソースの数も増加してますし、BIなどから参照する分析用のデータ（データマート）の数も増加していることから、「とりあえずどんなデータがあるのか、ざっくり知りたいんだよね〜。」といったニーズが増えつつあります。 data.worldについて data.worldは、2015年にアメリカのテキサス州で創業されたデータカタログのベンチャー企業です。data.worldは元々、データに関するオープンなコミュニティ

                                    オープンなコミュニティ志向のデータカタログ「data.world」を試してみた | DevelopersIO

                                  • DSAデータカタログガイドライン | 一般社団法人データ社会推進協議会(DSA)

                                    データ流通のために利用する「データカタログ」をステークホルダーを越えて交換ないしは配布する際、使用されるデータ項目について示したガイドラインです。具体的には、データカタログに関する技術的な定義や拡張制限事項についての定義、および適合性ルールを示します。 業界団体やグループ企業等でデータカタログ項目を策定する際に本書を参照してデータカタログ項目を定義することで、業界内外でのデータ提供・利用が円滑化することを目指します。

                                      DSAデータカタログガイドライン | 一般社団法人データ社会推進協議会(DSA)

                                    • 東京都 新型コロナウイルス陽性患者発表詳細 - 東京都_新型コロナウイルス陽性患者発表詳細 - 東京都オープンデータカタログサイト

                                      東京都 新型コロナウイルス対策サイト https://stopcovid19.metro.tokyo.lg.jp/ で公開している都内 新型コロナウイルス陽性患者の詳細データです。（注）公表_年月日：患者情報を公表した年月日。発症_年月日：症状があらわれた年月日。確定_年月日：検査により陽性であることを医師が確認した年月日。退院済フラグには、死亡退院含む。 （参考）新型コロナウイルス感染症対策に関するオープンデータ項目定義書　https://www.code4japan.org/activity/stopcovid19#od_spec ※　システムの仕様上、下記では1000recordsと表示されておりますが、実際には1000件以上となっております。

                                      • 人文学・社会科学総合データカタログ「JDCat」運用を開始研究・教育、政策立案の分野で活用できる人文学・社会科学データを検索可能に - 国立情報学研究所 / National Institute of Informatics

                                        2021/07/16 人文学・社会科学総合データカタログ「JDCat」運用を開始 研究・教育、政策立案の分野で活用できる人文学・社会科学データを検索可能に 独立行政法人 日本学術振興会（JSPSジェーエスピーエス、理事長：里見 進）と大学共同利用機関法人 情報・システム研究機構 国立情報学研究所（NIIエヌアイアイ、所長：喜連川 優）は、人文学・社会科学分野のデータを検索するための人文学・社会科学総合データカタログ「JDCatジェイディーキャット」を公開しました。このJDCatは、JSPSが推進している人文学・社会科学データインフラストラクチャー構築推進事業（*1）（人社データインフラ事業）によるもので、NIIのオープンサイエンス基盤研究センター（*2）（RCOSアールコス、センター長：NIIコンテンツ科学研究系教授 山地 一禎）が開発したリポジトリソフトウェアWEKO3をもとに構築したも

                                          人文学・社会科学総合データカタログ「JDCat」運用を開始研究・教育、政策立案の分野で活用できる人文学・社会科学データを検索可能に - 国立情報学研究所 / National Institute of Informatics

                                        • 内製データカタログによる分析基盤の改善〜ミニマムなメタデータ管理で分析を前に進めよう〜 - Money Forward Developers Blog

                                          この記事は、Money Forward Engineering 1 Advent Calendar 2022 7日目の投稿です。 6日目は koyoさんで i18n YAML ファイル中の日本語/英語のズレを検知する単体テスト でした。 本日は私が「メタデータ管理の最初の一歩」について書いていきたいと思います。 はじめに 初めまして、CTO室分析基盤部のnakamoriです。 私は22新卒でこの分析基盤部に配属されてから半年、データ分析基盤の開発と運用を行っています。 今回は入社して一番大きなプロジェクトだったメタデータ管理についてお話ししようと思います。 この記事が想定する読者 分析基盤であるDWH（データウェアハウス）にデータが蓄積されてきたが、メタデータ管理をまだ行っていない人 データカタログツールを導入しようか迷っている人 抱えていた課題 弊社マネーフォワードは40を超えるサービス

                                            内製データカタログによる分析基盤の改善〜ミニマムなメタデータ管理で分析を前に進めよう〜 - Money Forward Developers Blog

                                          • OSSのデータカタログを調査・整理してみた - Qiita

                                            Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

                                              OSSのデータカタログを調査・整理してみた - Qiita

                                            • 色々なDBに使えるOSSデータカタログAmundsenからAmazon Athenaのメタデータを取得してみた | DevelopersIO

                                              どうも！DA部の春田です。 Lyft社製のOSSデータカタログAmundsenの魅力の一つは、そのコネクタの豊富さです。すでにかなりの数のテーブル・コネクタ、ダッシュボード・コネクタが備わっているので、既存のETL基盤にサッと導入することができます。 amundsen-io/amundsen: Supported Integrations 今回はAmundsenをEC2インスタンス上でセットアップし、Amazon Athena内のテーブルメタデータを取得してみました。 Amundsenのセットアップ 下記事でローカルのMacにAmundsenをセットアップしていますが、今回も改めてセットアップ方法を記載しておきます。 今回使用するEC2インスタンスは、Ubuntu 20.04 LTSのt3.mediumでEBSを15GB使用します。パブリックIPを有効化し、セキュリティグループはSSH用の

                                                色々なDBに使えるOSSデータカタログAmundsenからAmazon Athenaのメタデータを取得してみた | DevelopersIO

                                              • ベース・レジストリ データカタログサイト

                                                Base Registry Data Catalog Site

                                                • 東京都 新型コロナウイルス陽性患者発表詳細 - 東京都オープンデータカタログサイト

                                                  【全数届出の見直しに伴い、2022年9月26日(月曜日)分をもって更新を終了しました】 日々の新規陽性者数については、 東京都 新型コロナウイルス感染症新規陽性者数 https://catalog.data.metro.tokyo.lg.jp/dataset/t000010d0000000109 をご利用ください。（注）公表_年月日：患者情報を公表した年月日。発症_年月日：症状があらわれた年月日。確定_年月日：検査により陽性であることを医師が確認した年月日。退院済フラグには、死亡退院含む。（参考）新型コロナウイルス感染症対策に関するオープンデータ項目定義書　https://www.code4japan.org/activity/stopcovid19#od_spec ※　データサイズにより「全期間一括データ」が開けない場合は「年別分割データ」をご利用ください。 データとリソース 東京都_新

                                                  • 日本発のデータカタログサービス「Quollio Data Catalog」を試してみた | DevelopersIO

                                                    さがらです。 今年の4月にQuollio Technologies社が「Quollio Data Catalog」というデータカタログのサービス提供を開始しました！ Quollio Technologies社は2021年8月に日本で創業した企業なのですが、日本からこういったデータ基盤に関わるサービスが生まれるのは純粋に嬉しいですね！ ということで本記事では、このQuollio Data Catalogを触ってみたので、その内容をまとめていきます。 Quollio Data Catalogとは まずQuollio Data Catalogを一言でいうと、「企業のメタデータ管理を実現する、データカタログのサービス」です。 なぜデータカタログのサービスが必要なのか？ データ基盤を自社で導入して運用している企業は多いと思いますが、「自社内にあるデータに関する情報（メタデータ）」はどうやって管理して

                                                      日本発のデータカタログサービス「Quollio Data Catalog」を試してみた | DevelopersIO

                                                    • データカタログの有用性への理解が進み、今後の国内市場は年平均18.3％成長へ─ITR | IT Leaders

                                                      IT Leaders トップ ＞ テクノロジー一覧 ＞ データマネジメント ＞ 調査・レポート ＞ データカタログの有用性への理解が進み、今後の国内市場は年平均18.3％成長へ─ITR データマネジメント データマネジメント記事一覧へ [調査・レポート] データカタログの有用性への理解が進み、今後の国内市場は年平均18.3％成長へ─ITR 2024年1月26日(金)IT Leaders編集部 リスト アイ・ティ・アール（ITR）は2024年1月25日、国内データカタログ製品・サービス市場の規模の推移と予測を発表した。2022年度の売上金額は前年度比17.6%増の8億円で、2023年度は同15.0%増の伸びを予測。2022～2027年度の年平均成長率（CAGR）は18.3%を見込んでいる組織内のデータを一元的に管理し、データ品質と正確性を確保する効果が知られるようになり、認知度が向上している

                                                        データカタログの有用性への理解が進み、今後の国内市場は年平均18.3％成長へ─ITR | IT Leaders

                                                      • LinkedIn製のOSSデータカタログ「DataHub」の概要とチュートリアル | DevelopersIO

                                                        どうも！DA部の春田です。 先日までre:Invent2020のAnalytics系のセッションレポートを書いていたのですが、海外企業のほとんどがデータポータルなるものを構築・稼働させていた点が印象的でした。このデータポータルを構成する要素の中でも、最近データカタログというサービスが注目を集めており、まだ成熟しきっていない分野ですが、探してみると新興OSSが結構見つかるんですよね。 さて、その中でも今回はLinkedIn製のOSSデータカタログ、DataHubについてご紹介していきたいと思います。 DataHubとは？ DataHubは一言で言うと、データソースのメタデータの検索とディスカバリーを実現するツールです。LinkedIn社の長年のメタデータ管理の経験の末、設計思想として以下の5点が掲げられています。 DataHub: A generalized metadata search

                                                          LinkedIn製のOSSデータカタログ「DataHub」の概要とチュートリアル | DevelopersIO

                                                        • LookML定義を活用したデータカタログ機能『Lookerデータディクショナリ』でデータガバナンスを強化！ #looker | DevelopersIO

                                                          先日購入した書籍『AWSで始めるデータレイク』を用いて、現在社内(部内)で読書会を行っています。読書会自体は非常に盛り上がっており、ディスカッションするトピックが多くて想定した以上に全然ページが進まない、という嬉しい(？)状況になっています。 そんな読書会で最近話題に挙がったのが『データカタログ』に関するトピック。AWS(サービスとしてはAWS Glue)のみならず、その他様々なサービスやツールでも『データカタログ』に関する機能は提供されています。『実際に俺達が欲しいデータカタログは一体どういうものなのだろう...』というディスカッションも為されたりと興味深いところではある(結論はまだ出てない)のですが、Lookerにもこの『データカタログ』の機能を利用する事が可能となっています。それが『Looker データディクショナリ(Data Dicrionary)』という機能です。(Looker

                                                            LookML定義を活用したデータカタログ機能『Lookerデータディクショナリ』でデータガバナンスを強化！ #looker | DevelopersIO

                                                          • 都道府県のオープンデータカタログサイトについて調べてみた - Qiita

                                                            オープンデータ憲章 の合意から約10年、地方自治体レベルでもオープンデータを公開することがごく一般的な世の中となりました。また、オープンデータ公開数が多い自治体を中心に、CKANのようなデータ管理システム、カタログサイトを利用することも増えてきました。 そこで、比較的オープンデータ公開数が多い都道府県においてどのようなカタログサイトを使われているか、調べてみました。 個人的に、カタログサイトからオープンデータを収集して Web API を提供する Linked Data API Navi というWebサイトを公開しています。 対応済み都道府県があれば、Linked Data API Navi 内の該当リンクを追加しています。 北海道・東北 都道府県 基盤 カタログサイトURL Linked Data API Navi

                                                              都道府県のオープンデータカタログサイトについて調べてみた - Qiita

                                                            • 祝日.csv の URL はデジタル庁のデータカタログから取得しよう

                                                              ちょっと前に話題になってた、祝日一覧が記載された syukujitsu.csv の URL (ファイル名)が予告なく変更されて混乱をもたらした件、結局は URL の変更が revert されて騒動は収まりました。 見られた意見には、 ファイル名を変更するなんてとんでもない！ 自分でホストすればよかったのでは？(直リンはよくない) などがありました。 件の syukujitsu.csv は、内閣府のホームページ で公開されていますが、このページだけを見ても、実はこのファイルのライセンスについての記述は見つかりません。だいぶ不便ですし、内閣府はデータ公開している意識も薄いと感じられます。 一方、デジタル庁が管理している https://www.data.go.jp/ というオープンデータカタログサイトがあり、syukujitsu.csv はこちらにも（前述のサイトへの参照が）掲載されています。

                                                                祝日.csv の URL はデジタル庁のデータカタログから取得しよう

                                                              • 自治体初の「データカタログサイト」を広島県が公開、広島発のイノベーションを促進　実証事業プロジェクトのデータなどを公開

                                                                  自治体初の「データカタログサイト」を広島県が公開、広島発のイノベーションを促進　実証事業プロジェクトのデータなどを公開

                                                                • データカタログのユニコーン企業「Collibra」のデモ環境を試してみた | DevelopersIO

                                                                  本アドベントカレンダーのトップバッターは、US市場において有名なデータカタログ Collibra です。 そもそも、「データカタログって何？」という方のために軽く説明しておきますと、データカタログとはざっくり、 データベース・データレイク内のデータに対して、概要や特徴量、関連性などをまとめて一覧化しておくサービス です。え、それだけ？と思われるかもしれませんが、現代のデータ基盤はデータソースの数も増加してますし、BIなどから参照する分析用のデータ（データマート）の数も増加していることから、「とりあえずどんなデータがあるのか、ざっくり知りたいんだよね〜。」といったニーズが増えつつあります。 Collibraについて Collibraは2008年にアメリカで創業された、データマネジメント領域のサービスを提供するスタートアップです。Slintel のデータによると、現在の顧客は1,000社を超え

                                                                    データカタログのユニコーン企業「Collibra」のデモ環境を試してみた | DevelopersIO

                                                                  • 「現実的にワークする」データカタログ | NTTデータ

                                                                    「データの種類が膨大で、データレイクのどこに何が格納されているのか分からない」「思いついた仮説を検証したいがデータの所在が分からない」。お客様からのこんなご相談が、この1～2年で激増している。データカタログを無理なく構築し育てる方法を探る。 HadoopやNoSQLの誕生を受け、2012年ころから「ビッグデータ」というキーワードが広く認知されました。そして、クラウド、ストリーミング、AIといった様々な要素技術の発展が、大量データの収集と活用を後押ししてきました。 多くの企業や組織が「データレイク」構築に取り組み、従来のシステムでは取り扱うことが困難だった巨大で複雑なデータを収集・格納しています。 データレイクに社内外から収集した様々なデータが格納されると、もはやその全貌を把握することが困難で、「欲しいデータがどこにあるか分からない」「目の前のデータの業務的な意味が分からない」という問題に直

                                                                      「現実的にワークする」データカタログ | NTTデータ

                                                                    • 縦割りにIoTで横ぐしを、三菱電機が全社横断基盤で目指す“データカタログ化”

                                                                      縦割りにIoTで横ぐしを、三菱電機が全社横断基盤で目指す“データカタログ化”：製造業IoT（1/2 ページ） 製造業でもIoTの活用が広がる中、新たに三菱電機が構築を発表したのが全社横断IoT基盤「クラリセンス」である。「クラリセンス」の狙いと役割、そして技術的背景について、三菱電機 情報技術総合研究所 IoT開発推進プロジェクトグループ 主席技師長の鶴薫氏に話を聞いた。 さまざまな現場でIoT（モノのインターネット）の活用が進む中、新たに得られるデータを部門内だけでなく全社で横断的に活用しようという動きが活発化している。こうした動きの中で、新たに三菱電機が構築を発表したのが全社横断IoT基盤「ClariSense（クラリセンス）」である（※）。 （※）関連記事：三菱電機が全社横断のIoT基盤を構築、IoTサービスの迅速な開発と提供を目指す 三菱電機は「事業部制」の中で各事業部がある意味で

                                                                        縦割りにIoTで横ぐしを、三菱電機が全社横断基盤で目指す“データカタログ化”

                                                                      • 東京都オープンデータカタログサイトホームページ

                                                                        新型コロナウイルス感染症にかかる以下のデータをオープンデータとして公開しています。 以下のデータは「新型コロナウイルス」というタグで検索可能です。 [更新情報] ・以下のデータを追加で公開しました。（2022年10月31日） ■東京都 新型コロナウイルス感染症年代別新規陽性者数 https://catalog.data.metro.tokyo.lg.jp/dataset/t000010d0000000103 [2022年９月15日より公開中] ■東京都 新型コロナウイルス感染症新規陽性者における接触歴等不明者数・増加比 https://catalog.data.metro.tokyo.lg.jp/dataset/t000010d2000000471 ■東京都 新型コロナウイルス感染症新規陽性者数 https://catalog.data.metro.tokyo.lg.jp/dataset/

                                                                          東京都オープンデータカタログサイトホームページ

                                                                        • 日本発のデータカタログ「COMETA®」 | メタデータの発見・理解・活用

                                                                          データ資産による 意思決定を加速し、 ビジネスを進化させる。 データの発見・理解・活用を促進する データカタログCOMETA® 製品デモ・製品資料 データによる意思決定の文化を醸成 COMETA®は、組織内のあらゆるデータセットに関する包括的なメタデータを提供します。これにより利用者は活用すべきデータを即座に発見し、理解することができます。ユーザーフレンドリーなインターフェースはデータ活用を促進し、結果としてデータに基づいて意思決定を行う文化が醸成され、データの価値を最大限に引き出すことが可能になります。 データ理解、活用までのリードタイムの短縮 COMETA®により、利用者は必要なデータを迅速に特定し、その定義や品質、データの関連性を即座に確認できます。それにより、データの理解と活用にかかる時間が劇的に短縮されます。そして、プロジェクトの立ち上げ速度が向上し、イノベーションのサイクルが加

                                                                            日本発のデータカタログ「COMETA®」 | メタデータの発見・理解・活用

                                                                          • ZOZOのデータカタログ内製事例と、 データカタログを整え続けるための仕組みづくりについて

                                                                            Data Engineering Study #16「データカタログ入門」 にて登壇した内容 イベントリンク：https://forkwell.connpass.com/event/255166/ アーカイブ：https://www.youtube.com/watch?v=1tBNmP7UY8w…

                                                                              ZOZOのデータカタログ内製事例と、 データカタログを整え続けるための仕組みづくりについて

                                                                            • 株式会社Quollio Technologies｜国産のデータインテリジェンス＆データカタログ専門パートナー

                                                                              Quollio Technologies（クオリオ）の公式コーポレートサイトです。「世界中の情報と知を繋げ、人類の新たな価値創造を促進する」をミッションに、急速に拡大するデータ社会に向け、企業の総合的なデータガバナンスの実現を目指します。

                                                                                株式会社Quollio Technologies｜国産のデータインテリジェンス＆データカタログ専門パートナー

                                                                              • 人文学・社会科学総合データカタログ

                                                                                WEKO3 トップ ランキング 検索キーワード 検索 詳細検索 閉じる 全文 キーワード To lat lon distance [[sub_check.contents]] [[sub_check.contents]] [[sub_radio.contents]] 開始日 To 終了日 Field does not validate [[sub_attr.contents]] 検索条件追加 検索 クリア is_permission is_login アイテムリスト 実行 表示順 表示順: 表示数 Powered by WEKO3 Change consent settings

                                                                                • DataHub vs OpenMetadata ～OSSデータカタログツール比較～ 【概要編】 - 終末 A.I.

                                                                                  データカタログ、皆さんはどう運用してますでしょうか。必要だとは思うけどプライオリティーが低く特に導入していない、スプレッドシート（エクセル）管理でお茶を濁している、各クラウドベンダー標準のものをとりあえず使っている、という所も多いのかなと勝手に想像しています。 とはいえデータカタログは、データを利用したい、特に初めて触るようなデータを利用しようとしているユーザーにとっては、一番最初に触れるデータプロダクトになる可能性が高く、ここがおざなりになっていて本当に良いのだろうか、というのがこの2つのツールを比較しようと思ったきっかけです。まずは、データカタログのニーズを一身に受けて開発が進めらているこれらのツールを比較してみることで、データカタログに求められているものを把握してみようという魂胆です。 ※ 以降の比較は、DataHub v0.8.34、OpenMetadata ver. 0.10.0

                                                                                    DataHub vs OpenMetadata ～OSSデータカタログツール比較～ 【概要編】 - 終末 A.I.
                                                                                  1 2 次のページ

                                                                                  新着記事

                                                                                  はてなブックマーク

                                                                                  公式Twitter

                                                                                  はてなのサービス

                                                                                  • App Storeからダウンロード
                                                                                  • Google Playで手に入れよう
                                                                                  Copyright © 2005-2025 Hatena. All Rights Reserved.