地名の最後の一文字だけで地図をつくると地形が見える
先日、こんな地図を作った。 なんのこっちゃと思うが、拡大するとこうなっている。 じつは小さな文字が集まってできている。東京の地名の末尾の一文字だけを並べたものなのだ。 中央やや右でぽつんと「田」となっているのは、千代田の「田」だ。全体をよく見ると「山」「谷」「海」などが散らばっている。それぞれ、代官山だったり渋谷だったり青海だったりするのだが、こうやって末尾の一文字だけにすることでうまい具合にその土地の特徴や地形が浮かび上がるように見える。 どうしてこんなものを作ったか これを作ったきっかけは永太郎さんという方のツイートだ。 永太郎さんは京都で地理を専攻している学生だ。先日も「なんでもない地図を語る会」という記事でお世話になった。なにかの調査の一環だと思うが、地図から地名だけを抜き出してものを作っていた。これがとても面白く、しかもそれ自体ぎりぎり地図と言えないこともない。しかし、残念ながら
データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog
こんにちは、データ基盤グループの吉田(id:syou6162)です。先日、モノタロウ社内で「データ管理に役立つメタデータ」に関する勉強会を開催しました。BigQueryのINFORMATION_SCHEMAを中心とした実例を豊富に盛り込んだ内容について話したのですが、社内に限らず有用な内容であると思うので、広く公開します。 開催に至った背景 モノタロウ社内では広くデータ活用が進んでおり、GCPのプロジェクトは数百以上運用され、その中の多くのプロジェクトでBigQueryも使われています。社内に広く提供するDWHやセキュリティなど全社的なデータ基盤に関することはデータ基盤グループが運用/管理を行なっていますが、社内のGCPプロジェクト全てのデータ管理にデータ基盤グループが深く関わっていくのは工数的に困難です*1。 INFORMATION_SCHEMAなどデータ管理に役に立つメタデータのノウハ
Elasticsearchで関連キーワード機能がどれだけ低コストで実装できるかの旅路 - エムスリーテックブログ
クエリに対する関連キーワード機能 エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 最近の仕事で医師に質問ができるサービスで「Elasticsearchを使ってなるべく低コストで関連キーワード機能を実装する」という案件に携わっていました。本記事では関連キーワード機能を低コストで実装するための技術調査の結果と、実際に採用した方法をご紹介します。 今回紹介する方法は機械学習などは使わず、なるべく低コストである程度の品質を目指すものです。この記事を読むことで検索アプリケーションにサクッと関連キーワード機能を実装できるようになるでしょう。 Overview 検索における関連キーワード機能とは 実装の前提条件 実装パターンの紹介 (1) ログで出現した単語を数えあげる (2) ログに対
はじめに 環境情報 Delta Lake (デルタレイク) とは Delta Lake の実体 Delta Lake の構造 Parquet と Delta の相違点 Parquetとは何か Parquetの構造 Parquet と Delta の違い Delta Lake が生まれた経緯: データレイクと Delta Lake の違い データレイクのメリット データレイクの課題 *Parquetで構築した場合 Delta Lake の特徴 ACIDトランザクションの担保 スケーラブルなメタデータ管理 バッチとストリーミングワークロードの統合 タイムトラベル (バージョン管理) CONSTRAINT句のサポート DML (データ操作言語) のフルサポート UPDATE DELETE MERGE 柔軟なスキーマ管理 1. スキーマ エンフォースメント 2. スキーマ エボリューション ストレ
データ基盤のメタデータを継続的に管理できる仕組みを作る - Hatena Developer Blog
こんにちは。MackerelチームでCRE(Customer Reliability Engineer)をしているid:syou6162です。 CREチームではカスタマーサクセスを進めるため、最近データ分析により力を入れています(参考1, 参考2)。データ分析を正確に行なうためには、データに関する正確な知識が必要です。今回はより正確なデータ分析を支えるためのメタデータを継続的に管理する仕組みについて書いてみます。 データに対する知識: メタデータ データ分析を正確に行なうためには、データ自身に関する知識(=メタデータ)が必要です。例えば、Mackerelのデータ分析タスクでは以下のような知識が必要とされることが多いです。 このテーブル / カラムは何のためのテーブルなのか 似たようなカラムとの違い 集計条件の違い、など データがどのような値を取り得るか SELECT column, COU
Excelに新機能「Custom Data Types」登場。セルをキーにしてさまざまな情報を参照。ユーザー独自の定義も可能に
Excelに新機能「Custom Data Types」登場。セルをキーにしてさまざまな情報を参照。ユーザー独自の定義も可能に マイクロソフトはExcelの新機能として従来の「Data Types」を拡張した、「Custom Data Types」の導入を明らかにしました。 Custom Data Typesは、いわばあるセルに入っている情報をキーにして情報を参照する機能を実現するもの。 参照先としてPower BIやPower Queryで接続されたサーバなどを設定できるため、顧客名の入ったセルをキーにすると、顧客の連絡先や住所、現時点での売り上げ、社内の担当営業といった情報をマウス操作だけで参照できるようになります。 Introducing custom data types using your own business data through Power BI and Power
2023年3月30日付で、国立国会図書館サーチが「メタデータ流通ガイドライン」＜研究データ編＞を公開しています。 同ガイドラインは、デジタルアーカイブ、蔵書目録等のデータベースのメタデータ設計の関係者が、各機関の特性に応じた適切なメタデータの作成、流通経路の選択ができるように作成されました。2022年3月にドラフト版として＜共通編＞を公開していました。 国立情報学研究所（NII）・科学技術振興機構（JST）・国立国会図書館（NDL）連絡会議の「メタデータの相互運用性に関する検討ワーキンググループ」において、NII、JST、NDL、オープンアクセスリポジトリ推進協会（JPCOAR）、これからの学術情報システム構築検討委員会が共同で作成しました。＜研究データ編＞では、主に研究データのメタデータで採用される項目について説明しています。 今後も、メタデータ項目を随時追加・更新する予定であるとしてい
スプレッドシートを活用して組織横断的にテーブル・カラムの説明文を入力した話 - High Link テックブログ
こんにちは。株式会社High Link で業務委託として働いている、データエンジニアのikki（@ikki_mz）です。 私たちデータチームでは、「データの民主化」を推進しており、全社員がデータ利活用を行えるように、dbtを用いた分析基盤の整備に取り組んでいます。 tech.high-link.co.jp データの民主化を推進していくにあたり、テーブル・カラムの説明文は非常に重要な役割を占めます。テーブルやカラムが何を意味しているかの説明は、分析をする上ではとても重要です。 しかし、このテーブルやカラムの説明はなかなか厄介で、データベースを開発した開発エンジニアとコミュニケーションをとらないと、説明文を正確に書くことができません。 そこで私たちは、dbt・スプレッドシートを使って、テーブルやカラムの説明文の入力をするという、組織横断的なプロジェクトを実施しました。 背景と課題 dbt de
整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 株式会社10X事業内容10Xでは「10xを創る」をミッションとし、小売向けECプラットフォーム「Stailer」の提供を通じて、スーパーやドラッグストア等のオンライン事業立ち上げ・運営支援を行っています。Stailerでは業務構築におけるコンサルティングから、必要な商品マスタやお客様アプリ・スタッフ向けのオペレーションシステム等の提供、配達システムの提供、販売促進の支援など、データを分析しながら一気通貫での支援を行っています。 データカタログ導入の背景以前はデータ分析にデータレイクのテーブルがよく利用されており、カラムのメタデ
風音屋TechTalk #1 メタデータ入門 の発表資料です。 https://kazaneya.connpass.com/event/265752/ 会社や製品に関する問い合わせは、以下にご連絡ください。 株式会社Quollio Technologies お問い合わせフォーム https:…
Google Cloud Platform(以降 GCP) の認証認可については GCP と OAuth2 などの記事があるが、 Compute Metadata credential そのものの解説はあまり十分にされているとは言えないので、今回一つの記事で説明する。 Compute Metadata Credentials と聞いてもピンと来ない人向けに書くと、「Cloud Run や Cloud Functions などの GCP のプロダクトから GCP の API を呼ぶのにサービスアカウントキーが必要ないこと」の裏側がどのように動いているかの話について説明する記事である。 Compute Metadata Credentials とは Compute Metadata Credentials は Google Cloud Platform(以降 GCP) の標準の credent
Amazon DataZone でデータカタログを実現する - Taste of Tech Topics
はじめに こんにちは一史です。最近自動給水器を買い、ベランダで育てているバジルの水やりを自動化しました。テクノロジーは素晴らしいですね。 さて、AWSにはAmazon DataZoneという組織が蓄積した膨大なデータに対して、データの発見、アクセス制御、管理を簡素化するデータ管理サービスがあります。 データドリブンが重要視される昨今、今回はDataZone上にデータカタログの作成を行ってみます。 はじめに 概要 データレイクとは データカタログとは なぜAmazon DataZoneが必要か（AWS Guleとの違い） Amazon DataZoneとは サービス概要 DataZoneのデータカタログの完成像 Amazon DataZoneでデータカタログを作成してみる 構成概要 データ準備 ドメインとデータポータルの作成 プロジェクトの作成 環境の作成 データカタログの作成 データアセッ
みなさん、データのメタデータ管理ってどうやってますか？ #datatech-jp レポート｜よしむら＠データマネジメント担当
メタデータの価値と意義データ基盤作ってもメタデータがないと必要なデータを発見するのは難しい。 テーブルの物理名とデータの中身だけでは想像はできるけど、意外とわからない。 また、データ自体の意味以外にも制約条件とか利用者情報などがあり、そういうメタデータを整備することでデータ活用ができる。 メタデータの種類システム基礎系：DDLとか ビジネス系：活用方法 関連性：リネージやER図 統制系：品質情報 セキュリティ情報：アクセス権限情報 システム運用系：ジョブ実行ログ ソーシャル系：利用者のレビューやアクセス頻度 メタデータの管理とデータカタログメタデータを管理するためのツールとしてはデータカタログがある。 データカタログは銀の弾丸だと思われがちで、いいデータカタログがあればだれもが使ってデータ利活用が進むと思われがちだが… 実際データカタログを入れたところで、メタデータは入力されずカタログ・ゴ
冒頭2022年現在、データ界隈で良く聞く概念の一つに、Active Metadataがある。最も、日本では未だ広く浸透していない概念ではあるが、北米ではData MeshやData Fablic、Metrics Layer等のバズワード(?)と同じように界隈を賑わしているものであり、こと ”データが資源” である21世紀の企業経営においては（現時点で少なくとも北米においては）最重要トピックの一つであると言って過言でない。 本日は、データの最前線を賑わしているアクティブメタデータについて、まだ日本語での記事も多くないので、思うところを書いてみることにした。 背景ときっかけ既にご存知の方も多いと思うが；象徴となったのは、Gartner社が2021年8月にMagic Quadrant for Metadata Managementの廃止を宣言し、代わりに Market Guide for Act
マネーフォワード ケッサイのBigQueryリソース ラベル規約 | Money Forward Kessai TECH BLOG
BigQueryの布教活動をしていますna0です。 この文書は、BigQueryリソースに対する期待値をラベルで明示する提案を行うものです。 組織全体でデータ品質に合意するための第一歩としてBigQueryリソース ラベルを使ってみませんか。 ラベル品質のベースラインとして、マネーフォワード ケッサイで運用している規約を紹介します。 BigQueryリソース ラベル規約 この文書は、データ活用を促すためのBigQueryラベル規約を定めるものです。 提案、指摘をお願いします。 結論 BigQueryリソースに対する期待値をラベルで明示しましょう 一貫性を持ったラベル付けのために、規約を整備したのでご協力ください 課題意識 BigQueryの利用者が増えていくと、リソースに対する期待値も様々です。 期待値に合うリソースなのかを利用者自身で判断できる状態が望ましいです。 期待値がずれていると、
Automating Dependabot with GitHub Actions - GitHub Docs
About Dependabot and GitHub Actions Dependabot creates pull requests to keep your dependencies up to date, and you can use GitHub Actions to perform automated tasks when these pull requests are created. For example, fetch additional artifacts, add labels, run tests, or otherwise modifying the pull request. Responding to events Dependabot is able to trigger GitHub Actions workflows on its pull requ
ホーム お知らせ 研究データ流通のためのメタデータ標準日本語訳（資料委員会オープンサイエンス小委員会）を公開しました 研究データ流通のためのメタデータ標準日本語訳（資料委員会オープンサイエンス小委員会）を公開しました 資料委員会オープンサイエンス小委員会ではこのほど、RDAメタデータ標準カタログ（RDA Metadata Standards Catalog）の日本語訳を公開しました。 同カタログは、研究データに適用されるメタデータ標準を紹介するものであり、研究データ管理を推進する国際団体である研究データ連盟（Research Data Alliance）のMetadata Standards Catalog Working Groupにより運用されています。 日本語訳は大部ですが、全体をじっくり読んで理解するタイプの資料ではありません。研究データへのメタデータ付与に際し、該当分野の研究デー
日本国内でのレファレンスツールの電子化動向 実践女子大学図書館：伊藤民雄（いとうたみお） 1. はじめに 「参考図書」（reference book）は、通読されることを目的として作られているのではなく、調査あるいは参照が容易にできるように編集されている、いわば道具（tool）として作られた(1)ものである。道具としての側面を強調する場合には「レファレンスツール」（reference tool、以下「ツール」）の呼称が使用されるが、こうした資料は紙媒体（冊子体）の「参考図書」だけに留まらず、メディアの多様化により、代替化されたマイクロ資料、あるいは電子資料（ローカルアクセス資料、リモートアクセス資料）にも現れるようになっており、それら全てを総称する意味で使用する。 さて本稿では、個々のレファレンス質問を回答する際に利用されるツールについて、図書館情報学的な定義を行ったうえで、その電子化に関
さがらです。 ここ１～２年は新しい製品のリリースが落ち着いてきた印象ですが、Modern Data Stack界隈ではたくさんのデータカタログ製品が存在しています。 私も２年くらい前に色々触って調査したものの、この２年間での各製品のアップデートが凄まじく「どの製品がどの機能を持っているんだっけ…？」と知識が怪しくなってきてしまっている状況です。 そこで、今回改めて各製品の公式ドキュメントをベースに、最近のデータカタログの各種機能の有無を確認してみたので、本記事でまとめてみます。 ※注意事項：各製品のアップデートのスピードは本当に早いため、半年も経てば現時点で出来ていなかったことが出来ているようになっている可能性が高いです。最新の情報はご自身で確認の上、本記事は参考程度にご利用ください。 比較対象のデータカタログ 比較対象としては、以下のデータカタログを比較します。 SaaS Atlan S
大学図書館等の目録所在情報サービス（NACSIS-CAT/ILL）新システムでメタデータの国際流通へ新たな一歩をふみだす - 国立情報学研究所 / National Institute of Informatics
2023/03/30 大学図書館等の目録所在情報サービス（NACSIS-CAT/ILL） 新システムでメタデータの国際流通へ新たな一歩をふみだす 大学共同利用機関法人 情報・システム研究機構 国立情報学研究所（NIIエヌアイアイ、所長：喜連川 優、東京都千代田区）は、大学図書館等の目録所在情報サービス（以下、NACSISナクシス-CATキャット/ILLアイエルエル）を新システムに更新し、2023年1月31日（火）に始動させました。この更新は、国際的なパッケージシステムであるOCLC社製CBS（Controlled Bibliographic Service）を基盤として、システム全体の能力と機能を増強して再構築したものです 従来の「NACSIS-CAT /ILL」は独自のメタデータフォーマット（CATP）を用いてきましたが、今日ではMARC21がメタデータフォーマットの国際標準となったため
この記事は Magic Moment Advent Calendar 2024 10 日目の記事です。 Magic Moment ソフトウェアエンジニアの scent-y です。 弊社ではサービス間通信の手段のひとつとして gRPC を採用しており、キックするイベントを伝播するのに gRPC の metadata を利用したりしてます。 metadata を扱う中で挙動としてどうなっているのか気になった点がいくつかあり、少しまとめてみたライトな内容の記事になります。 利用するパッケージは google.golang.org/grpc/metadata です。 本記事では Unary RPC のケースのみ扱います。 IncomingContext と OutgoingContext の使い分け パッケージで IncomingContext と OutgoingContext と、異なるキーが
メタデータとは メタデータとは「データに関するデータ」と定義されています。 「データに関するデータ」というのは表現としてピンとこない方は、データ利活用に必要なデータに関する周辺情報と覚えておけば良いでしょう。 具体的に「データに関するデータ」とは何なのか、まずは、写真のデータを例に挙げ説明します。 写真にはExifという規格に沿った写真の撮影情報データが付加されています。そして、写真というデータに対して、Exifという規格に沿って保持しているデータをメタデータと呼びます。 写真のメタデータであるExif情報はWindowsでもMacでもファイルから確認することができます。 次に、データ基盤で管理されている顧客情報を管理しているテーブルを例に、データに関するメタデータについて説明します。 たとえば以下の画像のようなデータです。メタデータが無い時はリレーショナルデータベース（RDB）の情報その
PWA Night 2020/01/20 pastak.icon Pasta-K こんにちは 自己紹介 Pasta-K Nota Inc エンジニア at 京都 主にGyazoのフロントエンドの面倒を見ています マンガ / クラフトビール / サッカー観戦 過去にこういうトークをしました ウェブアプリケーションがオフラインでも動作できるようにやっていった話 / ServiceWorker for Offline WebApp in MANGA Viewer - Speaker Deck /pastak-pub/はてなにおけるPortals #ChromeDevSummit で はてなのマンガチームのGigaViewerで検証やデモ実装を行ったPeriodic BG SyncやBackground Fetchを組み合わせたブラウザでの雑誌配信の様子 会社・サービス紹介 積極採用中です htt
optimizing hashmaps even more — 2021-05-08 hashmaps and hashing algorithms enums as keys static strings as keys hybrid static + dynamic keys looking ahead conclusion In our last post we took a look at possible ways we could improve the ergonomics of Rust's refcounting APIs. In this post we'll be looking at Hashmap: how it's currently implemented, how we could optimize it further, and finally direc
どーも、データアナリティクス事業本部コンサルティングチームのsutoです。 データマネジメントに関する知識を体系立ててまとめた「DMBOK」（ここでは第２版であるDMBOK2）には、広範なデータマネジメントの概念として11個の知識領域が定義されています。 その中に「メタデータ」の管理に関する記述があります。増え続けるデータの種類と量の全体像を把握しやすくする目的として、 業務用語とその利用法に関する組織の理解を提供する 様々なソースのメタデータを収集し統合する メタデータにアクセスするための標準的な方法を提供する メタデータの品質とセキュリティを確保する ことをゴールとしてメタデータの管理を考えることの必要性を謳っています。 じゃあ具体的に、『自分たちの組織の組織と照らし合わせてどんな方針で考えて整備していけばよいのだろう』という疑問に対して、「とりあえずメタデータ管理できるツールを入れれ
OpenMetadata: The Best Open Source Data Catalog Solution
OpenMetadata SaaS Trial Offer! Go ahead & access the full suite of features to rebuild trust in your data. OpenMetadataA Single Place to Discover, Collaborate and get your Data RightUnlock the value of data assets with an end-to-end metadata management solution that includes data discovery, governance, data quality, observability, and people collaboration.
先日、Gmail、米国Yahoo!から相次いでメール送信者ガイドライン変更のアナウンスがありました。詳しい内容についてはこちらの記事に詳細がまとまっているのでご参照ください。 DMARCのレポート アナウンスを受けてSPF/DKIMの確認やDMARCの設定を始めた方も多いのではないでしょうか。そしてDMARCのレポートをいざ受け取ってみて、XML形式で読み取りにくいと思う方も多いのではないでしょうか。以下のXMLは実際に私のドメインで受け取ったDMARCレポートです。レコードは1つですが、これだけ長くなります。 <?xml version="1.0" encoding="UTF-8" ?> <feedback> <report_metadata> <org_name>google.com</org_name> <email>[email protected]<
「疑惑動画」のからくりを暴いたのは、ウクライナのネットユーザーだった。その解明のカギとなったのは――。
Dataplex(旧Data Catalog)によるデータカタログについてあれやこれやれやをまとめておいたポインタが欲しくなってきたので、とりとめもなくつらつらと書きます。 注意点: BigQuery on GCPの運用を前提に書いてます Dataplexはデータカタログ以外の機能もたくさんありますが、データカタログの観点にフォーカスして書いてます 論理的なデータ構造を作成したり、それに基づいた権限管理など 少人数のチームでデータ基盤を運営しており、データカタログの運用自体に工数をなかなか割けない前提で書いてます 自前で作ることも難しいし、ましてそれを継続的に運用するのはさらに難しい 「データカタログ」という言葉が指すスコープも色々ありそうですが、「検索 + メタデータ管理」くらいのスコープで書いてます 包括的に書くつもりはないので、漏れてる観点は多いと思います データカタログがなぜ必要か
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
小売業者が商品や顧客の情報をどのように保管しているかをご存じですか。雇用者は従業員とその業務内容の情報、団体は主催する行事の情報、研究機関は各分野の動向と注目すべき人物の情報、図書館や文書館や博物館は保存管理している資料の情報、政府は国民や同盟国や敵対国の情報をどのように保管しているのでしょうか。これらの情報は、すべてメタデータです。メタデータは、事物を言い表すために私たちが作成、保管、共有する情報です。メタデータのおかげで、私たちは事物と関わり合い、必要な知識を得ることができます。「メタデータ」という言葉は古来、その語源が文字通りに表すように「データに関するデータ」という意味を持っています。このような定義の広さから、メタデータは遍在しているのではないかと考える人もいるかもしれませんが、事実そのとおりです。米国では、2013年に米国国家安全保障局（National Security Age
『メタデータ評論』が創刊
2021年5月1日付で『メタデータ評論』の第1号が刊行されました。 「創刊の辞」によると、同誌は、「著者と読者を仲立ちする目録・分類・索引・メタデータをめぐる議論と情報交換の場」と銘打ち、図書館分野に限らず、類縁機関（文書館・博物館・美術館等）、出版社、書店、デジタルアーカイブなどの情報も含めた広範囲の情報資源組織化（目録・分類・索引・メタデータ）を対象範囲とする「総合雑誌」と位置付けられています。 メタデータ評論 第１号（創刊号） http://techser.info/ 参考： 『資料組織化研究-e』が終刊 Posted 2019年11月12日 https://current.ndl.go.jp/node/39495
「みなさん、データのメタデータ管理ってどうやってますか?」での発表資料です。 - https://datatech-jp.connpass.com/event/310548/
GitHub - duckduckgo/tracker-radar: Data set of top third party web domains with rich metadata about them
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
こんにちは、コンサル部＠大阪オフィスのTodaです。 EC2のインスタンスメタデータサービスはEC2内から実行中のインスタンスの設定情報を取得できる仕組みになります。 ここ最近ではAWS Security HubのEC2.8の表示でIMDSv2の利用を推奨されたり、Amazon Linux 2023の初期設定で IMDSv1が無効になっていたりするので切り換え時期かなと考えております。 今回は新規インスタンスと既存インスタンスそれぞれで IMDSv2 のみにする調査と手順をまとめてみました。 EC2インスタンスメタデータサービス(IMDS)とは？ IMDSはEC2内から実行中のインスタンスの設定情報を取得できる仕組みになります。 上記を利用する事でスクリプト内でインスタンスIDなどを取得して利用することができます。 取得可能な情報は下記リストを参照ください。 ■ インスタンスメタデータのカ
NoSQL NoSQLとは、従来の関係モデルに基づかずに構築されたデータベースシステムの総称であり、SQLを用いないことからNoSQL（Not only SQL）の略とされています。SQLを用いると大量データ、複数サーバに分散したデータを扱うクラウドサービスにおいては性能が低下する場合があることから、そうしたSQLでは対応できない領域を保管するために利用されることがあります。 CAP定理 CAP定理とは、クラウドサービスを始めとする情報システム（ネットワークでつながった、共通のデータを持つ、一連のノード群）において、「以下の3要素を同時に満たすことができない」というものです。
OSSプロジェクト「Egeria」で実現するエンタープライズ規模のメタデータ・ガバナンス | DevelopersIO
OSSデータカタログをお探しのみなさま。ちまたにはLyft社製のAmundsenやLinkdIn社製のDataHub、WeWork社製のMarquezなど、一流のテックカンパニーが様々なOSSデータカタログ・プロジェクトを進めているわけですが、まだまだあるんです。今回はLinux Foundationが進めているEgeriaというプロジェクトをご紹介します。 Egeriaとは？ Egeriaは、Linux FoundationのODPiが進めているオープンなメタデータ・ガバナンスを実現するためのエンタープライズ向けのサービスです。種々のデータツールやリポジトリがシームレスにメタデータを共有・交換できるようにするために、Egeriaでは一連のAPI、データ型、フレームワーク、コネクタ、相互交換プロトコル（interchange protocol）をバンドルしています。 エコシステム全体の構造
2023/04/18 (更新日: 2023/09/29) 【投稿前に！】Stable Diffusionで生成したイラストからメタデータを消す方法！ AIイラスト ※当ブログはアフィリエイト・アドセンスによる収益で運営されています。 Stable Diffusionのイラストって、メタデータが残ってるってホント？ 他の人にメタデータを見られたくないな… どうやって消せばいいか教えて こういったお悩みにお答えします。 生成したイラストのメタデータがネット上に公開されると、同じイラストを誰でも作ることができてしまいます。 そのイラストが大事であるほど、ちょっと気分がよくないですよね…。 この記事では Stable Diffusionで生成したイラストに関するメタデータとは？ Stable Diffusionで生成したイラストからメタデータを消す方法！ 投稿するサイトによってメタデータの扱いは異
GW なので趣味アプリの開発を行っていると、音楽ファイルに保存された曲情報を取得する必要が出てきたので、Windows Property System を使って実現したという話です。 曲情報というのは以下のようにファイルのプロパティから確認出来るメタデータのことです。 単純にファイルからメタデータを読み込むだけなら TagLib# というライブラリを使うと、特に難しい処理が必要なく読み取ることが出来ます。しかし最近はアップデートがほぼ止まっていて、偶に PR はマージされていますがリリースがされていない状態が続いています。 そういう経緯もあり、別の方法を検討した結果 Windows Property System に辿り着きました。 Windows Explorer やファイルのプロパティから確認出来る各種メタデータは、Windows Property System という統一されたインタ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Delta Lake とは何か - connecting the dots
国立国会図書館サーチ、「メタデータ流通ガイドライン」＜研究データ編＞を公開
統計表における機械判読可能なデータ作成に関する表記方法案
データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools
【Quollio】メタデータ・マネジメント入門
GCP の Compute Metadata Credentials について
アクティブメタデータの所感。日本での普及を想う｜松元亮太 / Quollio Technologies
研究データ流通のためのメタデータ標準日本語訳（資料委員会オープンサイエンス小委員会）を公開しました | 国立大学図書館協会
CA2027 – 動向レビュー：日本国内でのレファレンスツールの電子化動向 / 伊藤民雄
最近のデータカタログの各種機能の有無を確認してみた（2024年4月時点） | DevelopersIO
Go で gRPC の metadata を使う
データ利活用を推進するのためのメタデータ管理術 | 日本発のデータカタログ「COMETA」
GyazoでのPWA/WebAPIとの向き合い方 - pastak-pub
optimizing hashmaps even more
データマネジメントにおけるメタデータ管理についてまとめてみた | DevelopersIO
DMARCのレポートを可視化するdmarc-report-converterの紹介
「疑惑動画」のからくりをネットユーザーが暴く、解明のカギになったのは？
Dataplex(旧Data Catalog)によるデータカタログの調査 - yasuhisa's blog
OpenMetadataとdbtによるデータカタログの構築
メタデータを理解する（NISOによる入門書）｜国立国会図書館-National Diet Library
データマネジメントを支える武器としてのメタデータ管理
EC2のインスタンスメタデータ(IMDS)をv2に移行する手順をまとめてみた | DevelopersIO
「メタデータ」「NoSQL」「CAP定理」を理解する
【投稿前に！】Stable Diffusionで生成したイラストからメタデータを消す方法！
Windows Property System を使って C# から曲情報を取得する - しばやん雑記
azumi1.ag.ebb.jp
zenn.dev/yamada_quantum
note.com/pu_239
sapporo-sokuho.com
jetstream.blog
jp.ext.hp.com