検索対象

並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 71件

新着順 人気順

メタデータの検索結果1 - 40 件 / 71件

メタデータに関するエントリは71件あります。 データ、 metadata、 図書館 などが関連タグです。 人気エントリには 『地名の最後の一文字だけで地図をつくると地形が見える』などがあります。

メタデータの関連エントリー

  • 地名の最後の一文字だけで地図をつくると地形が見える

    先日、こんな地図を作った。 なんのこっちゃと思うが、拡大するとこうなっている。 じつは小さな文字が集まってできている。東京の地名の末尾の一文字だけを並べたものなのだ。 中央やや右でぽつんと「田」となっているのは、千代田の「田」だ。全体をよく見ると「山」「谷」「海」などが散らばっている。それぞれ、代官山だったり渋谷だったり青海だったりするのだが、こうやって末尾の一文字だけにすることでうまい具合にその土地の特徴や地形が浮かび上がるように見える。 どうしてこんなものを作ったか これを作ったきっかけは永太郎さんという方のツイートだ。 永太郎さんは京都で地理を専攻している学生だ。先日も「なんでもない地図を語る会」という記事でお世話になった。なにかの調査の一環だと思うが、地図から地名だけを抜き出してものを作っていた。これがとても面白く、しかもそれ自体ぎりぎり地図と言えないこともない。しかし、残念ながら

      地名の最後の一文字だけで地図をつくると地形が見える

    • データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog

      こんにちは、データ基盤グループの吉田(id:syou6162)です。先日、モノタロウ社内で「データ管理に役立つメタデータ」に関する勉強会を開催しました。BigQueryのINFORMATION_SCHEMAを中心とした実例を豊富に盛り込んだ内容について話したのですが、社内に限らず有用な内容であると思うので、広く公開します。 開催に至った背景 モノタロウ社内では広くデータ活用が進んでおり、GCPのプロジェクトは数百以上運用され、その中の多くのプロジェクトでBigQueryも使われています。社内に広く提供するDWHやセキュリティなど全社的なデータ基盤に関することはデータ基盤グループが運用/管理を行なっていますが、社内のGCPプロジェクト全てのデータ管理にデータ基盤グループが深く関わっていくのは工数的に困難です*1。 INFORMATION_SCHEMAなどデータ管理に役に立つメタデータのノウハ

        データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog

      • Elasticsearchで関連キーワード機能がどれだけ低コストで実装できるかの旅路 - エムスリーテックブログ

        クエリに対する関連キーワード機能 エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 最近の仕事で医師に質問ができるサービスで「Elasticsearchを使ってなるべく低コストで関連キーワード機能を実装する」という案件に携わっていました。本記事では関連キーワード機能を低コストで実装するための技術調査の結果と、実際に採用した方法をご紹介します。 今回紹介する方法は機械学習などは使わず、なるべく低コストである程度の品質を目指すものです。この記事を読むことで検索アプリケーションにサクッと関連キーワード機能を実装できるようになるでしょう。 Overview 検索における関連キーワード機能とは 実装の前提条件 実装パターンの紹介 (1) ログで出現した単語を数えあげる (2) ログに対

          Elasticsearchで関連キーワード機能がどれだけ低コストで実装できるかの旅路 - エムスリーテックブログ

        • Delta Lake とは何か - connecting the dots

          はじめに 環境情報 Delta Lake (デルタレイク) とは Delta Lake の実体 Delta Lake の構造 Parquet と Delta の相違点 Parquetとは何か Parquetの構造 Parquet と Delta の違い Delta Lake が生まれた経緯: データレイクと Delta Lake の違い データレイクのメリット データレイクの課題 *Parquetで構築した場合 Delta Lake の特徴 ACIDトランザクションの担保 スケーラブルなメタデータ管理 バッチとストリーミングワークロードの統合 タイムトラベル (バージョン管理) CONSTRAINT句のサポート DML (データ操作言語) のフルサポート UPDATE DELETE MERGE 柔軟なスキーマ管理 1. スキーマ エンフォースメント 2. スキーマ エボリューション ストレ

            Delta Lake とは何か - connecting the dots

            • メタデータの関連エントリー

          • データ基盤のメタデータを継続的に管理できる仕組みを作る - Hatena Developer Blog

            こんにちは。MackerelチームでCRE(Customer Reliability Engineer)をしているid:syou6162です。 CREチームではカスタマーサクセスを進めるため、最近データ分析により力を入れています(参考1, 参考2)。データ分析を正確に行なうためには、データに関する正確な知識が必要です。今回はより正確なデータ分析を支えるためのメタデータを継続的に管理する仕組みについて書いてみます。 データに対する知識: メタデータ データ分析を正確に行なうためには、データ自身に関する知識(=メタデータ)が必要です。例えば、Mackerelのデータ分析タスクでは以下のような知識が必要とされることが多いです。 このテーブル / カラムは何のためのテーブルなのか 似たようなカラムとの違い 集計条件の違い、など データがどのような値を取り得るか SELECT column, COU

              データ基盤のメタデータを継続的に管理できる仕組みを作る - Hatena Developer Blog

            • Excelに新機能「Custom Data Types」登場。セルをキーにしてさまざまな情報を参照。ユーザー独自の定義も可能に

              Excelに新機能「Custom Data Types」登場。セルをキーにしてさまざまな情報を参照。ユーザー独自の定義も可能に マイクロソフトはExcelの新機能として従来の「Data Types」を拡張した、「Custom Data Types」の導入を明らかにしました。 Custom Data Typesは、いわばあるセルに入っている情報をキーにして情報を参照する機能を実現するもの。 参照先としてPower BIやPower Queryで接続されたサーバなどを設定できるため、顧客名の入ったセルをキーにすると、顧客の連絡先や住所、現時点での売り上げ、社内の担当営業といった情報をマウス操作だけで参照できるようになります。 Introducing custom data types using your own business data through Power BI and Power

                Excelに新機能「Custom Data Types」登場。セルをキーにしてさまざまな情報を参照。ユーザー独自の定義も可能に

              • 国立国会図書館サーチ、「メタデータ流通ガイドライン」＜研究データ編＞を公開

                2023年3月30日付で、国立国会図書館サーチが「メタデータ流通ガイドライン」＜研究データ編＞を公開しています。 同ガイドラインは、デジタルアーカイブ、蔵書目録等のデータベースのメタデータ設計の関係者が、各機関の特性に応じた適切なメタデータの作成、流通経路の選択ができるように作成されました。2022年3月にドラフト版として＜共通編＞を公開していました。 国立情報学研究所（NII）・科学技術振興機構（JST）・国立国会図書館（NDL）連絡会議の「メタデータの相互運用性に関する検討ワーキンググループ」において、NII、JST、NDL、オープンアクセスリポジトリ推進協会（JPCOAR）、これからの学術情報システム構築検討委員会が共同で作成しました。＜研究データ編＞では、主に研究データのメタデータで採用される項目について説明しています。 今後も、メタデータ項目を随時追加・更新する予定であるとしてい

                  国立国会図書館サーチ、「メタデータ流通ガイドライン」＜研究データ編＞を公開

                • 統計表における機械判読可能なデータ作成に関する表記方法案

                  • スプレッドシートを活用して組織横断的にテーブル・カラムの説明文を入力した話 - High Link テックブログ

                    こんにちは。株式会社High Link で業務委託として働いている、データエンジニアのikki（@ikki_mz）です。 私たちデータチームでは、「データの民主化」を推進しており、全社員がデータ利活用を行えるように、dbtを用いた分析基盤の整備に取り組んでいます。 tech.high-link.co.jp データの民主化を推進していくにあたり、テーブル・カラムの説明文は非常に重要な役割を占めます。テーブルやカラムが何を意味しているかの説明は、分析をする上ではとても重要です。 しかし、このテーブルやカラムの説明はなかなか厄介で、データベースを開発した開発エンジニアとコミュニケーションをとらないと、説明文を正確に書くことができません。 そこで私たちは、dbt・スプレッドシートを使って、テーブルやカラムの説明文の入力をするという、組織横断的なプロジェクトを実施しました。 背景と課題 dbt de

                      スプレッドシートを活用して組織横断的にテーブル・カラムの説明文を入力した話 - High Link テックブログ

                    • データカタログ特集　データ利活用に向けたアーキテクチャ6選 - Findy Tools

                      整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 株式会社10X事業内容10Xでは「10xを創る」をミッションとし、小売向けECプラットフォーム「Stailer」の提供を通じて、スーパーやドラッグストア等のオンライン事業立ち上げ・運営支援を行っています。Stailerでは業務構築におけるコンサルティングから、必要な商品マスタやお客様アプリ・スタッフ向けのオペレーションシステム等の提供、配達システムの提供、販売促進の支援など、データを分析しながら一気通貫での支援を行っています。 データカタログ導入の背景以前はデータ分析にデータレイクのテーブルがよく利用されており、カラムのメタデ

                        データカタログ特集　データ利活用に向けたアーキテクチャ6選 - Findy Tools

                      • 【Quollio】メタデータ・マネジメント入門

                        風音屋TechTalk #1 メタデータ入門 の発表資料です。 https://kazaneya.connpass.com/event/265752/ 会社や製品に関する問い合わせは、以下にご連絡ください。 株式会社Quollio Technologies お問い合わせフォーム https:…

                          【Quollio】メタデータ・マネジメント入門

                        • GCP の Compute Metadata Credentials について

                          Google Cloud Platform(以降 GCP) の認証認可については GCP と OAuth2 などの記事があるが、 Compute Metadata credential そのものの解説はあまり十分にされているとは言えないので、今回一つの記事で説明する。 Compute Metadata Credentials と聞いてもピンと来ない人向けに書くと、「Cloud Run や Cloud Functions などの GCP のプロダクトから GCP の API を呼ぶのにサービスアカウントキーが必要ないこと」の裏側がどのように動いているかの話について説明する記事である。 Compute Metadata Credentials とは Compute Metadata Credentials は Google Cloud Platform(以降 GCP) の標準の credent

                            GCP の Compute Metadata Credentials について

                          • Amazon DataZone でデータカタログを実現する - Taste of Tech Topics

                            はじめに こんにちは一史です。最近自動給水器を買い、ベランダで育てているバジルの水やりを自動化しました。テクノロジーは素晴らしいですね。 さて、AWSにはAmazon DataZoneという組織が蓄積した膨大なデータに対して、データの発見、アクセス制御、管理を簡素化するデータ管理サービスがあります。 データドリブンが重要視される昨今、今回はDataZone上にデータカタログの作成を行ってみます。 はじめに 概要 データレイクとは データカタログとは なぜAmazon DataZoneが必要か（AWS Guleとの違い） Amazon DataZoneとは サービス概要 DataZoneのデータカタログの完成像 Amazon DataZoneでデータカタログを作成してみる 構成概要 データ準備 ドメインとデータポータルの作成 プロジェクトの作成 環境の作成 データカタログの作成 データアセッ

                              Amazon DataZone でデータカタログを実現する - Taste of Tech Topics

                            • みなさん、データのメタデータ管理ってどうやってますか？ #datatech-jp レポート｜よしむら＠データマネジメント担当

                              メタデータの価値と意義データ基盤作ってもメタデータがないと必要なデータを発見するのは難しい。 テーブルの物理名とデータの中身だけでは想像はできるけど、意外とわからない。 また、データ自体の意味以外にも制約条件とか利用者情報などがあり、そういうメタデータを整備することでデータ活用ができる。 メタデータの種類システム基礎系：DDLとか ビジネス系：活用方法 関連性：リネージやER図 統制系：品質情報 セキュリティ情報：アクセス権限情報 システム運用系：ジョブ実行ログ ソーシャル系：利用者のレビューやアクセス頻度 メタデータの管理とデータカタログメタデータを管理するためのツールとしてはデータカタログがある。 データカタログは銀の弾丸だと思われがちで、いいデータカタログがあればだれもが使ってデータ利活用が進むと思われがちだが… 実際データカタログを入れたところで、メタデータは入力されずカタログ・ゴ

                                みなさん、データのメタデータ管理ってどうやってますか？ #datatech-jp レポート｜よしむら＠データマネジメント担当

                              • アクティブメタデータの所感。日本での普及を想う｜松元亮太 / Quollio Technologies

                                冒頭2022年現在、データ界隈で良く聞く概念の一つに、Active Metadataがある。最も、日本では未だ広く浸透していない概念ではあるが、北米ではData MeshやData Fablic、Metrics Layer等のバズワード(?)と同じように界隈を賑わしているものであり、こと ”データが資源” である21世紀の企業経営においては（現時点で少なくとも北米においては）最重要トピックの一つであると言って過言でない。 本日は、データの最前線を賑わしているアクティブメタデータについて、まだ日本語での記事も多くないので、思うところを書いてみることにした。 背景ときっかけ既にご存知の方も多いと思うが；象徴となったのは、Gartner社が2021年8月にMagic Quadrant for Metadata Managementの廃止を宣言し、代わりに Market Guide for Act

                                  アクティブメタデータの所感。日本での普及を想う｜松元亮太 / Quollio Technologies

                                • マネーフォワード ケッサイのBigQueryリソース ラベル規約 | Money Forward Kessai TECH BLOG

                                  BigQueryの布教活動をしていますna0です。 この文書は、BigQueryリソースに対する期待値をラベルで明示する提案を行うものです。 組織全体でデータ品質に合意するための第一歩としてBigQueryリソース ラベルを使ってみませんか。 ラベル品質のベースラインとして、マネーフォワード ケッサイで運用している規約を紹介します。 BigQueryリソース ラベル規約 この文書は、データ活用を促すためのBigQueryラベル規約を定めるものです。 提案、指摘をお願いします。 結論 BigQueryリソースに対する期待値をラベルで明示しましょう 一貫性を持ったラベル付けのために、規約を整備したのでご協力ください 課題意識 BigQueryの利用者が増えていくと、リソースに対する期待値も様々です。 期待値に合うリソースなのかを利用者自身で判断できる状態が望ましいです。 期待値がずれていると、

                                    マネーフォワード ケッサイのBigQueryリソース ラベル規約 | Money Forward Kessai TECH BLOG

                                  • Automating Dependabot with GitHub Actions - GitHub Docs

                                    About Dependabot and GitHub Actions Dependabot creates pull requests to keep your dependencies up to date, and you can use GitHub Actions to perform automated tasks when these pull requests are created. For example, fetch additional artifacts, add labels, run tests, or otherwise modifying the pull request. Responding to events Dependabot is able to trigger GitHub Actions workflows on its pull requ

                                      Automating Dependabot with GitHub Actions - GitHub Docs

                                    • 研究データ流通のためのメタデータ標準日本語訳（資料委員会オープンサイエンス小委員会）を公開しました | 国立大学図書館協会

                                      ホーム お知らせ 研究データ流通のためのメタデータ標準日本語訳（資料委員会オープンサイエンス小委員会）を公開しました 研究データ流通のためのメタデータ標準日本語訳（資料委員会オープンサイエンス小委員会）を公開しました 資料委員会オープンサイエンス小委員会ではこのほど、RDAメタデータ標準カタログ（RDA Metadata Standards Catalog）の日本語訳を公開しました。 同カタログは、研究データに適用されるメタデータ標準を紹介するものであり、研究データ管理を推進する国際団体である研究データ連盟（Research Data Alliance）のMetadata Standards Catalog Working Groupにより運用されています。 日本語訳は大部ですが、全体をじっくり読んで理解するタイプの資料ではありません。研究データへのメタデータ付与に際し、該当分野の研究デー

                                      • CA2027 – 動向レビュー：日本国内でのレファレンスツールの電子化動向 / 伊藤民雄

                                        日本国内でのレファレンスツールの電子化動向 実践女子大学図書館：伊藤民雄（いとうたみお） 1. はじめに 「参考図書」（reference book）は、通読されることを目的として作られているのではなく、調査あるいは参照が容易にできるように編集されている、いわば道具（tool）として作られた(1)ものである。道具としての側面を強調する場合には「レファレンスツール」（reference tool、以下「ツール」）の呼称が使用されるが、こうした資料は紙媒体（冊子体）の「参考図書」だけに留まらず、メディアの多様化により、代替化されたマイクロ資料、あるいは電子資料（ローカルアクセス資料、リモートアクセス資料）にも現れるようになっており、それら全てを総称する意味で使用する。 さて本稿では、個々のレファレンス質問を回答する際に利用されるツールについて、図書館情報学的な定義を行ったうえで、その電子化に関

                                          CA2027 – 動向レビュー：日本国内でのレファレンスツールの電子化動向 / 伊藤民雄

                                        • 最近のデータカタログの各種機能の有無を確認してみた（2024å¹´4月時点） | DevelopersIO

                                          さがらです。 ここ１～２年は新しい製品のリリースが落ち着いてきた印象ですが、Modern Data Stack界隈ではたくさんのデータカタログ製品が存在しています。 私も２年くらい前に色々触って調査したものの、この２年間での各製品のアップデートが凄まじく「どの製品がどの機能を持っているんだっけ…？」と知識が怪しくなってきてしまっている状況です。 そこで、今回改めて各製品の公式ドキュメントをベースに、最近のデータカタログの各種機能の有無を確認してみたので、本記事でまとめてみます。 ※注意事項：各製品のアップデートのスピードは本当に早いため、半年も経てば現時点で出来ていなかったことが出来ているようになっている可能性が高いです。最新の情報はご自身で確認の上、本記事は参考程度にご利用ください。 比較対象のデータカタログ 比較対象としては、以下のデータカタログを比較します。 SaaS Atlan S

                                            最近のデータカタログの各種機能の有無を確認してみた（2024年4月時点） | DevelopersIO

                                          • 大学図書館等の目録所在情報サービス（NACSIS-CAT/ILL）新システムでメタデータの国際流通へ新たな一歩をふみだす - 国立情報学研究所 / National Institute of Informatics

                                            2023/03/30 大学図書館等の目録所在情報サービス（NACSIS-CAT/ILL） 新システムでメタデータの国際流通へ新たな一歩をふみだす 大学共同利用機関法人 情報・システム研究機構 国立情報学研究所（NIIエヌアイアイ、所長：喜連川 優、東京都千代田区）は、大学図書館等の目録所在情報サービス（以下、NACSISナクシス-CATキャット/ILLアイエルエル）を新システムに更新し、2023年1月31日（火）に始動させました。この更新は、国際的なパッケージシステムであるOCLC社製CBS（Controlled Bibliographic Service）を基盤として、システム全体の能力と機能を増強して再構築したものです 従来の「NACSIS-CAT /ILL」は独自のメタデータフォーマット（CATP）を用いてきましたが、今日ではMARC21がメタデータフォーマットの国際標準となったため

                                              大学図書館等の目録所在情報サービス（NACSIS-CAT/ILL）新システムでメタデータの国際流通へ新たな一歩をふみだす - 国立情報学研究所 / National Institute of Informatics

                                            • Go で gRPC の metadata を使う

                                              この記事は Magic Moment Advent Calendar 2024 10 日目の記事です。 Magic Moment ソフトウェアエンジニアの scent-y です。 弊社ではサービス間通信の手段のひとつとして gRPC を採用しており、キックするイベントを伝播するのに gRPC の metadata を利用したりしてます。 metadata を扱う中で挙動としてどうなっているのか気になった点がいくつかあり、少しまとめてみたライトな内容の記事になります。 利用するパッケージは google.golang.org/grpc/metadata です。 本記事では Unary RPC のケースのみ扱います。 IncomingContext と OutgoingContext の使い分け パッケージで IncomingContext と OutgoingContext と、異なるキーが

                                                Go で gRPC の metadata を使う

                                              • データ利活用を推進するのためのメタデータ管理術 | 日本発のデータカタログ「COMETA」

                                                メタデータとは メタデータとは「データに関するデータ」と定義されています。 「データに関するデータ」というのは表現としてピンとこない方は、データ利活用に必要なデータに関する周辺情報と覚えておけば良いでしょう。 具体的に「データに関するデータ」とは何なのか、まずは、写真のデータを例に挙げ説明します。 写真にはExifという規格に沿った写真の撮影情報データが付加されています。そして、写真というデータに対して、Exifという規格に沿って保持しているデータをメタデータと呼びます。 写真のメタデータであるExif情報はWindowsでもMacでもファイルから確認することができます。 次に、データ基盤で管理されている顧客情報を管理しているテーブルを例に、データに関するメタデータについて説明します。 たとえば以下の画像のようなデータです。メタデータが無い時はリレーショナルデータベース（RDB）の情報その

                                                  データ利活用を推進するのためのメタデータ管理術 | 日本発のデータカタログ「COMETA」

                                                • GyazoでのPWA/WebAPIとの向き合い方 - pastak-pub

                                                  PWA Night 2020/01/20 pastak.icon Pasta-K こんにちは 自己紹介 Pasta-K Nota Inc エンジニア at 京都 主にGyazoのフロントエンドの面倒を見ています マンガ / クラフトビール / サッカー観戦 過去にこういうトークをしました ウェブアプリケーションがオフラインでも動作できるようにやっていった話 / ServiceWorker for Offline WebApp in MANGA Viewer - Speaker Deck /pastak-pub/はてなにおけるPortals #ChromeDevSummit で はてなのマンガチームのGigaViewerで検証やデモ実装を行ったPeriodic BG SyncやBackground Fetchを組み合わせたブラウザでの雑誌配信の様子 会社・サービス紹介 積極採用中です htt

                                                    GyazoでのPWA/WebAPIとの向き合い方 - pastak-pub

                                                  • optimizing hashmaps even more

                                                    optimizing hashmaps even more — 2021-05-08 hashmaps and hashing algorithms enums as keys static strings as keys hybrid static + dynamic keys looking ahead conclusion In our last post we took a look at possible ways we could improve the ergonomics of Rust's refcounting APIs. In this post we'll be looking at Hashmap: how it's currently implemented, how we could optimize it further, and finally direc

                                                      optimizing hashmaps even more

                                                    • データマネジメントにおけるメタデータ管理についてまとめてみた | DevelopersIO

                                                      どーも、データアナリティクス事業本部コンサルティングチームのsutoです。 データマネジメントに関する知識を体系立ててまとめた「DMBOK」（ここでは第２版であるDMBOK2）には、広範なデータマネジメントの概念として11個の知識領域が定義されています。 その中に「メタデータ」の管理に関する記述があります。増え続けるデータの種類と量の全体像を把握しやすくする目的として、 業務用語とその利用法に関する組織の理解を提供する 様々なソースのメタデータを収集し統合する メタデータにアクセスするための標準的な方法を提供する メタデータの品質とセキュリティを確保する ことをゴールとしてメタデータの管理を考えることの必要性を謳っています。 じゃあ具体的に、『自分たちの組織の組織と照らし合わせてどんな方針で考えて整備していけばよいのだろう』という疑問に対して、「とりあえずメタデータ管理できるツールを入れれ

                                                        データマネジメントにおけるメタデータ管理についてまとめてみた | DevelopersIO

                                                      • OpenMetadata: The Best Open Source Data Catalog Solution

                                                        OpenMetadata SaaS Trial Offer! Go ahead & access the full suite of features to rebuild trust in your data. OpenMetadataA Single Place to Discover, Collaborate and get your Data RightUnlock the value of data assets with an end-to-end metadata management solution that includes data discovery, governance, data quality, observability, and people collaboration.

                                                          OpenMetadata: The Best Open Source Data Catalog Solution

                                                        • DMARCのレポートを可視化するdmarc-report-converterの紹介

                                                          先日、Gmail、米国Yahoo!から相次いでメール送信者ガイドライン変更のアナウンスがありました。詳しい内容についてはこちらの記事に詳細がまとまっているのでご参照ください。 DMARCのレポート アナウンスを受けてSPF/DKIMの確認やDMARCの設定を始めた方も多いのではないでしょうか。そしてDMARCのレポートをいざ受け取ってみて、XML形式で読み取りにくいと思う方も多いのではないでしょうか。以下のXMLは実際に私のドメインで受け取ったDMARCレポートです。レコードは1つですが、これだけ長くなります。 <?xml version="1.0" encoding="UTF-8" ?> <feedback> <report_metadata> <org_name>google.com</org_name> <email>[email protected]<

                                                            DMARCのレポートを可視化するdmarc-report-converterの紹介

                                                          • 「疑惑動画」のからくりをネットユーザーが暴く、解明のカギになったのは？

                                                            「疑惑動画」のからくりを暴いたのは、ウクライナのネットユーザーだった。その解明のカギとなったのは――。

                                                              「疑惑動画」のからくりをネットユーザーが暴く、解明のカギになったのは？

                                                            • Dataplex(æ—§Data Catalog)によるデータカタログの調査 - yasuhisa's blog

                                                              Dataplex(旧Data Catalog)によるデータカタログについてあれやこれやれやをまとめておいたポインタが欲しくなってきたので、とりとめもなくつらつらと書きます。 注意点: BigQuery on GCPの運用を前提に書いてます Dataplexはデータカタログ以外の機能もたくさんありますが、データカタログの観点にフォーカスして書いてます 論理的なデータ構造を作成したり、それに基づいた権限管理など 少人数のチームでデータ基盤を運営しており、データカタログの運用自体に工数をなかなか割けない前提で書いてます 自前で作ることも難しいし、ましてそれを継続的に運用するのはさらに難しい 「データカタログ」という言葉が指すスコープも色々ありそうですが、「検索 + メタデータ管理」くらいのスコープで書いてます 包括的に書くつもりはないので、漏れてる観点は多いと思います データカタログがなぜ必要か

                                                                Dataplex(旧Data Catalog)によるデータカタログの調査 - yasuhisa's blog

                                                              • OpenMetadataとdbtによるデータカタログの構築

                                                                Exploring the Power of Turbo Streams & Action Cable | RailsConf2023

                                                                  OpenMetadataとdbtによるデータカタログの構築

                                                                • メタデータを理解する（NISOによる入門書）｜国立国会図書館-National Diet Library

                                                                  小売業者が商品や顧客の情報をどのように保管しているかをご存じですか。雇用者は従業員とその業務内容の情報、団体は主催する行事の情報、研究機関は各分野の動向と注目すべき人物の情報、図書館や文書館や博物館は保存管理している資料の情報、政府は国民や同盟国や敵対国の情報をどのように保管しているのでしょうか。これらの情報は、すべてメタデータです。メタデータは、事物を言い表すために私たちが作成、保管、共有する情報です。メタデータのおかげで、私たちは事物と関わり合い、必要な知識を得ることができます。「メタデータ」という言葉は古来、その語源が文字通りに表すように「データに関するデータ」という意味を持っています。このような定義の広さから、メタデータは遍在しているのではないかと考える人もいるかもしれませんが、事実そのとおりです。米国では、2013年に米国国家安全保障局（National Security Age

                                                                  • 『メタデータ評論』が創刊

                                                                    2021年5月1日付で『メタデータ評論』の第1号が刊行されました。 「創刊の辞」によると、同誌は、「著者と読者を仲立ちする目録・分類・索引・メタデータをめぐる議論と情報交換の場」と銘打ち、図書館分野に限らず、類縁機関（文書館・博物館・美術館等）、出版社、書店、デジタルアーカイブなどの情報も含めた広範囲の情報資源組織化（目録・分類・索引・メタデータ）を対象範囲とする「総合雑誌」と位置付けられています。 メタデータ評論　第１号（創刊号） http://techser.info/ 参考： 『資料組織化研究-e』が終刊 Posted 2019年11月12日 https://current.ndl.go.jp/node/39495

                                                                      『メタデータ評論』が創刊

                                                                    • データマネジメントを支える武器としてのメタデータ管理

                                                                      「みなさん、データのメタデータ管理ってどうやってますか?」での発表資料です。 - https://datatech-jp.connpass.com/event/310548/

                                                                        データマネジメントを支える武器としてのメタデータ管理

                                                                      • GitHub - duckduckgo/tracker-radar: Data set of top third party web domains with rich metadata about them

                                                                        You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                          GitHub - duckduckgo/tracker-radar: Data set of top third party web domains with rich metadata about them

                                                                        • EC2のインスタンスメタデータ(IMDS)ã‚’v2に移行する手順をまとめてみた | DevelopersIO

                                                                          こんにちは、コンサル部＠大阪オフィスのTodaです。 EC2のインスタンスメタデータサービスはEC2内から実行中のインスタンスの設定情報を取得できる仕組みになります。 ここ最近ではAWS Security HubのEC2.8の表示でIMDSv2の利用を推奨されたり、Amazon Linux 2023の初期設定で IMDSv1が無効になっていたりするので切り換え時期かなと考えております。 今回は新規インスタンスと既存インスタンスそれぞれで IMDSv2 のみにする調査と手順をまとめてみました。 EC2インスタンスメタデータサービス(IMDS)とは？ IMDSはEC2内から実行中のインスタンスの設定情報を取得できる仕組みになります。 上記を利用する事でスクリプト内でインスタンスIDなどを取得して利用することができます。 取得可能な情報は下記リストを参照ください。 ■ インスタンスメタデータのカ

                                                                            EC2のインスタンスメタデータ(IMDS)をv2に移行する手順をまとめてみた | DevelopersIO

                                                                          • 「メタデータ」「NoSQL」「CAP定理」を理解する

                                                                            NoSQL NoSQLとは、従来の関係モデルに基づかずに構築されたデータベースシステムの総称であり、SQLを用いないことからNoSQL（Not only SQL）の略とされています。SQLを用いると大量データ、複数サーバに分散したデータを扱うクラウドサービスにおいては性能が低下する場合があることから、そうしたSQLでは対応できない領域を保管するために利用されることがあります。 CAP定理 CAP定理とは、クラウドサービスを始めとする情報システム（ネットワークでつながった、共通のデータを持つ、一連のノード群）において、「以下の3要素を同時に満たすことができない」というものです。

                                                                              「メタデータ」「NoSQL」「CAP定理」を理解する

                                                                            • OSSプロジェクト「Egeria」で実現するエンタープライズ規模のメタデータ・ガバナンス | DevelopersIO

                                                                              OSSデータカタログをお探しのみなさま。ちまたにはLyft社製のAmundsenやLinkdIn社製のDataHub、WeWork社製のMarquezなど、一流のテックカンパニーが様々なOSSデータカタログ・プロジェクトを進めているわけですが、まだまだあるんです。今回はLinux Foundationが進めているEgeriaというプロジェクトをご紹介します。 Egeriaとは？ Egeriaは、Linux FoundationのODPiが進めているオープンなメタデータ・ガバナンスを実現するためのエンタープライズ向けのサービスです。種々のデータツールやリポジトリがシームレスにメタデータを共有・交換できるようにするために、Egeriaでは一連のAPI、データ型、フレームワーク、コネクタ、相互交換プロトコル（interchange protocol）をバンドルしています。 エコシステム全体の構造

                                                                                OSSプロジェクト「Egeria」で実現するエンタープライズ規模のメタデータ・ガバナンス | DevelopersIO

                                                                              • 【投稿前に！】Stable Diffusionで生成したイラストからメタデータを消す方法！

                                                                                2023/04/18 (更新日: 2023/09/29) 【投稿前に！】Stable Diffusionで生成したイラストからメタデータを消す方法！ AIイラスト ※当ブログはアフィリエイト・アドセンスによる収益で運営されています。 Stable Diffusionのイラストって、メタデータが残ってるってホント？ 他の人にメタデータを見られたくないな… どうやって消せばいいか教えて こういったお悩みにお答えします。 生成したイラストのメタデータがネット上に公開されると、同じイラストを誰でも作ることができてしまいます。 そのイラストが大事であるほど、ちょっと気分がよくないですよね…。 この記事では Stable Diffusionで生成したイラストに関するメタデータとは？ Stable Diffusionで生成したイラストからメタデータを消す方法！ 投稿するサイトによってメタデータの扱いは異

                                                                                • Windows Property System を使って C# から曲情報を取得する - しばやん雑記

                                                                                  GW なので趣味アプリの開発を行っていると、音楽ファイルに保存された曲情報を取得する必要が出てきたので、Windows Property System を使って実現したという話です。 曲情報というのは以下のようにファイルのプロパティから確認出来るメタデータのことです。 単純にファイルからメタデータを読み込むだけなら TagLib# というライブラリを使うと、特に難しい処理が必要なく読み取ることが出来ます。しかし最近はアップデートがほぼ止まっていて、偶に PR はマージされていますがリリースがされていない状態が続いています。 そういう経緯もあり、別の方法を検討した結果 Windows Property System に辿り着きました。 Windows Explorer やファイルのプロパティから確認出来る各種メタデータは、Windows Property System という統一されたインタ

                                                                                    Windows Property System を使って C# から曲情報を取得する - しばやん雑記
                                                                                  1 2 次のページ

                                                                                  新着記事

                                                                                  はてなブックマーク

                                                                                  公式Twitter

                                                                                  はてなのサービス

                                                                                  • App Storeからダウンロード
                                                                                  • Google Playで手に入れよう
                                                                                  Copyright © 2005-2024 Hatena. All Rights Reserved.