検索対象

並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 115件

新着順 人気順

データ管理の検索結果1 - 40 件 / 115件

タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。

データ管理に関するエントリは115件あります。 データ、 統計、 社会 などが関連タグです。 人気エントリには 『なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQLで解決する』などがあります。

データ管理の関連エントリー

  • なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQLで解決する

    なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQLで解決するShellScriptUNIXSQLitePOSIXQiitadelika 「利用者は数十億人！？ SQLiteはどこが凄いデータベース管理システムなのか調べてみた」の続きです。 はじめに 複雑な構造のデータを扱うのであればシェルスクリプトや Unix (POSIX) コマンドでデータ管理を行うのは避けるべきだと思います。解決不可能な問題が多いからです。しかしそれでも何かしらの理由でやろうと考える（やらなければいけない）のであれば SQLite を使うのをおすすめします。シェルスクリプトや Unix コマンドは行単位の単純なテキストデータをシーケンシャルにデータ処理するのが前提となっており、改行や空白が含まれるデータや複雑な構造のデータ扱うのは苦手です。またシェル

      なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか？ ～ UNIX/POSIXコマンドの欠点をSQLで解決する

    • データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog

      こんにちは、データ基盤グループの吉田(id:syou6162)です。先日、モノタロウ社内で「データ管理に役立つメタデータ」に関する勉強会を開催しました。BigQueryのINFORMATION_SCHEMAを中心とした実例を豊富に盛り込んだ内容について話したのですが、社内に限らず有用な内容であると思うので、広く公開します。 開催に至った背景 モノタロウ社内では広くデータ活用が進んでおり、GCPのプロジェクトは数百以上運用され、その中の多くのプロジェクトでBigQueryも使われています。社内に広く提供するDWHやセキュリティなど全社的なデータ基盤に関することはデータ基盤グループが運用/管理を行なっていますが、社内のGCPプロジェクト全てのデータ管理にデータ基盤グループが深く関わっていくのは工数的に困難です*1。 INFORMATION_SCHEMAなどデータ管理に役に立つメタデータのノウハ

        データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog

      • 最高のマスターデータ管理手法考察 & VSCode Extension を活用した話 / developing masterdata management tool by using vscode extension

        GeekGig 『スタディサプリ x Showcase Gig』 〜フロントエンドを楽しむ〜 Links: p.6 [Deep Environment Parity CDNT 2019 - Speaker Deck](https://speakerdeck.com/spring_mt/deep-…

          最高のマスターデータ管理手法考察 & VSCode Extension を活用した話 / developing masterdata management tool by using vscode extension

        • はじめよう、研究データ管理 | 九大コレクション | 九州大学附属図書館

          この教材は、九州大学大学院統合新領域学府ライブラリーサイエンス専攻の2020年度PTL1で既存教材に改変を加えて作成した成果物について、同一の既存教材を再度参照し、研究データ管理支援部門にて、大幅に加筆・修正したものである。

            • データ管理の関連エントリー

          • 新型コロナの感染者データ管理システム 改善進める方針 厚労省 | NHKニュース

            新型コロナウイルスの感染者のデータを一元的に管理するシステムについて、厚生労働省は、東京と大阪の自治体で使われていないことなどから、自治体側の要望も聞いて改善を進める方針です。 しかし、厚生労働省によりますと、22日の時点で、保健所が設置されている全国155の自治体のうち、東京と大阪のおよそ30の自治体で利用されていないということです。 こうした自治体には、システムの切り替えに時間がかかっているところがあるほか、感染者の個人情報の扱いに懸念を示すところもあるということです。 厚生労働省は、全国的な管理システムを早急に構築したいとして、感染症の専門家や保健所の所長らが参加する作業チームで対策の検討を始めました。 厚生労働省では、データを入力する側の自治体の要望も聞いて改善を進める方針で、自治体によるクラスター対策などにもデータを使ってもらえる仕組みの導入を急ぎたい考えです。

              新型コロナの感染者データ管理システム 改善進める方針 厚労省 | NHKニュース

            • Chrome拡張でマスタデータ管理ツールを作ったら開発に変化が起きた話（ツール公開しました） - Qiita

              Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? よくある運用 マスタデータの管理方法として多いのは、Excelなどの表計算ソフトを使ってデータを作成し、それをGitHubで管理しつつ、実際にDBなどへデプロイさせる方法かと思われます。 そしてこれを実現するにあたって、出来るだけエンジニアの負担を減らせるよう、データ作成者にGitクライアントの使い方やデプロイ方法をレクチャーします、が... マスタデータ管理ツールの誕生 ただ、そこで気になるのは、結果的にデータ作成者の負担が増えてしまうことです。 大体の場合、表計算ソフト以外のツールも触ることになり、もう少し手軽にできないかと考えてい

                Chrome拡張でマスタデータ管理ツールを作ったら開発に変化が起きた話（ツール公開しました） - Qiita

              • GitHub APIを利用したスケーラブルなマスターデータ管理システム - Mirrativ Tech Blog

                こんにちは、バックエンド基盤チームマネージャーの夏（なつ）と申します。ミラティブの基盤チームはユーザが直接触れる機能よりかは、開発者や会社全体の生産性を向上させるためにエンジニア主導で課題を発見・解決している部署です。 今回は基盤チームが主体となって運用しているマスターデータ管理システムについて紹介したいと思います。ゲーム運営などではエクセルやスプレッドシートで管理されることがよくありますが、学習コストや安全性の観点で入力者を増やしづらい場合があります。このような問題に対応するため、ミラティブでは一部のマスターデータをGitHub APIを利用した専用の管理画面を実装することで入力作業をスケールできるようにしました。 （なお、本記事は社内向けドキュメントを兼ねています） マスターデータとは マスターデータとはユーザによって生成されるデータではなく、主に運営が用意するデータになります。詳細と

                  GitHub APIを利用したスケーラブルなマスターデータ管理システム - Mirrativ Tech Blog

                • 大規模データ管理

                  TOPICS Database 発行年月日 2022年12月 PRINT LENGTH 372 ISBN 978-4-8144-0008-9 原書 Data Management at Scale FORMAT PDF EPUB データ管理と統合が急速に進化する中、複雑で緊密に結合したアーキテクチャから、現代のビジネスに対応できる、より柔軟なデータアーキテクチャへの移行が求められます。 本書は、変化が激しい時代でも長期的に持続可能な方法で大規模なデータ管理を行い、さまざまなユースケースに対応できる統合アーキテクチャを紹介します。この統合アーキテクチャを構成する、膨大なデータ利用に向けた「読み出し専用データストアアーキテクチャ」、リアルタイムなアプリケーションのための「APIアーキテクチャ」、大容量のスループットを実現する「ストリーミングアーキテクチャ」を詳述します。また技術開発、法規制、プ

                    大規模データ管理

                  • デザインスピード1.5倍！？Adobe XDにおけるデザインデータ管理術 | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作

                    こんにちは！ 常に美しいデータ管理を模索中のありさんです。 突然ですが、XDでデザインしているとき、データってカオスになりがちですよね……？ メインコンポーネントがどこだかわからなくなる XDがフリースタイルすぎて、とっ散らかる 自分しか理解できない置き場所になってしまう 自分だけで作っているときは良いですが、いざフロントエンドやバックエンドのエンジニアさんにお渡ししたときに「これどうなってるの……？」って困らせてしまうケース……私はめっちゃあります！！！！！ そんな、プロジェクトの平和のために、ワイヤーフレーム作成、デザイン作成時の管理方法を作ってみました。 今回紹介する管理方法を実際のプロジェクトでも使ってみたところ、プロジェクトメンバーとの意思疎通もスムーズでデザインスピードも1.5倍（体感）くらいになったので、紹介します。 XDデータをつくるうえでの要件 プロジェクトメンバー全員が

                      デザインスピード1.5倍！？Adobe XDにおけるデザインデータ管理術 | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作

                    • 書籍紹介：大規模データ管理(エンタープライズアーキテクチャのベストプラクティス) | フューチャー技術ブログ

                      最近読んだ書籍の中で非常に良質な内容でしたので紹介したいと思います。少しでも多くの方に興味を持ってもらえることを期待しています。 O’Reilly Japan はじめに私自身がデータ管理（データマネジメント）という観点でここ数年様々な検討を行ってきていますので前提としてその背景について簡単にまとめてみます。 かつてオンプレミスで運用を行っていた時は企業内のデータは完全に管理されていました。データウェアハウスを導入してデータの集約・加工は行われていましたが、専門チームがデータ仕様確認やデータ提供までもすべての責任を担っていました。品質は高いのですが利用者からの要望（新しいデータの提供、仕様の変更）の対応についてはスピード大きな制約がありました。また大規模なデータを扱うためには多大なコストが必要という制約もあります。 クラウド技術による「スモールスタートを可能とするインフラ」「大規模なデータを

                        書籍紹介：大規模データ管理(エンタープライズアーキテクチャのベストプラクティス) | フューチャー技術ブログ

                      • TiDBによる大規模ログデータ管理の挑戦！シャーディングなしで大量インサートをさばくには？ - LINE株式会社 - TiDB User Day 2023

                        イベント開催日：2023年7月7日 講演者：LINE株式会社　ITSC データベース室　MySQL 1チーム ソフトウェアエンジニア　大塚 知亮 氏 本スライドでは、TiDBで大量のログデータを管理するRDBとして、MySQL及びTiDBを検証した過程と結果、そしてオンプレでの運用方法…

                          TiDBによる大規模ログデータ管理の挑戦！シャーディングなしで大量インサートをさばくには？ - LINE株式会社 - TiDB User Day 2023

                        • 仕事とプライベートの情報整理に困っている人へ。Notionで叶うシンプルなデータ管理術【今日のワークハック】 | ライフハッカー・ジャパン

                          サンディスクのmicroSDカード 512GBが40%OFF。写真や動画のデータ置き場はこれで良くない?【Amazonセール】

                            仕事とプライベートの情報整理に困っている人へ。Notionで叶うシンプルなデータ管理術【今日のワークハック】 | ライフハッカー・ジャパン

                          • オムロン、アプリでデータ管理できるパルスオキシメータ。医療者向け - 家電 Watch

                              オムロン、アプリでデータ管理できるパルスオキシメータ。医療者向け - 家電 Watch

                            • overlayfs を用いたクラウドゲームのデータ管理 - castaneaiのブログ

                              クラウド上でゲームを動かす場合、データ（ゲーム本体のデータ・セーブデータ）をどう管理するかは重要な課題のひとつだ。 そこで、自分が開発に携わっているOOParts のデータ管理を支える技術について紹介する。 ノベルゲームのセーブ事情 OOPartsで提供されているのは主にビジュアルノベルゲームで、セーブデータの形式や場所は実に多種多様である。 ゲーム本体と同じディレクトリにセーブデータを保存するゲームもあれば、ユーザーディレクトリ（マイドキュメント等）以下に保存するゲームもある。 とにかく様々な保存方式があるため複数メーカーのゲームを提供するとなると セーブデータの場所を機械的に特定できない。 唯一言えるのはほとんどのゲームはセーブデータをファイルに保存しているということぐらいだ。 ゲームタイトル毎に設定を持ち、「ゲームAのセーブデータは〇〇で、ゲームBのセーブデータは〇〇で…」とすれば不

                                overlayfs を用いたクラウドゲームのデータ管理 - castaneaiのブログ

                              • 睡眠時無呼吸症候群：安心の診療データ管理# - 春雨☆サラダ

                                睡眠時無呼吸症候群と向き合うことにした。 何年も前から気になっていたけど、ずっと目を背けていた睡眠時無呼吸症候群… これを要因としたバス、自動車、電車、トラック等々、交通機関の事故などあって、中々言い出せない病気です。 私自身も運転をするので、もしも病気であり、それが会社にばれてしまったらとの思いがあり、中々、病院を受診することをためらっていました。 しかしながら、５０歳になるのを前に、やはり人生、健康で長生きしなくてはとの思いと、何よりも、自分が睡眠時無呼吸症候群によって事故の加害者となってしまってからでは取返しがつかないと思い立ち、今回初めて向き合うこととしました。 皆さまも、同じような思いの方がいるかも知れませんが、私は今回、病院を受診して、治療を開始して本当に良かったと思います。 大げさかも知れませんが、治療によって熟睡出来るようになったことで、今までとは全く違う生活を手に入れるこ

                                  睡眠時無呼吸症候群：安心の診療データ管理# - 春雨☆サラダ

                                • 世界初、“世紀単位”でのゲノムデータ管理を想定した「個別化ヘルスケアシステム」の実証に成功。東芝ら4者

                                    世界初、“世紀単位”でのゲノムデータ管理を想定した「個別化ヘルスケアシステム」の実証に成功。東芝ら4者　

                                  • データメッシュを意識したBigQueryのデータ管理設計 - enechain Tech Blog

                                    この記事は enechain Advent Calendar 2024 の12日目の記事です。 はじめに こんにちは！ enechain でデータプラットフォームデスクのEMをしている26Takafujiです。 私は2023年9月にenechainへジョインし、そこからちょうど1年強の時間が経ちました。 入社時はまだ全社横断のデータ基盤は検討中の段階で本格的な提供はこれからという状態でしたが、この1年間でデータ基盤としての1st Stepである「まずはデータを集める」を進めてきて、主要なデータソースのBigQueryへの集約を一通り仕組み化できました。 今回は進めてきた仕組み化の中で、データ界隈では数年前から巷でよく取り上げられる「データメッシュ」の概念を念頭においた時、BigQueryへ集約されたデータの管理をどういった形で考えたのかを書いてみたいと思います。 これからデータ基盤を構築し

                                      データメッシュを意識したBigQueryのデータ管理設計 - enechain Tech Blog

                                    • データ管理で“ズタボロ”のLINEと経営統合した、ヤフーに圧し掛かる責任

                                      データ管理で“ズタボロ”のLINEと経営統合した、ヤフーに圧し掛かる責任：本田雅一の時事想々（1/3 ページ） LINEが個人情報を中国のサーバに保管していたというニュースが話題になったのは、今年3月のこと。かいつまんで経緯を振り返ると、Yahoo! JAPANの運営母体とLINEの合併が承認され、組織や運営サービスの統合などが進められる中で、Yahoo!側がLINEのシステムを精査していく際に問題が発見され、自ら問題を報告した──というのが当時の流れだった。 3月19日、LINEが個人情報保護委員会に報告した、いわば“自己反省文”のような報告書では、中国でのサービス開発や保守、運用業務を終了させ、中国で管理していたデータを国内移転させることや、韓国のデータセンターに保管されていたトーク内の画像・動画・ファイルデータを今年6月までに国内に移管させるとしていた。 他にも細かな対策やデータの扱

                                        データ管理で“ズタボロ”のLINEと経営統合した、ヤフーに圧し掛かる責任

                                      • LINE、個人データ管理不備で謝罪　中国委託先で閲覧可能 - 日本経済新聞

                                        LINEは17日、業務委託先の中国の関連会社の従業員が国内の個人情報データにアクセス可能な状態だったと発表した。「業務上適切なもので、不正アクセスや情報漏洩はない」と強調する一方、「ユーザーへの説明が十分ではなかった」として謝罪した。LINEは政府の個人情報保護委員会に報告した。既に閲覧ができないように対応済みとしており、近く調査のための第三者委員会を立ち上げる。2018年8月から21年2月

                                          LINE、個人データ管理不備で謝罪　中国委託先で閲覧可能 - 日本経済新聞

                                        • マスターデータ管理に対する 共通基盤システム開発というアプローチ

                                          タイトルごとに行なっていたマスターデータ管理フローを共通基盤システムとして取り組むアプローチについて、選択した経緯や現状、開発プロダクトついて紹介します

                                            マスターデータ管理に対する 共通基盤システム開発というアプローチ

                                          • Zホールディングス、外部有識者による特別委員会を設置　LINEのデータ管理問題で

                                            メッセージアプリ「LINE」のユーザー情報などがアプリのシステム開発などを請け負う中国のLINE子会社からアクセスできる状態になっていた問題を巡り、親会社のZホールディングス（ZHD）は3月19日、外部有識者による特別委員会を立ち上げると発表した。LINE社のデータガバナンスの在り方などを検証する。 第一回会合は3月23日に開催する。LINEの発表によると、 ユーザーがアプリ内で共有した画像や動画、タイムラインに加え、QRコード決済サービス「LINE Pay」の取引情報などは韓国のデータセンターで管理していたという。 一方、トークテキスト・LINE ID・電話番号・メールアドレス・友だち関係・友だちリスト・位置情報・アドレス帳・LINE Profile+（氏名、住所など）、音声通話履歴（通話内容をのぞく）、LINE内サービスの決済履歴などは日本のデータセンターに保管しているという。

                                              Zホールディングス、外部有識者による特別委員会を設置　LINEのデータ管理問題で

                                            • データ管理が簡単になるバックアップソフトAOMEI Backupperを使ってみた

                                              いざという時の為に大切なデータのバックアップを取りたいけど簡単にデータ管理ができる便利なソフトはありますか？ バックアップはとても重要な事と分かっているのに面倒で手が回らない。 そして不具合で保存していたデータが壊れた、HDDやSSDが壊れてしまったなどのトラブル時にバックアップを取っていなかっ為大変な思いをした事ありませんか？(私もその一人です) バックアップデータがあれば事故が起こってデータが壊れてしまった時もすぐに復元する事ができます。その他にはパソコンの買換えやHDD➡SSDに交換した時にも簡単にデータの移行ができます。

                                              • 中央集権から自律分散型のデータ管理へ〜モノタロウにおけるアナリティクスエンジニアリング〜 - MonotaRO Tech Blog

                                                アナリティクスエンジニアリンググループのマネージャーをしている吉本です。 モノタロウでは昨年7月よりアナリティクスエンジニアリンググループを立ち上げ、データ管理をより高度にするための取り組みを始めております。 今回はモノタロウにおいてアナリティクスエンジニアリンググループができた背景と取り組みについて紹介いたします。 またこの記事を読んでモノタロウのアナリティクスエンジニアリングに興味がある！詳しい話を聞きたいと思ったかたは2/13にイベントを開催いたしますのでぜひご参加ください！ monotaro.connpass.com データ活用と管理の歴史 各業務におけるデータ管理の課題 各業務の指標の管理先がない データ管理を進めるうえで業務とデータ仕様の理解が必要 ドメイン内におけるデータ品質の維持管理が難しい データメッシュとアナリティクスエンジニアリング モノタロウが目指す自律的なデータの

                                                  中央集権から自律分散型のデータ管理へ〜モノタロウにおけるアナリティクスエンジニアリング〜 - MonotaRO Tech Blog

                                                • いつか起こる問題だった　LINE、データ管理に甘さ　苦悩のLINE（1） - 日本経済新聞

                                                  「なぜ事実と異なる説明をしていたのか」。7月19日、LINEを傘下に持つZホールディングス（HD）の本社（東京・千代田）の一室。東京大学教授の宍戸常寿らは社長の出沢剛らLINE幹部を問い詰めた。宍戸はLINEの個人データ管理問題を調べるため、「ヤフー」も運営するZHDが立ち上げた特別委員会の座長だ。この日求めたのは、日本の利用者の画像・動画データを韓国で保管しながら、官公庁には「データは日本に

                                                    いつか起こる問題だった　LINE、データ管理に甘さ　苦悩のLINE（1） - 日本経済新聞

                                                  • Innovators Hive at Next ’22に登壇しBigQueryの学び方や社内での利用促進、データ管理について話しました - MonotaRO Tech Blog

                                                    データ基盤グループの吉本です。 最近急に気温が上がり下がりして着る服を毎日悩んでいます。 先日の10/14(金)にGoogle Cloud主催でInnovators Hive at Next ’22が開催され、その中のBigQueryに関するパネルディスカッションに登壇しました。 パネルディスカッションの模様は下のリンクある動画で見ることができます。 cloud.withgoogle.com 登壇で話したこと パネルディスカッションでは主にBigQueryをどう学んでいけばいいのか、社内に広く使ってもらうためにどう取り組んでいけばいいのか、 そして昨今話題になっているデータマネジメントに絡めてBigQueryにおけるデータ管理について、普段からBigQueryの活用や運用をしているエキスパートのみなさんと話しました。 一登壇者としてはモノタロウにおけるBigQueryの利用促進として、Bi

                                                      Innovators Hive at Next ’22に登壇しBigQueryの学び方や社内での利用促進、データ管理について話しました - MonotaRO Tech Blog

                                                    • 「東北大学研究データ管理・公開ポリシー」を策定しました

                                                      本学は、このたび「東北大学研究データ管理・公開ポリシー」を策定し、公開しました。 研究活動の有り様が変遷し、研究活動におけるデータの重要性が増大しているなかで、本学は、本ポリシーに従い、高い学術的意義を有する研究データを適切に管理するとともに、研究データの公開及び利活用を促進することで、オープンサイエンスを先導し、研究中心大学として人類社会の持続的発展に貢献してまいります。 東北大学研究データ・公開ポリシー 東北大学研究データ・公開ポリシーの解説 問い合わせ先 研究推進部研究推進課 TEL： 022-217-5014 E-mail: kenkyo-kikaku*grp.tohoku.ac.jp（*を@に置き換えてください）

                                                        「東北大学研究データ管理・公開ポリシー」を策定しました

                                                      • LINEの規約改定（プライバシーポリシー）が波紋呼ぶ！データ管理やデータアクセスを韓国で可能に変更　危険に個人情報が晒される可能性大 - 初心者の投資家マガジン

                                                        開き直ったと言っていいのだろう。 堂々とあなたのデータは韓国に行きますよと宣言したようなものだ。 主要ユーザーが日本人なのに、なぜか韓国に拘るLINE。 LINEがとうとう韓国へのデータがアクセス可能だと宣言したようなもの さらに政府内部にLINEやソフトバンク系企業の人間が中枢に LINEがとうとう韓国へのデータがアクセス可能だと宣言したようなもの このブログでも過去２度に渡り、LINEに関する情報を流してきた。 過去、LINEは何度も安全だと宣言してきたが、結果安全ではなかったのだ。 今回は、そのプライバシーポリシーを変更して、話題となっている。 LINEは31日、中国の関連会社から個人情報が閲覧可能だった問題を受け、個人情報の取り扱いを定めた「プライバシーポリシー」を改定したと発表した。従来は個人データを「第三国に移転する場合がある」としていたが、韓国、ベトナムなど初めて移転先の国・

                                                          LINEの規約改定（プライバシーポリシー）が波紋呼ぶ！データ管理やデータアクセスを韓国で可能に変更　危険に個人情報が晒される可能性大 - 初心者の投資家マガジン

                                                        • ソニー、非接触IC「FeliCa」向け次世代チップを開発！クラウド連携でデータ管理が可能。搭載カード「RC-S120」を含めて11月に量産開始 : S-MAX

                                                          ソニー、非接触IC「FeliCa」向け次世代チップを開発！クラウド連携でデータ管理が可能。搭載カード「RC-S120」を含めて11月に量産開始 2020年09月08日23:25 posted by memn0ck カテゴリアプリ・サービスニュース・解説・コラム list SonyがFeliCaの次世代ICチップを開発！既存ICチップと互換性を保ちつつ、よりセキュアに ソニーおよびソニーイメージングプロダクツ＆ソリューションズは8日、非接触ICカード「FeliCa」（FeliCa Standard）向けの次世代ICチップを開発したと発表しています。新ICチップおよび新ICチップを搭載したカード製品「FeliCa Standard SD2 非接触ICカード『RC-S120』」の量産開始は2020年11月頃を予定しているとのこと。 新ICチップは現行のFeliCa Standard ICチップと

                                                            ソニー、非接触IC「FeliCa」向け次世代チップを開発！クラウド連携でデータ管理が可能。搭載カード「RC-S120」を含めて11月に量産開始 : S-MAX

                                                          • dbtのモデルとTableau上で使われているWorkbookの依存関係をexposureで表現して、データ管理を効率的に行なおう - yasuhisa's blog

                                                            3行まとめ dbtのジョブが失敗した際やテーブルの廃止検討の際に、BI上のどのダッシュボードで利用されている(データリネージ)か知るのは重要です TableauのGraphQLのAPIからWorkbookとBigQuery上のモデルの埋め込みの関係を知ることができます dbtのモデルとTableau上で使われているWorkbookの依存関係をexposureとして出力するスクリプトにより、dbtのジョブの失敗やテーブルの廃止がTableauのダッシュボードに与える影響などを調べやすくなりました 3行まとめ 背景 課題: dbtのexposureとしてダッシュボードを手動で記入し続けるのは難しい 解決方法: TableauのGraphQLのAPIを使い、 dbtのexposureを自動生成する 発展的話題 背景 業務において、DWHやデータマートの生成にdbtを、BIツールとしてTablea

                                                              dbtのモデルとTableau上で使われているWorkbookの依存関係をexposureで表現して、データ管理を効率的に行なおう - yasuhisa's blog

                                                            • 「オープンサイエンス及び研究データ管理に係る参考となる取組事例」（オープンアクセス委員会）を公表しました | 国立大学図書館協会

                                                              ホーム お知らせ 「オープンサイエンス及び研究データ管理に係る参考となる取組事例」（オープンアクセス委員会）を公表しました 「オープンサイエンス及び研究データ管理に係る参考となる取組事例」（オープンアクセス委員会）を公表しました オープンアクセス委員会はこのほど、「オープンサイエンス及び研究データ管理に係る参考となる取組事例」を作成し、公表しました。 本資料は、国立大学図書館協会会員館及び関連団体における、オープンサイエンスや、研究データの管理・公開に関わる取組事例を収集したものです。収集した取組事例に関して、詳細な情報がインターネット上で公開されている場合は、リンクが張られています。会員館における今後の取組の一助となれば幸いです。 「オープンサイエンス及び研究データ管理に係る参考となる取組事例」 ＜目次＞ １. オープンサイエンス・研究データを所掌する組織等の設置や参加 ２. 研究データ

                                                              • 大規模データ管理 第2版

                                                                今日では、データを素早く価値に変換することが求められています。一方、人工知能、クラウド化、マイクロサービスといった新しいソフトウェア提供モデルが、データ管理の方法を根本から変革しようとしています。組織は、分散化が避けられない現実に直面し、責任の分散、データの管理手法、そしてデータの他者への提供方法に関する変革を迫られています。 本書では、将来にわたり堅牢かつスケーラブルなデータ管理を実現するために、組織のニーズを踏まえた次世代データアーキテクチャの設計方法について説明します。また、法規制、プライバシーに関する懸念、データメッシュやデータファブリックなどの新しい技術動向を紹介し、クラウドデータランディングゾーン、ドメイン駆動設計、データプロダクトといった最先端のデータアーキテクチャについて解説します。さらに、データガバナンス、データセキュリティ、マスターデータ管理、セルフサービス型データマー

                                                                  大規模データ管理 第2版

                                                                • LINEが8000万人のデータ管理で損ねた信頼

                                                                  3月1日にZホールディングス（HD）との経営統合を完了し、新たなスタートを切ったばかりのLINEが大きな課題を露呈した。 「ユーザーの皆様にご心配とご迷惑をおかけしており、心からお詫び申し上げたい。非常に多くのユーザーからの信頼を裏切る結果となったことを重く受け止めている」 国内で8000万人以上のユーザーを抱えるコミュニケーションアプリのLINE。中国の関連会社や業務委託先が日本のユーザーの個人情報にアクセスできる業務をしていたことが明らかになり、同社の出澤剛CEOは3月23日夜に会見を開いて謝罪した。 LINEは中国・大連の関連会社や現地の業務委託先で一部の業務システムやサービスの開発のほか、コンテンツの監視業務を任せてきた。会社側はこうした業務委託自体は個人情報保護法などに抵触しないとしているが、中国では2017年に施行された国家情報法で民間企業に国家の情報収集への協力を義務づけてい

                                                                    LINEが8000万人のデータ管理で損ねた信頼

                                                                  • dbtのモデルとLooker Studioのレポートの依存関係をexposureで表現して、データ管理を効率的に行なおう - yasuhisa's blog

                                                                    シリーズの第三弾です。読者の宿題にしてたけど、誰も書いてくれなさそうだったので結局自分で書きました。 背景 Looker StudioはGoogle Workspaceを使っていれば基本的に無料で使えますし*1、権限管理にGoogle Groupとも連携できるので、人気のBIの一つだと思います。私が初めて触ったBIもLooker Studioだったので、(API強化して欲しいとか不満は山のようにありつつも)何だかんだで憎めないし、さっとダッシュボード作りたいときはLooker Studioを使うことが多いです。会社によっては社内の公式のダッシュボードをLooker Studioで作っているところもあると思います。 dbtで作ったテーブルがConnected Sheetsから参照されている場合、一定程度利用されているスプレッドシートからのテーブルの参照状況はデータ基盤を管理する人間としては把

                                                                      dbtのモデルとLooker Studioのレポートの依存関係をexposureで表現して、データ管理を効率的に行なおう - yasuhisa's blog

                                                                    • Amazon.co.jp: 大規模データ管理 ―エンタープライズアーキテクチャのベストプラクティス: Piethein Strengholt (è‘—), 村上列 (翻訳): 本

                                                                        Amazon.co.jp: 大規模データ管理 ―エンタープライズアーキテクチャのベストプラクティス: Piethein Strengholt (著), 村上列 (翻訳): 本

                                                                      • FastAPI Adminでデータ管理ツールを爆速で立ち上げてみた - Qiita

                                                                        Fast APIにもDjango Adminのような管理画面フレームワークないかなと思って探していたら、ちょうど同じような名前で実装されていたので、使ってみました。 tl;dr FastAPI Adminを使えば、ログイン画面つきのデータ管理画面を爆速で立ち上げられます。 機能的には現段階ではシンプルなCRUD操作が可能で、独自のカスタマイズも可能。 今回のサンプルコードはこちら FastAPI Adminとは FastAPI Adminとは、 A fast admin dashboard based on FastAPI and TortoiseORM with tabler ui, inspired by Django admin と公式サイトにあるように、Django adminに影響を受けてFast APIに実装されたDBデータ管理画面用のフレームワークです。 できることを簡単に列

                                                                          FastAPI Adminでデータ管理ツールを爆速で立ち上げてみた - Qiita

                                                                        • オライリー「大規模データ管理」はどう書かれるべきだったか - hidekatsu-izuno 日々の記録

                                                                          オライリーから出た「大規模データ管理」という新刊を読んだ。 大規模データ管理 ―エンタープライズアーキテクチャのベストプラクティス 作者:Piethein Strengholt オライリージャパン Amazon 私の担当するような基幹系システムでも、特に業務は変わっていないと思うのだけど、扱うデータ量は日々増加しており、昨今の機械学習の進展やDXなる謎キーワードの登場でデータの重要性が叫ばれる中、その傾向には拍車がかかっている。 ということで、非常に興味を持って読み始めたのだけど、個人的には違和感を持ってしまった。誤解を招くと良くないが、トピックを網羅的に扱っている真面目な本で、決して悪い本ではない。*1 違和感の理由を考えてみたのだけど、ひとつは切り口が機能に寄りすぎてニーズがはっきりとしないところにあると思う。書いてないわけではないけれど、あくまで世の中にはこういう機能があってこう使う

                                                                            オライリー「大規模データ管理」はどう書かれるべきだったか - hidekatsu-izuno 日々の記録

                                                                          • ヒロケイがランサム被害、データ管理の不備で10万人超の個人情報に不正アクセス

                                                                            複数企業の健康保険組合が個人情報漏洩の可能性を発表した。漏洩の可能性があるデータには、氏名や住所、生年月日などが含まれていた。システムの委託先であるヒロケイがランサムウエアに感染したのが原因だ。削除すべき個人情報を消していなかったところへ、不正アクセスされた。委託先管理のずさんさが、サイバー攻撃によって浮き彫りとなった。 2024年7～10月、7社の健康保険組合が相次いで組合員の個人情報漏洩の恐れがあると公表した。 原因は、ヒロケイで発生した不正アクセスだ。ヒロケイはシステムのコンサルティングや開発・導入・保守などを手がけ、健康保険組合向けの基幹業務支援システムも開発する企業である。 健康保険組合から業務委託を受けたり、健康保険組合が別企業に委託した業務をヒロケイに再委託したりすることもある。今回、ヒロケイがランサムウエア攻撃に遭い、開発などを委託された際に取り扱っていた個人情報に不正アク

                                                                              ヒロケイがランサム被害、データ管理の不備で10万人超の個人情報に不正アクセス

                                                                            • Firebaseでお手軽！データ管理画面をつくる | フューチャー技術ブログ

                                                                              はじめにこんにちは！ 2017年9月入社の柏木です。夏休み自由研究連載13日目の記事です！ 🏖️ 昨日は【入門】私を苦しめたDynamoDBという読み応えたっぷりの記事でした。 今回は、Firebaseを使って画面を開発してみようと思います。 本記事のゴール下記を最短経路で作ってみます。 システムアドミンの人が使うようなマスタデータ管理画面を想定して、限られたユーザーにアクセスを制限すべく、認証機能も入れました。 Typescript×Reactのアプリを立ち上げる Firebaseのデータベース（Firestore）にデータを用意する Firebase Hostingを用いてデプロイする Firestoreに格納されているデータを画面に表示する Firebase Authenticationで認証する 環境 macOS Catalina (v10.15.6) Node.js (v14.

                                                                                Firebaseでお手軽！データ管理画面をつくる | フューチャー技術ブログ

                                                                              • OpenAI、合成画像の検知技術　AIの学習データ管理も - 日本経済新聞

                                                                                【シリコンバレー=渡辺直樹】生成AI（人工知能）「Chat（チャット）GPT」を開発した米新興オープンAIは7日、AIの合成画像を検知する技術を発表した。偽情報の拡散を防ぐのに使う。また報道機関やコンテンツ作成者向けに、AIに学習させる情報を管理できるツールを2025年までに開発すると発表した。AIの適切な利用に向けた仕組みづくりを急ぐ。オープンAIは画像を描く生成AIも提供している。特殊なデ

                                                                                  OpenAI、合成画像の検知技術　AIの学習データ管理も - 日本経済新聞

                                                                                • 【保存版】Notionの使い方完全マニュアル｜メモ・タスク管理・カレンダー・データ管理が一つに！

                                                                                  HikoPro皆さんこんにちは！デジタルコンテンツクリエイターのHikoProです！ 最近Notionが話題だけど、実際どんなアプリなの？Notionのインストール〜使い方を教えて欲しい！NotionでToDoリストの作り方や、データベースの使い方を教えて欲しい！ 今回の記事はこのようなお悩みを解決します！ 皆さん、日々のメモ、タスク管理、ToDoリストどのように管理していますか？ これらのツール、Notion（ノーション）を使えば一元管理できますよ！ HikoPro僕自身、Notionを使い始めて1年くらい経ちますが、Notionを導入してから、仕事の生産性が劇的に向上しました！ この記事を見た人はもう、Notionの虜になること間違いないでしょう！ そこで本記事では、、、 Notionとは？知っておきたい基礎知識について、メリット・デメリットNotionの始め方｜インストール〜ログイン

                                                                                    【保存版】Notionの使い方完全マニュアル｜メモ・タスク管理・カレンダー・データ管理が一つに！
                                                                                  1 2 3 次のページ

                                                                                  新着記事

                                                                                  はてなブックマーク

                                                                                  公式Twitter

                                                                                  はてなのサービス

                                                                                  • App Storeからダウンロード
                                                                                  • Google Playで手に入れよう
                                                                                  Copyright © 2005-2025 Hatena. All Rights Reserved.