Android/iOSアプリ「Memento Database」 使ってみる（同期の検証） 便利な機能 無料版と有料プランの違い かなり満足！ 僕は今はGoogleスプレッドシートで購入物を記録しています。 GoogleスプレッドシートはGoogleドライブで同期でき、ハードオフなど出先でスマホで検索できるのでそこそこ便利です。 ただ、スマホでの一覧性はあまりよろしくなく、検索機能も乏しくソートや条件での整理はできません。画像の登録・閲覧も限定的。まぁそりゃそうだ。ExcelもGoogleスプレッドシートも表計算ソフトであってデータベースソフトではないしね。 ならばデータベース専用ソフト（AccessやFilemaker）で記録と管理を・・・ということになりますが、これらのソフトは使い勝手がかなり専門的で古臭いのです。ボタン一つでスマホ対応・クラウド同期はほぼ無いですし、特に表計算ソフトで

PostgreSQL Conference Japan 2018 【T3】SQL チューニングの基礎 JPUG 理事長 高塚 遥 SQL の応答がなぜ遅いのか、どうすれば速くなるのか、という普遍的な問題に対して、基礎から解説します。 SQL が実行される仕組み、共有バッファ・OSキャッシュの働き、各種のインデックスの役割と働き、 SQL実行プランの確認方法、SQL 実行プランを調整する方法、などを取り上げます。 https://www.postgresql.jp/jpug-pgcon2018#T3 撮影・編集: Makoto Kaga (JPUG, Project92.com)

はじめに タイトルのとおり、RDBのデータモデリング・テーブル設計を行う際に参考にしている考え方と関連資料をまとめました。 P.S. なんと本記事内でいくつか参考として挙げさせてもらっている増田さん・かとじゅんさん・奥野さん・そーだいさんからコメントいただくことができました。 本当にありがとうございます。 前提 RDBを採用するのは事実を無駄なく正しく記録するため 正規化、トランザクション、制約とデータ整合性 基本的には始めに理想として集合論・リレーショナルモデルに基づいて正規化を考え(論理設計)、パフォーマンスなどの現実問題に対して折り合いをつけていく(物理設計) 制約を最大限利用する cf: ↑P91〜 ↑P.29,41 ↑P56〜 ↑5章 ↑P347～ 情報とデータ データ：単なる事実の値→これを永続化して蓄えるものがRDB 情報：データから生み出される意味や目的のあるもの→RDBか

6. Data / Inform / Information Inform: “to convey knowledge via facts (事実によって知識を伝える)” Data (Factの集合) Information 選択・加工して知識を取り出す Value of Values (Rich Hickey) 業務システム構築におけるデータモデリング (和田省二) 7. Dataを場合分けする Event (コト) Resource (モノ) 日時属性をもつ 日時属性をもたない 非対称性 対称性 ある一時点 ライフサイクルがある 一時点の事実の記録なので、属性は変わる ことはない。 ライフサイクルにともない属性が変化して いくこともある。 属性が変化しても同じモノであることを示 すためIdentityが必要。 データは大まかに2種類に分別できる。

軽量な時系列データベースエンジンをスクラッチで開発する機会があったので、どのように実装したのかを必要知識の解説を交えながらまとめていきます。 実装はGo言語によるものですが、本記事のほとんどは言語非依存な内容となっています。 モチベーション 筆者は時系列データを扱うツールをいくつか開発しています。その中の一つであるAliは負荷テスト用のcliツールで、メトリクスをクライアント側でリアルタイム描画できるのが特徴です。リクエスト毎にレイテンシーなどの計測結果が際限なく書き込まれてくる中、同時に一定のクエリパフォーマンスが求められます。 これは言ってしまえば、簡易クエリ機能付きのpush型モニタリングシステムを単一ホストで実現するようなものです。 以前までの実装ではヒープ上の可変長配列にデータポイントを追加していくだけだったので、当然ながら時間の経過とともにメモリ使用量が増加していく問題を抱えて

SQLiteExcel業務改善 情シス担当のますいです。 業務で「管理表」や「一覧表」を作成する機会は多いですよね。しかし数が増えるとデータを最新に保つのが大変です。 たとえば、弊社ではかつて人の異動やPCの入れ替えがあるたびに「資産管理表」「ソフトウェアライセンス割り当て表」「IPアドレス管理表」など様々なExcelファイルを更新する必要がありました。同じ情報を複数のファイルに同じように書き込む必要があって、運用していくうちに不整合が多発していました。 こんなとき、技術者ならこう考えることでしょう。「こういうデータってRDBで管理した方が楽だよな」と。 Excelの操作感とリレーショナルなデータ管理の両立 RDBによるデータ管理は整合性の面では運用管理がしやすいですが、更新のためにいちいちSQLを書くのは不便。MS Access を利用するのも1つの手ですが、XLOOKUPを駆使したりP

これは第2のドワンゴ Advent Calendar 2017の5日目です 5日11時時点で2日担当の yonex がまだ記事書いてないですが、気にせず続けます。niconico(く)のリリースが来年と聞いて残念な気持ちです。 おめー誰よ？ ドワンゴ Advent Calendar皆勤賞っぽいですが、私はドワンゴ社員ではありません。 定年をとうに過ぎたおじさんです。 前置き web アプリケーションの開発において、データモデリングはとても重要です。 SIerではDBAとか言って専門の設計担当がいるみたいですが、中小webサービス企業でそこまでの分業ができるわけもなく、大体においてwebアプリケーション(サーバサイド)エンジニアが担当することになります。 イミュータブルデータモデル 詳細はリンクに譲りますが、「履歴を全て残すようなデータ設計にし、 UPDATE を廃することで情報の追跡可能性

チームの Advent Calendar 用 第二弾です。（第一弾） ＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊ 人間は知覚の束である by デイビッド・ヒューム エンティティはイベントの束である by Ｎ氏（職場のエライ人）1 ＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊ ２人の偉人の言葉に相通じるところを感じ，考察してみることにしました。 17世紀から18世紀，哲学の一分野である認識論において，イギリスを中心とする経験主義的な「イギリス経験論」とヨーロッパ大陸（フランス，ドイツ，オランダなど）を中心とする合理主義（理性主義）的な「大陸合理論」による論争が続けられていました。2 source @startuml "近世哲学" package "近世哲学" as modern_philosophy { package "大陸合理論" as rationalism { } package "イギリス経験論" as

こんにちは、Development Teamの三宅です。 先日、社内（AI事業本部内）でSQL研修の講師を担当したので、今回はその内容について簡単に共有したいと思います。 はじめに 例年、AI事業本部では、新卒エンジニアの育成のためにソフトウェアエンジニア研修を行っております。今年はフルリモートでの実施となりました。研修期間は2週間ほどで、内容は前半が講義、後半が実践（チーム開発）でした。私が担当したのは、講義パートの一部であるSQL研修です。SQLやRDBにあまり慣れていない人でも、できるだけ体系的な学びが得られるようにすることを目標に、様々な資料をまとめて提供する方針で準備しました。結果的には、ハンズオン込みで4時間ほどのやや長い講義となりましたが、勉強になったという声も頂けたのでやって良かったと思っています。 研修資料 研修内容 SQL研修の内容は、基本的には大学のデータベース講義で

FOLIO Advent Calendar 2020の25日目の記事です。 これはなに 金融機関は業として金融商品や為替の取引を行ないますので、それに付随してお客様のお金や証券といった保有資産を管理が必要となります。 お客様の資産ですので1円でもズレることがないよう、厳密な管理が求められます。 特に顧客資産を含むようなデータの履歴管理は、(意識的, 無意識を問わず)不正な操作が行なわれていないことを担保するために重要です。 一方でデータの履歴管理を実現するデータモデルとして、テンポラルデータモデルが存在します。 テンポラルデータモデルは履歴管理が可能ではあるのですが、寡聞にしてどのような業務にどのテンポラルデータモデルを適用するべきかについて述べられた日本語記事はないように思われます。 実際に私が関わったシステムでテンポラルデータモデルを採用したのですが、どの業務でどのテンポラルデータモデ

「複式簿記」に興味を持った理由 ・グーグル日本法人の社長を勤めた村上憲郎さんが「エンジニアとしてキャリアを始めた時に簿記を勉強させられたがそれが後に役に立った」と書籍に書かれていたから。 そもそも「複式簿記」とは？ ・どこからいくらお金を調達して（=負債または収益）、 ・何にいくらお金を支払ったのか（＝費用） ・または、調達したお金をどういう形でいくら保管しているか（＝資産）を記録する手法。 （目的） ・決算日における資産状況を把握する貸借対照表（B/S）を作成 ・１年間の損益や当期純利益を把握する損益計算書(P/L)を作成 テーブル設計の流れ ①要件の把握 >> ②概念設計 >> ③論理設計 >> ④物理設計 要件の把握

bbolt is a fork of Ben Johnson's Bolt key/value store. The purpose of this fork is to provide the Go community with an active maintenance and development target for Bolt; the goal is improved reliability and stability. bbolt includes bug fixes, performance enhancements, and features not found in Bolt while preserving backwards compatibility with the Bolt API. Bolt is a pure Go key/value store insp

データベースの寿命はアプリケーションよりも長い というけれど、データベース定義書というものが無く、カラム名やコメントやソースコードから使われ方を類推して、それっぽいところに、それっぽいデータを入れるなんてことありますよね。 またリレーションを確認するためテーブル全体を俯瞰して眺めたいって時もありますよね。 そんな時に、役立つのが既存のデータベースからデータベース定義書を作成してくれるtblsです。 tblsとはMITライセンスで公開されているOSSです。 tbls is a CI-Friendly tool for document a database, written in Go. Go言語で作られたデータベースをドキュメント化するためのCIフレンドリーツールです。 そうCIフレンドリーツールなんです。 ここではドキュメント生成に重点を置いて説明しますが、README.mdを見ると、下

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

TLで良書だというのをチラホラと見かけていたのだけれど、結構古い本なので迷っていたのだが、今でも通用しそうな内容っぽいので買って読んでみた。 TLで見かけてた、楽々ERDレッスンを手にいれたので読んでいく。 pic.twitter.com/f7WEl6mHft— パトラッシュ@エキスパート職 (@patorash) 2021年2月1日 感想から書くと、これもまた「UNIXという考え方」と同じで、もっと若いうちに読みたい本だった…😇 この本の内容を知っていれば、データベース設計で悩むことも相当減っていたと思うし、プログラムで苦しむことも減っていたと思う。つまり、この本は「買い」です。かなりお薦めできる。もう読んでいる途中から社内のTeamsでは良書だと言いまくった。めちゃめちゃプッシュしたからか、後輩の何人かも買ってくれたみたいだった😋 ちなみに「UNIXという考え方」の感想はこちら。

Webエンジニアのブログです。

整然データとは、1) 個々の変数が1つの列をなす、2) 個々の観測が1つの行をなす、3) 個々の観測の構成単位の類型が1つの表をなす、4) 個々の値が1つのセルをなす、という4つの条件を満たした表型のデータのことであり、構造と意味が合致するという特徴を持つ。R言語などを用いたデータ分析の際には非常に有用な概念である。 はじめに データ分析の際には、データが扱いやすい形式になっている必要がある。データの中身がぐちゃぐちゃになっていたり、データの形式が統一されていなかったりすれば、分析は骨の折れる作業となる。 それでは、どのようなものがデータ分析において扱いやすい形式のデータになるのだろうか。この問題に対する唯一の正しい解答というものは存在しない。しかし、表の形式で表すことができるデータを考える場合、ハドリー・ウィッカム (Hadley Wickham) 氏が提唱した整然データ (tidy d

データをグラフで見たり、絞り込んで個々のレコードを見たりする目的のデータ可視化ツールとして Metabase, Redash, Supersetの3つを軽く調べました。どれも本格的に使う前にちょっと触っただけ、あるいは使ったことある人からの伝聞情報です。感覚的な感想に留まりますが、メモとして残しておきます。 Redashにでしか対応していないデータソースや機能が必須という場合を除いて、Metabaseが全体的によさそうな印象です。 Metabase JVMだけ準備すれば簡単に起動できる Clojureで実装されている（読める人が少ないという意味では懸念点） SQLの知識は不要 個々のレコードの表示も便利 棒グラフの棒をクリックするとレコード表示に遷移する 見た目がきれい グラフごとにURLが付与されるので社内共有などが楽 「無料なのにここまでできるのか」 Redash ネット上に知見は多い

Quick and simple free tool to help you draw your database relationship diagrams and flow quickly using simple DSL language.