リクルートは8月9日、新卒エンジニア向け研修資料を無料公開した。公開したのは、2024年度に実際行った研修の内容と資料の一部。エンジニアの心構えからデータベース設計、JavaScript研修、Webアクセシビリティー入門など、26種類の資料を無償公開している。 例えば、エンジニアの心構えを学べる資料「ソフトウェアエンジニアとしての姿勢と心構え」は、プログラマー向けの技術書を複数出版している、ソフトウェア開発者の和田卓人さんが作成したもの。エンジニアとしてどのように技術を学んでいけば良いのか、「技術の学び方を学ぶ」ために作成した資料だという。 同社は例年、新卒エンジニア向けの研修資料を無償公開している。23年度は24種類の資料を公開していたが、24年度は「実践データベース設計」などの資料を追加した。この資料を使った講座では、具体的なデータベースの設計方法や、実際の開発プロセスを実践に沿った形

Zabbixから、数時間前のログアラートが届いたことがありました。ログ検知が遅延してしまっていたようです。障害に気付くのが数時間遅れることを意味するので、実はかなり致命的です。 原因は、ログ出力量が急激に増えたことで、Zabbix agentの処理量＜ログの増加量、になってしまっていたことでした。対処方法は、ログ出力を減らすこと、Zabbix agentの設定変更、が挙げられますが、対処方法よりも、本当にログの読み込みが遅れているのか、遅れているならばどの程度なのか、を調べる方が難しかったので、それをメインに書いています。 前提条件 Zabbix ver4.0系で記載しています Zabbix データベースはmysql前提で記載しています ログの読み込みが遅れているかを確認してみる Zabbix データベースでは、各host・各itemごとにlastlogsizeという、対象ログファイルのど

問題 /var/lib/mysql ディレクトリの中に、 バイナリログ（mysql-bin.******）がどんどんたまっていく。 バックアップを取ったらバイナリログは消えていって欲しい。 手動でやらないとだめ？ 答え こんなオプションがある。 [mysqld] expire_logs_days = 30 デフォルトは0で、自動削除しない。 上のように設定をすると、バイナリログをフラッシュしたときや再起動のときに古いバイナリログを削除する。 http://dev.mysql.com/doc/refman/5.1/ja/server-system-variables.html なお、この設定が利用できるようになったのはMySQL4.1.0から。 http://dev.mysql.com/doc/refman/4.1/en/server-system-variables.html#sysvar

(1) PostgreSQLのダンプツールを利用したバックアップ pg_dumpコマンド DBを運用しながらでも使えるbackupコマンド 中ではトランザクションブロック内でSELECT文を発行し、取得したデータを出力形式に合わせて整形した腕標準出力に出力 するらしい。 pg_dumpの出力形式 スクリプト形式(デフォルト) アーカイブ形式 が選択できる。 スクリプト形式 スクリプト形式の出力は、リストアに必要なSQL文の羅列が出る。 ので、psqlコマンドでリストアする。 スクリプト形式の場合はプレーンテキストなので、リストアの際にエラーが出たら、中を見れるという利点がある。 アーカイブ形式 バイナリの形で出力される。リストアはpsqlコマンドでなくpg_restoreコマンドで行う。 アーカイブ形式の利点は、 ｢指定したtableのみを選択してリストアできる｣ことらしい。 また、アーカ

ちょっと待てよ。そもそも今回の要件は，レプリケーションの実現ではない。新国際システムのデータを情報系システムに提供できればよいのだ。極端に言えば，新国際システムの該当DB（20種類）のデータを，毎日全件アンロード（エクスポート）し，それを情報系側で全件ロード（インポート）する方式でもよいのである。 もっとも，この方式では毎日500Gバイトのデータ送信と，情報系側でのロード処理が発生する。そう考えると，あまり現実的ではないのかもしれない。できればレプリケーションと同様に，情報系には差分のみを送信して更新したい。この考えを原点にしつつ，なおかつ脱レプリケーション方式の検討をする必要があった。 解決策は必ずあるはず！ 情報系側で差分データの更新を行うプログラムを開発するのは，それほど難しくはない。なんとか基幹系のデータから差分データを作り出す方法さえ見つけられればよい。そこで私は以下のような過程

postgresql.md 一旦テーブルの中身を把握したい時に使える一括CSV形式での出力 psql DATABASE_URL -c "select id,title from articles" -A -F, | pbcopy -A 位置揃えなし -F, カンマ区切り DATABASE_URL は postgres://user:password@host:port/database DB が重くてレスポンス返ってこない時に対処する流れ めちゃくちゃ時間がかかるクエリが走っていて、問題が起こっている場合の対処。 問い合わせを行っているWebサーバー側で対応が出来ると良いけど、DBサーバー側で対応の必要がある時。 pg_stat_activity で統計情報を取得する 現在実行中のクエリはpg_stat_activityテーブルが管理しているため確認できる。 https://www.pos

これは TECHSCORE Advent Calendar 2018 の18日目の記事です。 今回はPostgreSQLを運用する上で絶対に無視できない「VACUUM」について、その機能と役割を確認していきたいと思います。 VACUUMとは VACUUMは、テーブルの実体となるファイルの中から、不要領域を探索し、再利用可能な状態にしていくものです。VACUUMを全く実行しない場合、ファイルサイズが増え続け、パフォーマンスの低下、ディスクスペースの圧迫へとつながります。 AUTO VACUUM機能 PostgreSQLには「AUTO VACUUM」機能が搭載されており、自動で随時VACUUMが実行されるため、多くの場合問題となりません。しかし、AUTO VACUUMも万能ではありません。テーブルによって追加・更新・削除の頻度、規模は様々であるため、AUTO VACUUM機能によるVACUUM

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? DB設計の概要を簡単におさらいした後、論理設計について主にまとめていきます。 DB設計の全体手順のおさらい DB設計は、大きく論理設計と物理設計に分けられます。 論理設計 概念スキーマを定義します。 エンティティの抽出 エンティティの定義 正規化 ER図の作成 物理設計 論理設計の結果を受けて、データを格納するための物理的な領域や格納方法を決めます。 テーブル定義 インデックス定義 ハードウェアのサイジング ストレージの冗長構成決定 ファイルの物理配置決定 テーブルの構成要素のおさらい 行と列 行(レコード)：横のデータの組 列(カラム

14. MySQLの⾯倒を⾒る #とは DBに特化した（広義の）インフラデザイン バックアップの頻度, 保管先, ..etc. + その実装- 監視, リソースモニタリング, ..etc. + その実装- mikasafabric for MySQL + MySQL Router- メジャーバージョンアップの検証とか、Percona Serverとか MariaDBとか - DBに特化したショット作業 吊るしの ALTER TABLE 以外を使ったテーブル定義の更新 < 5.6 だったり、テーブルが⼤きすぎてレプリケーションが詰まったりするケース - スロークエリーチューニング- マイナーバージョンアップ- 13/63

SchemaSpyというDBのスキーマを解析してテーブルの一覧やER図を出力してくれるツールがあります。 このツールの公式Dockerイメージが公開されており、非常に使いやすいので紹介させて頂きます。 https://hub.docker.com/r/schemaspy/schemaspy/ コマンド docker run -v "$PWD/schema:/output" --net="host" schemaspy/schemaspy:snapshot \ -t <DB種類> -host <DBホスト名/IP>:<ポート> -db <DB名> -u <DBユーザー名> -p <DBパスワード> このコマンドを実行するとカレントディレクトリのschemaディレクトリに解析結果のHTMLが出力されます。 （コンテナは自動的に終了します） docker run のオプション -vオプションで指

Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが

こんにちは、藤本です。 先日開催された Developers.IO 2017 で「Amazon Elasticsearch Service の使いドコロ」というタイトルで登壇しました。 Developers.IO 2017セッション「Amazon Elasticsearch Service の使いドコロ」で話しました #cmdevio2017 資料を作成する中で MySQL 5.7 から追加された全文検索の日本語対応に関して調べました。せっかくなのでまとめた内容をブログに書き出すとともに、RDS だとどこまでできるのかということを追加調査してみました。 MySQL 5.7 の日本語全文検索に関しては公式ドキュメントや、Oracle の方のスライドに詳しく説明されていますので、詳しく知りたい方は下記をご参照ください。 12.9 Full-Text Search Functions MySQL

なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ

西澤です。先日"AWS環境へのデータ移行"をテーマに社内で営業向け勉強会を行ったのですが、自分が1から資料を作るよりもずっと有用な公開資料がたくさんあったので、それらを使って説明をさせてもらいました。当日メンバーから出た質問等も補足しながら、今回はその情報をこちらにまとめておきたいと思います。 前提 タイトルではデータベース移行としていますが、こちらではRDBの移行のみを対象とします。AWSの各種サービスの詳しい説明は行いません。それらを組み合わせて利用する際に必要となる情報をまとめたいと思います。また、これからご紹介する資料の中には重複する部分も含まれるのですが、私が個人的によくまとまっているというところをピックアップしてご紹介して行こうと思います。 AWSへのデータ転送方法のまとめ まずは、データファイルの転送方法のまとめです。いつの間にかできていた下記ページが非常にわかりやすくまとま

2020/01/20 Update: 本エントリの内容は2019年12月3日にアナウンスされた『Amazon RDS Proxy』のリリースにより完全に陳腐化しました。過去のアンチパターンがフィードバックをもとにした改善によってアンチパターンではなくなるという最高の事例です。 サーバーレス元年始まった！ 今年がサーバーレス元年な理由. それはLambdaに以下が揃ったから. ・カスタムランタイムで実質どんな言語でも利用可能 ・VPC利用時のコールドスタート改善 ・Provisioned Concurrencyでスパイク対応も可能 ・RDS ProxyでRDBとの接続が現実的に これまで5年で受けたフィードバックがついに結実. 強い— Keisuke Nishitani (@Keisuke69) 2020年1月19日 RDS Proxyの詳細はこちらからどうぞ。まだプレビューですがぜひ試して