LINEのMySQL運用について 修正版

Editor's Notes

1. LINEのMySQLの運用についてということで、 今までほとんど世に出てなかったLINEのデータベース事情全部公開したいと思います。 一歩的にしゃべてるとテンション下がってくので、途中でどんどん質問してください はい、では始めます。
2. まず、自己紹介です。北川と申します、LINE株式会社に所属しているデータベースエンジニアです。 担当は主にMySQLとOracle　Redisです。Twitterは以下
3. 本日お話するアジェンダです。 まず、About LINEということで、LINE社についてとLINEでのデータベースやDBAについて紹介します。 その後はDBチームのヒストリー MySQLのオペレーションについて、 どうやってHAやモニタリング、バックアップについて話します。 最後にnext stepとして現在進行中のプロジェクトなどお話したいと思います。
4. まずは、LINE社ついて、簡単に説明させていただきます。 LINEでは、「CLOSING THE DISTANCE」という言葉をミッションに掲げています。 人と人はもちろんのこと、人と情報、サービス、企業、ブランドなど、 人々が必要とするものとの距離を縮め、心地よいものにするという思いが込められています、
5. コミュニケーションアプリ「LINE」の国内のユーザー規模です。 月間利用者数は、7,600万人以上となっており、 スマートフォン利用者のほとんどの方に「LINE」をご利用頂いています。 特徴的なのは、エンゲージメントの高さです。 月に１回以上「LINE」を利用する方のうち、85%もの方が毎日「LINE」をご利用頂いています。 日常的に利用頂き、インフラ的なサービスになりつつあります。
6. LINE社ではLINEを入り口として様々なサービスを展開しています。   LINEが単純な入り口になるだけでなく、それぞれのサービスでスマートフォンでの使いやすさを追求し、 LINE上の人のつながりを活用することで、 ユーザーに支持される、各国でトップクラスのサービスをいくつも創ってまいりました。 我々はこれを「スマートポータル戦略」と呼んでいます。   特に重要な3つの事業 コア事業である「広告」と、戦略事業である「フィンテック」、「AI」となっています。 これらのほとんどのサービスでMySQLを使用しています。
7. つづいて、LINEのデータベースとチームについて紹介します。
8. 現在うちのチームで運用しているプロダクトです。LINEマンガやLINEライブやゲームなどほとんどのLINEサービスのRDBMSとNOSQLを管理しています。 RDBMSでいうと。 Cubridって知ってる？ 韓国のNavar社で開発されているRDBMSです。 特徴としてautosharding機能を持っていて、簡単にシャードできるというすごいDBです。 パフォーマンス面でやや他のRDBMSと劣る部分があるのと管理できる人が少ないので、直近では積極的に導入はしてないという現状です。 つづいて、NOSQLです。 これらの計８つのプロダクトを管理しています。
9. つづいて、プロダクトの割合です。 RDBMSだけで見てみると。 RDBMSとNOSQLのインスタンス数ですが、 REDISとMySQLを合わせると81%を占めています。 なんで、LINEのサービスはほとんどがRedisとMySQLで構成されているのがわかります。
10. MySQL versionの割合です。 MySQL5.7が32%で新規サービスはすべて5.7をインストールしています。 一番多いのMySQL5.6で44%, MySQL5.5 21% 5.1が3%ほど残っていて、現在version upするprojectが進行中です。 あと、LINEはいくつかの会社が合併してできているので、我々の管理していないMySQL群がいくつかあるようで、その中に百台規模のMySQL4.0が眠っているとの噂は聞いたことがあります。
11. つづいて、DBAについてです。 現在データベース室という部署に所属していて、その中にDBAは17人います 最近チームが分かれました。 DB1 2 3 bigdataplatformと４つのチームがあります。 まず 全チームは共通してMySQLとRedisの運用を行います。 あとはチームごとでそれぞれ異なるプロダクトを管理しています。 私の所属している1 teamはMySQL, Redis と Oracle es 2 teamはプラスでSQL Serverこのチームは韓国に所属してます, 3teamはmongo DB, BIgData は主にHbaseとHadoop。そして、cubridとなっています。
12. 普段はどういうことしているのかというと、一般的なDBAのタスクをしてます。 テーブル設計は基本的にはサービス開発者側で行われることが多いです。 こういった業務を日々行っています。 10分ぐらい
13. DBAの人数とMySQLのインスタンス数の推移なんですが、 2011年 - コミュニケーションアプリ LINEがリリースされたとき、DBAが5人でMySQLの100インスタンスたったようです。 情報としては残ってなかったんですが、古き方から聞いた情報です。 そこから飛んで、2015年このへんから情報がありました。 2015年 DBA 8人でMySQL 500インスタンスぐらい 2016年 DBA 10人でMySQL 1000インスタンスぐらい。これくらいのときに私が入社しました 2017年 DBA 11人でMySQL 2000インスタンスぐらい この時期はDBAの人数は増えないんですが、インスタンス数はどんどん増えてる時期です。 2018年 DBA 17人で現時点でMySQL 3000インスタンスぐらい 一人あたり、200インスタンスぐらい管理しています。
14. うちのチームが管理するようになったプロダクトのヒストリーです。 NOSQLの管理するプロダクトが増えてきています。
15. 今回調べて驚きました。そんなに増えてるのかと。。 こういった歴史がありました。 3 min
16. LINEのように台数の多い運用をしていると困ることが多いと思います。 サービスが多いとそれぞれ開発者も異なるので、それぞれ連絡してみたいに、コミュケーションコストが高かったり。 カスケードレプリとかreplication do –tableであったり、 そういったことをLINEでは標準化 自動化することで運用を改善してます。 それらについて紹介したいとも思います。
17. MySQLについてです。 使い分けに明確な決まりはないですが、基本はcommuntyで、thread poolであったり導入したいときはenterpriseを使ってます たとえばbug踏んでバージョンアップが必要な場合は最新のマイナーではなく基本メジャーバージョンアップします
18. 物理サーバですが、MySQLに最適化された３つのスペックが用意されていて。 この中から選ぶという方法になります。
19. その中でたとえば、インストールの自動化があります。 今まではインストール前の事前チェックやmysqlインストール。。といった 手作業になっていた初期インストールをancibleを使用して、全て自動でインストールする仕組みなっています。 Redis cluster/hbase/mongodb elasticserchもインストールの自動化
20. そういった自動化ツールを動かすための統合管理ツールがあります。
21. 自動スレーブ追加。これもansibleを使用しています。 その中からいくつか紹介します。
22. 先程のダッシュボード画面からサービスの情報をベースにそれに紐づくサーバ一覧を見れます。
23. Long query time=1で運用しています。 サービス全体のslowlogを集計したり、 インスタンスごとの集計も確認できます。 特定の時間帯の集計情報を閲覧することできます。
24. サービス全体のMySQLインスタンスのrealtime QPS情報が見れます。 これが結構便利で、スマホからでも見れますし。 サービスによっては かなりサーバ台数なので、アラートがなったらまずこれ見て状態を確認する。 そういった使い方をしています。
25. 高負荷時だった情報を確認しようとすると取れてないことも多いですが。
26. あとは、LINEには社内に迅速にサーバ届けるために、開発しているオープンスタック基盤のプライベートクラウドもあります。 VerdaDBSと呼ばれていて、 このプライベートクラウドとも連携しています。 開発者がAWSのRDSのように簡単使えるようになっていて、DBAを介さずにインスタンス生成可能。 運用コスト削減 まだ、リリースされて間もないので、これから機能が追加予定
27. sysスキーマの情報とありましたが、 sys.statement_analysisを画面上に提供しています。 クエリの傾向など直接開発者が確認できるようにしています。
28. 10 min
29. つづいてMySQL HAです。どのようにHAしてるか紹介します。
30. 画面にあるようにモニターがMySQLをヘルスチェックをして、マスターを切り替える方式。
31. 簡単に自動フェールオーバに仕組みですが、 モニターがマスターのダウンを検知して、 まず、スレーブ群がスタンバイマスターに対してchange masterします。 スタンバイマスターのread_onlyをOFFにして、 VIPをつけるという流れでフェールオーバします。 あと、手動でのフェールオーバもできます。 動きとしては現在のマスターに対して、read_onlyをonにして接続中のセッションをkillしてVIPを外します。 その後は自動フェールオーバの仕組みと同様です。 この手動フェールオーバがよく使います。 たとえば、MySQLバージョンアップです。Slaveだけ先にバージョンアップして、手動フェールオーバする オンラインDDLができれば、それでいいんですが。 デカ目のテーブルに対してのインデックス追加やカラム追加のときにも使用します。 このHAツールなんですが、今は割と安定してるのですが、昔は課題も多かった
32. どういった課題があったかというと。 サーバ台数が増えすぎて、VIPが単純に枯渇 LINEのネットワーク設計の特性により、フェールオーバするサーバ間で物理的制限がある これがいつもサーバチームを悩ませてしまっていました。
33. 設定ファイルを自動で変更して、モニタープロセスを再起動させてます。あまりかっこいいやり方ではないので、直したいところです。 というわけで、MySQLの新機能に対応させるためなどメンテナンスが大変です。現状このHAツールの改善で稼働してるのは私だけなので、つらい。 HAソリューションの再検討が必要になってきました。
34. 5
35. つづいてMySQL Monitoringです。どのようにモニタリングしてるか紹介します。
36. まずはMySQL EnterpriseMonitorです Enterprise Editionの場合はこちらを使用しています。 MySQLのモニタリングであればこれを見れば間違いないです。 あと、Query analyzerとか便利です。 特定の期間のSQLを抽出して、そのとき多かったクエリの状況を確認できます。 Master-slaveの合計値も同時見れる。特定のクエリがマスターに寄ってるとか、簡単に出せるので便利です。 というようにMySQL Enterprise Monitorで満足なんですが、 MySQL Community Edition もあるし、管理してるプロダクトはたくさんある
37. といったようにモニタリングツールが乱立して、障害とか開発側からこのときの負荷状況どうだった、聞かれたときにスムーズに見れなかった。
38. それを改善するために、統合的に監視する目的でDboneというプロジェクトがあります。 内部としては簡単にいうと、プロメテウスとgrafanaです。
39. ダッシュボード画面です。各プロダクトごとに選択できるようになってます。
40. モニタリング画面はこんな感じです。 統一されたUIで見やすくなってます。
41. 各種Exporter => プロメテウス =>grafana exporterインストールなどにancible プロメテウスやelasticsearchのhelth check用にconsul 一つのシステムを構成しています。
42. DBONEでのMySQLの監視項目です。 InnoDB周りの情報など、一般的な監視項目は網羅されています。 あと、変わった監視としては、 5 min
43. この仕組みで長年運用してきました。
44. バックアップにつかっているツールですが、 Enterorise editionであれば、Enterprise backup(MEB). Comminty editionであればxtrabackupを使用しています。
45. LINEでは数TBの大規模なデータベースであったり、書き込みの多いデータベースを数多く存在しています。 バックアップにはいろいろ考慮する点が多くて、 1st 2nd
46. Xtrabacupにも似たようなオプションがあって。 スロットルオプションを使用してIOを制御しようと考えてテストしました。
47. まずMySQLへの更新がない状態でテストした結果です。 データベースサイズは20Gほどで、MEBであればReak/writeのIOが76MBで5分ほどで完了しました。 Xtrabackupのほうでいくつかスロットルオプションを試して、スロットル４のときに同等の値がでたので、これでいけるかなと考えてました。
48. つぎに先程のデータベースに対してMySQLへの2000QPSほどで更新がある状態でテストした結果です。 MEBであれば先程と同じぐらい5分ほどで完了しました。 ただxtrabackupのほうは永久に終わらない状態がつづいたり、50に設定しても16分もかかるという結果でした。 ということでこれの原因ついていろいろ調べました。
49. まずその前にMEBとxtrabackupがどのようにバックアップを取得するかのざっくり説明します。 基本的にはこの流れです。 リストアするのには不完全なinnodbファイル群をクラッシュリカバリの仕組みでリカバリしていくという流れです。
50. まずIO制御のオプションで若干違いがありました。 あとはバックアップ処理開始直後の処理でも違いがありました。
51. Mebとxtrabackup併用するときは気をつけてねって話でした。 5 min
52. 最後にnext stepとして、進行中のプロジェクトなど紹介して終わります。
53. 先程話したようにLINEでは基本オンプレなんですが、データセンター…のためにRDSの運用も検証中です。 きっとここにはRDSの運用詳しい方多いと思うので、あとで教えてください。 管理してるプロダクトのすべてのバックアップを管理するシステムも開発中
54. MySQLueryreplay というものを今開発しています。 これはMySQLのネットワークパケットからクエリを取得して、ターゲットサーバに対して同じ並列度でリプレイするというものです。 Oracleのデータベースリプレイのようなものでしょうか。 更新はレプリケーションで、selectだけリプレイするとかならあると思うんですが、これは更新クエリもすべてキャプチャーして数秒遅らせることで、同じ並列度ですべてリプレイさせようというチャレンジなツールです。 できあがれば、来年のこの場所でこれについて発表したいです。 5min
55. OSSにお世話になってるので、OSSへ貢献できるように運用ツールの開発も進んでます。 5min
56. ぜひ興味があれば、ここをクリックするかツイッターでもいいですし私に話しかけてください。