この記事はMySQL Casual Advent Calendar 2017 - Qiitaの9日目のエントリとなります。 実行が長引いたSELECT文を強制終了させるヤーツ MySQL5.6まで、正常に処理が進んでいて遅いSELECTをタイムアウトさせるシステム変数はありませんでした。 正常に処理が進…

この記事はMySQL Casual Advent Calendar 2017 - Qiitaの5日目のエントリとなります。 みんなだいすきお困りの、アレです。 Oracleだと「ORA-03113:通信チャネルでファイルの終わりが検出されました。」っていう、酷い日本語*1で有名なヤツがあるけど、MySQL…

この記事はMySQL Casual Advent Calendar 2017 - Qiitaの2日目のエントリとなります。 きっかけ、前提 MySQL8.0、まだRCの状態だけど、色々な機能追加の話題が盛り上がっている中でのAdvent Calendarでもあるので、MySQL 8.0新機能検証なネタを投下してくれ…

今更MySQL5.7を扱うにあたって MySQL5.6とMySQL5.7のパラメータ差分をあらためて見直してたら、「show_compatibility_56」という、プロダクトのアーキ移行期間にありがちな「いかにも」な名前のパラメータがありまして。 これは何？ 「SHOW [GLOBAL] STATUS…

テーブルの複製のとき、お世話になります。 ちょっとしたバックアップ目的や、検証作業用にテーブルを複製するシーンはよくあります。 MySQLでは、テーブルの複製のためのコマンドが大きく2種類あるので、その違いを確かめた結果のお話です。 CREATE TABLE …

今更ながら、初めてEPUBの電子書籍を買ってみたんですよ 直前のエントリで上げた「Amazon Web Services負荷試験入門」を読むにあたって。 過去に「O'Reilly Japan Ebook Store」でPDF電子書籍を買ったことはありましたが、EPUBは買ったことがありませんでし…

まさにT/Oなんだが AWS負荷本、「AWSで作るシステム負荷試験のやり方」というIssueを掘り下げただけでも貴重なのだが、そもそも普通に負荷試験についてしっかり解説した書籍自体がレアなので、二重に美味しい。— atsuizo (@atsuizo) 2017年9月25日 AWS本では…

atsuizo.hatenadiary.jpの際に扱っているLogstashですが、この時使用したファイルとは別のファイルを取り込もうとしてハマりました。何が原因なのかログから見えにくい、ということもあり、こちらに記録を残しておきます。 「指定したファイルへのアクセス権…

所属している会社は小さいし、そこそこ実績のある中途しか採用していないので、Linux入門者を相手にする機会はそうそうないです。 なので、ここで吠えておくことにします。 「新しいLinuxの教科書」あれはいい本だ。 新卒SE向け研修（特に文系も採用している…

mysqlクライアントから定期実行してたし、計算は別途やってた。 SHOW [GLOBAL ]STATUSで取れるのは、「サーバー起動からの累積値」または「コマンド発行時の瞬間値」という仕様のため、前者について推移を知りたいときは、 ・定間隔でコマンド発行してファイ…

Kibanaを立ててみた - なからなLifeにて当初予定していたもの全部は記事化できなかったのですが、一旦締めさせていただこうと思います。 以下テーマは、間に合わなかったので後ほど Amazon Elasticsearch連携 AWS契約して、マネジメントコンソールからAmazon…

ファイルではなくDBの中身を取得 これまで、Logstashやfluentdが、「ファイル」を読み込んでelasticsearchに流し込む事例を扱ってきましたが、どちらも、「データベース」から直接読み取って、elasticsearchに流し込むことができます。 今回は、MySQLの中身…

Embulkとは 「Fruentdのバッチ版」と呼ばれることが多いツールで、FruentdやLogstashが逐次生成されるデータをストリームとして扱って転送するのに対し、Embulkはほぼ変化のないデータの塊を転送するのに向いているエージェント、という位置付けになります。…

fluentdとは 別名「td-agent」であることからわかるように、Tresure Dataのフロントとなるログ収集エージェントという位置付けですが、やはり様々なプラグインを通じて柔軟な処理が可能となっており、こと日本においては、ログ収集管理のエージェントとしてL…

Logstashとは さまざまなデータソースから情報を収集し、さまざまなstash＝格納庫にデータを投入する機能を提供するツールです。 Elaticsearchの文脈で語る上では、「Elasticsearchにデータを投入するためのエージェント」という位置付けになりますが、Logst…

Filebeatとは beatをインストールしたマシン上のファイルを監視し、その内容を収集するbeatです。 いわゆる一般的なログファイル監視・収集ツールという位置付けですが、syslog、Apache2、nginx、mysqlについてはelasticsearchのインデックス生成テンプレー…

Packetbeatとは beatをインストールしたマシンのネットワーク・インターフェースを監視し、その内容を収集するbeatです。 ネットワークパケットの内容は、プロトコル毎に整理されます。 今回も、システム一般とMySQLの情報を取得することを目的としています…

Metricbeatとは システムの統計情報（Metric）を収集するbeatです。 いわゆるOSで取得できるCPUやメモリなどの情報、および、モジュールを通してApacheやMySQLその他の統計情報も、ちょっとした設定をするだけで収集できる様になっています。 今回は、System…

データ収集の先鋒をどうするか 概要のところで説明したとおり、エージェント経由でElasticsearchに情報を収集するのですが、選択肢が結構多いですね。 よくある事例、記事だと、日本ではFluentdが圧倒的に多くて、次にLogstash。 FluentdもLogstashも、ファ…

まずは器を用意する Kibanaを使うには、分析・可視化対象のデータを入れる器としてのElasticsearchを立て、それを参照させるようにKibanaを立て、また、器にデータを入れる仕組みを用意する、という順番で進んでいきます。よって、ここでは、器としてのElast…

外から見たKibana www.elastic.coがあっさりとしていますが、要はオープンソースのログデータ解析/可視化ツールです。基本的に、リアルタイム検索エンジン「Elasticsearch」とセットで使われます。 独自のNode.js Webサーバーも付いている、ということで、別…

きっかけ なんかKibanaが流行っているみたいなので、今更感はありますが、とりあえずいじってみることにしました。 多分、AWSでフルマネージドにおまかせの方がラクチンなんだろうなー、と思いつつ、RDSと同様、ローカルにそのまんま立ててイロイロ比較する…

だいぶ前に上げたエントリの影響で、LAN関係のお買い上げがボチボチ観測される弊ブログです。 atsuizo.hatenadiary.jpエントリ自体が3年前ってのが驚きですが、この零細ブログでも今も月に数個はお買上げ頂いている模様。 詳しく調べてないけれど、金額では…

だいたいのことは、ネットに書いてある Java自体、すでに歴史ある技術ですし、今回のOutOfMemoryErrorも、その解析方法も確立されているようで、ネットでかなりの情報が手に入り、10年くらい前、Java1.4の案件でちょっとコード書いた程度にしかJavaと接点の…

RDSの「stop」がサポートされました。 AWS Relational Database Service（以下RDS）は、いわゆるDatabase as a serviceで、EC2とは違い、インスタンスのStop/Startが出来ず、停止・起動に相当するのはTerminate（最終スナップショットを取得して、インスタン…

しばらくブログエントリあげてませんでしたが、引き続きMySQL関係のお仕事していたので、復活弾もやっぱりMySQLネタです。 そもそも 「metadata lockって何よ？」 とか 「Waiting for Table metadata lockでハマったらどうしたら良いの？」 って話は、過去に…

自分でやった場合の手順を想像する そのとき、必要になる情報、前提条件、完了条件が何かはっきりさせる。 どれくらいの時間が掛かりそうか見積もる。 これを疎かにすると 依頼の際に被依頼人との調整に必要以上に時間がかかる 被依頼人の作業が滞る 被依頼…

timeout系パラメータはいくつかあるけれど 新規接続時のタイムアウト（connect_timeout）ではなく、一度確立した接続がタイムアウトで切断される現象に影響するタイムアウト設定のお話。 ERROR 2013 (HY000): Lost connection to MySQL server during query…

先日、この記事が公開されていたので gihyo.jp アレ？って思ってドキュメント見直して、手元の環境でも実行してみました。 確かに「その通り」だったのだけど、ドキュメントに書いてあるとおりのこと、かつ、「その一部」の話だなーとおもったので、もうちょ…

ノートPCの薄型化の影響で 有線LANポートが無い機種、増えてますよね。クラムシェル、2-in-1の折りたたみタイプ、セパレートタイプなど、薄さを追求するデザインを求める傾向に拍車がかかっています。MacBookみたいに「USB TypeC」だけ、みたいな尖ったヤツ…