In this and the following posts I would like to take the opportunity to go into detail about the MapReduce process as provided by Hadoop but more importantly how it applies to HBase. MapReduce MapReduce as a process was designed to solve the problem of processing in excess of terabytes of data in a scalable way. There should be a way to design such a system that increases in performance linearly w

404 お探しのページは見つかりません GREE Engineering トップへ戻る

"As soon as you have made a thought, laugh at it." [Lao Tzu] Recently my life has been a hype; partly due to my upcoming Python addiction. There’s simply no way around it; so I should better confess it in public. I’m in love with Python. It’s not only mature, businessproof and performant, but also benefits from sleekness, great performance and is just so much fun to write. It’s as if I were in Sta

2006年2月、梅田望夫さんが著した「ウェブ進化論」（ちくま新書）は、インターネットの可能性やGoogleの力をポジティブに語り、国内の「Web 2.0」ブームに火を付けた。 その後も「フューチャリスト宣言」（新潮新書）、「ウェブ時代をゆく」（ちくま新書）などWeb関連の本を立て続けに出版。テレビやネット媒体、新聞などの取材にも精力的に答えていた。 だがここ最近は、Webについて語ることは少なく、昨年11月にはTwitterに書き込んだコメントが炎上するという“事件”も起きた。 一方、今年5月には、最新刊「シリコンバレーから将棋を観る」（中央公論新社）を出版。その名の通り、将棋観戦の魅力を語った本で、帯にはこうある。 「わたしが本当に書きたかったのはこの本でした」 同書で彼は、“指さない将棋ファン”として将棋を語り、羽生善治さんなど第一線の棋士の努力と天才性を「シリコンバレーの技術者と通じ

はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28

ITニュースの記事一覧です。iPhoneやAndroid、ゲームやSNSの話題や、IT業界やテクノロジーなど、新聞・通信社が配信する最新記事のほか、動画ニュースや雑誌記事まで、話題のITニュースをまとめてお届けします。

以前、MySQLを高速化する10の方法という投稿で「EXPLAINの見方についてはいずれ解説しようと思う」と書いてしまったので、今日はその公約？を果たそうと思う。 MySQLのチューニングで最も大切なのは、クエリとスキーマの最適化である。スキーマの設計は一度決めてしまうとそのテーブルを利用する全てのクエリに影響してしまうためなかなか変更することは出来ないが、クエリはそのクエリだけを書き直せば良いので変更の敷居は低い。そして遅いクエリをなくすことは、性能を大幅に向上させるための最も有効な手段である。従って、アプリケーションの性能を向上させたいなら、まず最初にクエリのチューニングを検討するべきなのである。 最適化するべきクエリはスロークエリログやクエリアナライザで見付けられるが、ではそのようなクエリが見つかった場合にはどのように最適化すればいいのか？そのためにはまず現在どのようにクエリが実行さ

今日は仕事納めだったので、一年の締めくくりとしてMySQLにおけるソートの話でもしようと思う。 インデックスを利用しないクエリで最もよく見かけるもののひとつは、ORDER BYを用いたソート処理だろう。もし、ソート処理においてインデックスを用いることが出来れば、MySQLは結果を抽出してから結果行をソートするのではなく、インデックス順に行を取り出せば良いので高速にソート処理することが可能になる。特に、LIMIT句やWHERE句を用いて行の絞り込みを行う場合は効果が絶大である。しかし、ひとたびインデックスを利用できない状況に直面すると、たちまちテーブルスキャンが発生して性能が劣化してしまう。 例えば、100万行のレコードを格納したt1というテーブルがあるとする。そのテーブルに対して以下のようなクエリを実行した場合を考えよう。 mysql> SELECT col1, col2 ... colx

どうやってたくさんあるSQLノードに接続すればいいんだ？ ロードバランスは？ フェイルオーバーは？ ということがあると思う。このテーマを扱ったドキュメントはありそうだちょうど良いものが見あたらない。おそらくこの点が明確でないために「よし、最近サイトのトラフィックも増えてきたことだし、いっちょMySQL Clusterを試してみようか！」という気にならず、多くの人が利用を躊躇ってしまっているのではないだろうか？なので今日はこの点について5パターンのソリューションを紹介したいと思う。 その前に、「MySQL Clusterって何だ？シラネーヨ！」って人は、MySQL Clusterの特徴やセットアップ方法などを以前にThinkITへ投稿したのでそちらを参照して貰いたい。 http://www.thinkit.co.jp/article/95/ では本題。 1. mysqldをアプリと共存恐らく

今年はSSDの台頭がめざましい。価格の低下、大容量化、そして高速化、さらには低電力化まで期待できるというからもうHDDの出番はなくなるんじゃないだろうかというぐらいの勢いである。しかしそんなSSDもデータベースで利用する時には気をつけてもらいたい。 MySQL Performance Blogでインテル製SSDを使って検証した結果がレポートされている。 インテル製SSDはめっぽう早い。彼らのテストでは一秒間に5250回もの書き込みが出来たそうだ。しかしそれはライトバックキャッシュが有効になっているときの話であって、ライトバックキャッシュを無効にすると書き込みは秒間1200回まで低下したらしい。（それでも高速だが。） で、このインテル製SSDのライトバックキャッシュはくせ者で、バッテリー等で保護されていない。つまり、ライトバックキャッシュにダーティな（まだディスクへの書き出しが完了していない

MySQLのCLI（コマンドラインインターフェイス）を利用しているとおなじみの mysql> というプロンプトがあるが、実はこれは変更が可能である。MySQL CLIを利用している最中なら、promptコマンドを実行すれば良い。例えば次のように。 mysql> prompt \U [\d] >\_ PROMPT set to '\U [\d] >\_' mikiya@localhost [test] > \Uや\dはそれぞれ意味が決まっていて、それらを組み合わせることで任意の情報をプロンプトに表示できるわけである。見易いように > やスペース、括弧などを組み合わせるといいだろう。例えば何かの作業をするときには mysql> prompt 作業1 [\D]>\_ PROMPT set to '作業1 [\D]>\_' 作業1 [Tue Mar 17 07:39:28 2009]> などとする

去年ソートに関する記事を書いたが、今日はその続きである。 MySQLでEXPLAIN SELECT...を実行するとExtraフィールドでよく見かける「Using filesort」という文字列。Filesortって一体なんだろう？と思ったことはないだろうか。単刀直入に言ってFilesortの正体はクイックソートである。 クエリにORDER BYが含まれる場合、MySQLはある程度の大きさまでは全てメモリ内でクイックソートを処理する。ある程度の大きさとはsort_buffer_sizeであり、これはセッションごとに変更可能である。ソートに必要なメモリがsort_buffer_sizeより大きくなると、テンポラリファイル（テンポラリテーブルではない）が作成され、メモリとファイルを併用してクイックソートが実行される。 Filesortは全てのソート処理において実行されるわけではない。前回の記事

MySQLのレプリケーションは非常に簡単に使える割には応用の幅が広いので非常に人気のある機能の一つである。レプリケーションの応用分野は例えば、 バックアップ 参照系の負荷分散 HA（高可用性） ディザスタリカバリ（サイト間レプリケーション） BI（レポーティングetc） という風にとても多くのバリエーションがある。このブログを読んで頂いている皆さんの中にもレプリケーションを使っている方は多いのではないだろうか。ご覧の通りMySQLのレプリケーション機能はミッションクリティカル分野でも利用されているが、レプリケーションの使い方が適切でないとシステムの安定稼働に支障を来してしまってDBAやシステム管理者の肉体的、精神的負担が増大してしまう。逆にレプリケーションを堅牢に運用することが出来ればマクラを高くして眠れるというものだ。レプリケーションはMySQLの代表的な機能であるので、レプリケーション

いつも「MySQLを使うときはこうするべき」という観点から記事を書いているが、今日は逆に犯してはいけない過ちをリストアップしようと思う。 1. 全てのカラムにインデックスをつけるデータベース初心者がもっともやってしまいがちな間違いはコレではないだろうか。インデックスはいい。検索がとても速くなるから。しかし、それと引き替えにインデックスは更新するときにコストがかかるし、その分多くのディスクスペースを消費する。特に更新にかかるコストは時に甚大で、該当するインデックスのページがキャッシュ上にない場合はディスクからいったんそのページを読み込まなければいけない。ディスクアクセスは動作にとても時間がかかるので、インデックスが多数、例えば全てのカラムに付いていたりすると「あれ？固まったか？」というような状態になってしまうことがあるだろう。インデックスは必要なカラムにだけつけるようにテーブルを設計しよう。

Armed and Dangerous Sex, software, politics, and firearms. Life's simple pleasures… Six years ago, in The Art of Unix Programming, I observed some interesting trends in the deployment of programming languages. One Christer Nyfält mailed me this morning reporting that he had followed up by collecting the analogous statistics from SourceForge for present time. Here’s what he said (lightly copy-edit

毎年、年度頭の挨拶でも書いた方が良いかとおもうのですが、形式張ったのもどうかとおもうし、研究室に新入生も入って慣れてくるころなので、何か自分のスキルから学生に役立ちそうなものを書いてみることにしています（昨年と今年）。 自分で公開するのも恥ずかしい、とんでもない駄文ですが、誰かの役に立てばと思い、研究室向けに公開した文章をこちらにも掲載します。今年は、論文の情報収集の話にしてみました。ちなみに、昨年は、インターネットの情報収集の話をしました。1年経って状況も変わったので、アップデートしてあります。http://d.hatena.ne.jp/sesejun/20080404/p1 - この文章では、個人的には、なんだか当たり前の事を書いています。書いて公開するのを躊躇する位のレベルです。しかし、「この論文読んでみて？」とか「この章読んでみて？」とお願いした時や、輪講の時、その論文や本で参照さ

まだ手許には査読結果が返ってきていないのだが、今年はシンガポールで開催される自然言語処理の最大級の国際会議、ACL-IJCNLP 2009 の List of accepted short papers が発表されているようだ(@sassano さん経由)。 EMNLP 2009 の authors' response は渋い結果だったので期待していなかったが、こちらに出した論文はもっとフォーカスを絞って書いたし通ってくれるかなとは思っていたので、無事アクセプトされていてほっとした。 ちなみに short paper というのは普通の論文(full paper)と比べて短いが速報性が高い内容や、あまり結果が芳しくなかった実験、もしくは実験はまだでもこういうことをやりたいですよというような内容に加点されるもので、一般的には full paper よりは通りやすいと思う。自然言語処理分野の国際

MeCabは形態素解析のためのソフトウェアです。日本語を分かち書きするために使われるものとしては最も人気の高いものだと思われますが、チャットや掲示板に書き込まれるような崩した日本語や、正しく書かれた日本語でも新語を期待した通りに分かち書きしてくれないことがあります。これはMeCabの内部で使われている辞書が一般的な言葉を情報源としているわけではないことに関係があります。MeCabというか、より一般的な話ですが以下のような認識が一般的かと思われます。 というのも、一番広く使われているであろう自然言語処理技術は形態素解析(単語分かち書き、と言ったほうがいいのかもしれない)であろうが、これは現在99%くらいの精度になっていて、すでに人間がやるより遙かに高精度で行えるのだが、これだけ高い精度が出せるのは新聞記事を相手にしたときだけであって、それは新聞記事をコーパスとして用いる機械学習により形態素解

LinuxにはDRBDというものがあります。 DRBDとは何か？ 簡単にいうと、ミラーリングです。ミラーといっても、RAID-1のようにディスクtoディスクではなく、２つの異なるサーバ間のネットワーク越しのミラーリングです。 RAIDの場合は、ディスク故障の耐性は高まりますが、サーバのほかの部分（電源など）が壊れると元も子もありません。DRBDだと、そういった場合の障害にも対応できますね。 DRBDには普通のブロックデバイスとしてアクセスできます。つまり、mkfsしてmountしてフツーのディスクのように使えます。 で、 A quick tour of DRBD - MySQL-dump は、そのDRBDを使って、MySQLのストレージを冗長化するという話。（だと思う。ナナメ読みなので） しかーし、いくつか危険な点があるので、この構成はやらんほうがいいというのが個人的な意見。以下、その理由

資料 (PPT) 気になったところをメモ。 SHOW INNODB STATUS\G ディスクアクセスを減らすために innodb_log_file_sizeはinnodb_buffer_pool_sizeの25%ぐらいにする これは、以下を前提としてのお話 innodb_log_file_in_group = 2 innodb_log_file_size × innodb_log_file_in_group が4GB以下 テーブルの大きさを小さくしよう 小さくすればバッファに乗りやすい→ディスクI/Oが減る 5.0からCREATE TABLE ... ROW_FORMAT=COMPACTがデフォルトになったよ 4.1以前の古い形式はROW_FORMAT=REDUNDANTね 最大20%ぐらい小さくなるよ PRIMARY KEYは短くしようね 全てのセカンダリインデックスのレコードにも、プ

MySQLでいちいちshow tables;とか打つのがだるい。\tみたいなalias設定できないのかなぁ http://twitter.com/weboo/status/1658300902 おぉ、readlineのマクロを使えばいいのかー http://twitter.com/weboo/status/1658314333 なるほ！ってことでちょっと設定してみました。 # ~/.inputrc $if mysql "\C-xd": "show databases;" "\C-xt": "show tables;" "\C-xu": "select user,host,password from mysql.user order by user,host;" "\C-xb": "select user,host,db from mysql.db order by user,host;"