アクセス解析におけるデータ保存に関して、ファイル形式とDB形式の利点欠点について参考になるページを教えてください。
なおDBにするなら、慣れているPostgresを選択することになると思います。
http://www.hatena.ne.jp/1079011293#
高性能なPHPのアクセス解析を自作しようとしているのですが、データの保存をDBにするかファイルにするかで悩んでいます。 アクセス解析におけるデータ保存に関して、ファイ.. - 人力検索はてな
DBの方が処理も速く優れた方式だと言えますが、ファイルの方が、一般的なのは、メンテナンスしやすさとか、鯖移転が可能なところ。
Yahoo! JAPAN
URLはダミーです。
私もアクセス解析のサイトを運営しています。
結果から申しますと、当方ではmySQLだったのですが、1日に150万アクセス程度を超えるとパンクしました。(データは飛ばなかったのですが、mySQLだけが処理しきれずに止まってしまいます。mySQLだけの再起動も出来ませんでした)
そこで、perlでのテキストDBにしてみたのですが、重くはなりましたが、データが飛ぶこともなく快調に動いております。1日約200万アクセスに耐えます。
結論から言うと、日々の生ログデータはテキストDBにて処理をし、日が変わる毎にSQLデータに一括変換して、解析データはSQLにて表示が一番じゃないかなと思っております。
尚、サーバ環境は以下の通りです。
HD : Dell PowerEdge
CPU : P4 2.8GHz
MEM : 512+256MB
HDD : 7200rpm 40GB
OS : Linux RedHat
もし興味があれば当方のサイトのURLをお教えします。フリーアドレスでも結構ですので(o^∇^o)
googleにて、「データベース メリット デメリット」で検索して出てきた結果です。お役にたちましたら。
※ OLAP的に使う場合、だいぶRDBに対する慣れがいるのではないかと思います(物理設計ができるスキル)。
「高性能な」というのを狙っているのであれば、アクセス解析で、かつ、DBがPostgreSQLというのは不安な感じがします。MySQL等も検討というのが(余計なお世話とは思いますが)内心オススメです。
役立ちました。
どの程度の量までPostgresでがんばれるかという不安は確かにありますね。Postgresが処理速度上、厳しいようであればMySQLも検討したいです。
なるほど!ハイブリッドという手段もありますね。実運用されいる方のご意見は大変参考になります。
サイトのURL、ぜひ教えて教えてください。メールアドレスは、 [email protected] です。どうぞよろしくお願いします。