2015-04-07 普段MySQL使ってる僕がMongoDBを使って気づいたこと2つ テクノロジー プログラム Tweet ロゴ見て気づいたのですが、 MongoDBの頭文字って小文字なんですね。 そんなことは置いといて。 最近mongoDB（小文字に変えたｗ）を使う機会がありました。 僕が普段触っているMySQLと違って、 ググっても、まあー情報が少ないんですよね。 コマンドとかは割りとあるのですが、 PHPでの操作とかは少なかった印象です。 そこで今回は、 PHPでの操作 mongoDBの復旧（リストア） の2つを備忘録として、まとめておこうと思います。 PHPでループさせて検索ができない こういうことです↓ ※サンプルの一部はPHPの公式ドキュメントから拝借しました。 つまり、検索値（findの条件）を変数にしてループすることが出来ないようです。 まあ、そもそも何回もDB接続せずに

検索エンジン自作入門 ~手を動かしながら見渡す検索の舞台裏 作者:山田 浩之,末永 匡発売日: 2014/09/25メディア: 単行本（ソフトカバー） (この記事で紹介しているのはTF-IDFとかの計算もない簡素なものです。) はじめに Webサービスのプログラミングに必要なことのだいたいは、スクレイピングに学んだ - Line 1: Error: Invalid Blog('by Esehara' ) この前↑の記事をみかけました。クローリングやスクレイピングは、色々と応用が効きそうなのでしっかり勉強したい。 PythonではScrapyという有名なクローリング・スクレイピング用のライブラリがありますが、今回は勉強としてScrapyを使わずに実装してみる。流れとしては以下のとおり Webクローラの構築 Mecabで日本語の形態素解析 検索エンジンの構築 データをMongoDBに格納 Fl

MEANとは、LAMP(Linux, Apache, MySQL, PHP)に変わる技術としてじわじわと注目されはじめているアーキテクチャです。このアーキテクチャMEAN(MongoDB, Express, AngularJS, Node.js)は、シンプルでかつ強力なアーキテクチャで、現在のJavaを利用したアプリケーション開発とは一線を画すところです。HTML5開発にとってJavaの役割が殆どなくなるというのも注目すべき点だと考えます。MEANで一般的に言われる注目すべき事項は次のところです： JavaScriptフルスタックである データモデルとしてクライアントからデータベースに至までJSON そして、この記事を書こうと思ったきっかけですが、2014/10/5(日) Mozilla Open Web Day in Tokyo | Mozilla Japan でのMEAN解説展示で、様

Mongorillaについて Mongoidの弱点を克服するために作成したObject Document Mapper. 名前の由来は、Mongoと娘の好きな動物のgorillaを掛けあわせた。 インストール ソース github 長所 今のところ、わずか300行ちょっとの小ささ。 シングルサーバ、Master/Slave、ReplicaSetに対応。 単純な処理はMongoidと変わらず、複雑な処理も対応。 クエリ発行時に接続失敗しても、指定回数リトライできる。 findクエリに対してMasterとSlaveのどちらを参照するか指定できる。 短所 リレーション関連は自分で管理する必要がある。 各フィールドの型も自分で整合性を保証する必要がある。 sample require 'mongorilla' # クラス名をunderscore化+複数形にしたcollectionが作成される cl

大体欲しいデータは揃ったのと、MongoDBの気持ちが解ってきたのでMongoDB2.4の性能調査は今回で最後の予定 実は前回MongoDB 2.4 の性能 徹底評価（レコード長による評価）のFETCHバイト数（1.5GB） 実は今回のOn-memoryデータ vs DISKリードに繋げる事を意図した大きさだった。 システムの2GBメモリに収まるだろう。と・・・ しかし、、測れど測れど、意図した通りの結果にならない・・・ それで気付いた。 インデックスの大きさを勘違いしていたのだ。 MongoDBのインデックスは単なるコレクションでは無いようだ！ 1億件の数値型インデックスは2.3GBにもなる。 という訳で、1億件のコレクションのインデックスはそもそもメモリーに入らない。。 １ドキュメント辺り25〜26byte インデックス数値型８バイト＋ドキュメントへのポインタ８バイト＋メタ情報？ _i

> 原文(Why MongoDB is a bad choice for storing our scraped data) 私自身はMongoDBを推進する立場なのだが、確かにMongoDBに適さないケースはある。 闇雲に推進しても結局は全員がアンハッピーになるので、この様なネタもどんどん紹介していこうと思う。 この記事はMongoDBを徹底的に使い尽くしたエンジニアが書いている様で状況が良く解った。 ちょっと難しい所もあるので要点を意訳して、軽く解説を書いてみる。 （もちろん是非原文で読むのをお勧めする） 状況 最初はMongoDBでうまく動いていたが、だんだん苦労が増えてきて 元々のアーキテクチャを刷新するタイミングでMongoDBから別のプロダクトに乗り換える事にした。 システムの規模 詳しく書かれていないが、１ノード辺り数TBとあるのでSharding環境ではないかと思われる。

前回のMongoDB 2.4 の性能 徹底評価の反響が大きかったので続編。 今回の調査対象 ドキュメントサイズ毎の性能を評価する。 今回の検証用にベンチを書いた。 性能見積りにも使えると思うので、紹介しておきます。 MongoDB-JP/mongo_bench 今回の検証も、Sakura VPS 2G で行った。 専用環境ではないので、ある程度まわりの影響を受けている。（何度もベンチを取って極力排除はしたが、、） また、記事に載せた以外にも色々と検証しており、その結果も少し混ざっていたり。。 オンメモリデータの処理が高速な事は解っているので 今回の検証の肝は『ディスクアクセス』 MongoDBはメモリ以上のデータを扱う為のプロダクトなのでなるべく性能が出ない様な条件＝ワーストケースを狙った。 2GBメモリに対して40GBのデータを扱い、データ全体を万遍なく使うようなクエリーを発行する。 評

The tech behind our time series graphs – 2bn docs per day, 30TB per month By David Mytton, CEO & Founder of Server Density. Published on the 14th March, 2014. This post was also published on the MongoDB Blog. Server Density processes over 30TB/month of incoming data points from the servers and web checks we monitor for our customers, ranging from simple Linux system load average to website respons

PHPからMongoDB 2.0.6 に接続する(PHP MongoDB Driver) PHPからMongoDBに接続してみます。 Webサーバーの構築はこちらの手順。 Debian 7 + nginx + php-fpmな環境を構築する MongoDBのインストールはこちらの手順で構築した環境を使用します。 Debian 7にMongoDB 2.0.6 をapt-getでインストールする 接続ドライバーのインストール PHP MongoDB Driverを使用することにしました。 PHP MongoDB Driver 必要なモジュールをapt-getでインストールします。 # pecl install mongo downloading mongo-1.5.4.tgz ... Starting to download mongo-1.5.4.tgz (191,364 bytes) ..

MongoDBには、Http Interfaceが付属しているようです。 CouchDBと違って、データの更新等は行えないようですが、 ・サーバーのステータス ・登録されているデータの参照 これらが行えるようですので、デバッグに使えると思います。 Http InterfaceのURL URLは、 http://[サーバーIP]:28017/ となります。 ブラウザでアクセスするとこんな感じの画面が表示されます。 コレクションの内容表示 http://[サーバーIP]:28017/[データベース名]/[コレクション名]/ にアクセスすると、該当コレクションに登録されてるデータが表示されます。 ※最後のスラッシュは必須です。 試しにhttp://[サーバーIP]:28017/test/foo/にアクセスすると、こんな感じで 登録されているデータが表示されました。 表示するデータの上限指定 デー

MongoDB 用のGUIツールを作ってみました。 https://github.com/moremagic/JMongo Java Swing で作られており、環境を選ばずに起動できます。（Windows/Mac/Linux） BSONオブジェクトをTree表示し編集、追加、削除に対応します。 また、GridFSへのファイルの追加削除が容易に可能です。 ■ダウンロード https://docs.google.com/open?id=0B7Y1mRlEYX8tRm5kQm1mRU01ODg ■起動方法 JREがインストールされていればJarファイルをダブルクリックするだけで実行可能です もし動かない場合は .jar に javaw.exe を関連付けてください。 ■スクリーンショット 起動直後 接続先設定 コレクション表示、編集 GridFS表示、編集 ぜひ使ってみてください。 感想お待ち

2. 自己紹介 名前：渡部 徹太郎 @fetaro ブログ 所属：野村総合研究所 OpenStandiaチーム 学生：東工大で情報検索の研究(@日本データベース学会) 仕事：昔:大手証券会社のオントレシステムのWeb基盤 今:オープンソース全般のサポート/コンサル 特技：サーバ基盤、Linux、KVM、ruby、MongoDB(?) エディタ：emacs派 趣味：自宅サーバ MongoDB関連： • 2年前に、友人の結婚式用のアプリを作った時に利用 • この勉強会（丸の内MongoDB勉強会）の主催者の一人 • 技評で記事連載中「MongoDBでゆるふわDB体験」

リアクティブウェブはウェブアプリケーション開発者の桃源郷だ、と考えるのは僕だけではないと思う．参考: Trigger と Stream ベースの Reactive スタイルについて考える Meteor 0.7.1: oplog support for complex queries, Meteor developer accounts リリースされた0.7.1で、実践環境のMongoDBでよく使われるクエリのほとんどをoplog driverが対応した． The 0.7.1 release extends the set of MongoDB queries supported by the oplog driver to cover most of the common queries needed in production apps. 以前のMeteorでは、複雑なクエリに関してはポ

19. myset:PRIMARY> db.mycoll.insert({x:1}) myset:PRIMARY> db.mycoll.update({x:1}, {$set : {y:1}}) myset:PRIMARY> db.mycoll.update({x:2}, {$set : {y:1}}, true) myset:PRIMARY> db.mycoll.remove({x:1}) myset:PRIMARY> db.mycoll.find() { "_id" : ObjectId("4def8e5fb07da951204c60e0"), "x" : 1, "y" : 1 } { "_id" : ObjectId("4def8e5fd60f868d9ea77776"), "x" : 2, "y" : 1 } 20. myset:PRIMARY> use local myset:P

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

ユニーク index を削除しようと思ってメモ. 一応公式ドキュメントにもいろいろのってるけど, 名前で消せるというのを読み取るのに少し時間かかったのでメモ with Ruby ドライバー client = Mongo::MongoClient.new collection = client.db("your_db").collection("your_collection") # インデックスを追加 collection.ensure_index({"foo_id" => 1}, {"unique" => true, "dropDups" => true}) # インデックス確認 collection.index_information # ここに実体があるみたい client.db("your_db").collection("system.indexes") # インデックス削除 #