はてなブックマーク

はじめに 管理画面等で膨大なデータをcsvで落としたい時等に そのままDBから文字列を作って返すと反応がないままタイムアウトになると思います。（なんせ全部メモリに落とすのだから） こういう場合の回避方法(2パターン) db等にリクエストをキューイングしておきバッチで処理してzipに圧縮しておく。 サーバーにはお行儀がいいお作法。ただし工数がかかる。 1000件等の細かい単位にしてsqlを発行してストリーミングで出力する。常にブラウザにデータが流れるためタイムアウトしない。 工数少なめ。ただしサーバーに通信しっぱなしになるのでサーバーの同時リクエスト数を食いつぶす。管理画面等の一部利用者のみなら問題ないでしょう。 今回2の方法をrails3.1で行う文献が見つからなかったので調べました。 サンプル １秒おきにtest1,test2..test5のように出力されます。 class TestCo

rails3.1でclass_inheritable_accessorがdeprecatedになりました。 warningメッセージ class_inheritable_attribute is deprecated, please use class_attribute method instead. Notice their behavior are slightly different, so refer to class_attribute documentation first 代わりにclass_attributeを使えとのことなのですが単純置換してはだめな場合がありました。 問題点 配列等に値を追加する際に破壊的メソッドで変更すると問題がでます。(API Docに載ってます) class_inheritable_accessorでは問題ありません。 解決方法 変数名=でコピー

更新履歴 2011/9/28 rails3.1対応 2011/6/27 ActiveModelImplの継承の継承したクラス対応。 2011/6/23 リリース 概要 ActiveModelを使うとDBに保持しないモデルが作れます（ある程度ActiveRecord互換の機能が動く） ただしそのままでは簡単に使えなそげ。機能を作るのに必要な部品を提供するものっぽい なので機能をある程度組み込んだベースクラスがあると便利ではないかと作りました 組み込んだ機能 attributes, attributes=での設定と取得 dirty(どの属性が変更されたか等を取得) 下記は通常のActiveModelでも簡単に実装できるもの validation form_for等に渡せるように対応するため互換メソッド ActiveModelを使うシチュエーション DB使わないところ 検索フォームのモデルに バ

hatena dialy → hatena blog 重い腰あげました。 コンバート機能よくできてました。 いろいろ調べたことのメモ書きです。 runtime permissionを対応する。 Android Marshmallow対応！Permissions事始め http://qiita.com/chihiro/items/314c1a69d2f2e122aad6 googleのサンプルソース https://github.com/googlesamples/android-RuntimePermissionsBasic/blob/master/Application/src/main/java/com/example/android/basicpermissions/MainActivity.java snackbar等のandroid5で導入された部品を使うにはいろいろ最新化が必要

接続がきれるタイミング（環境によってはもっとあるでしょうが） MySQLのtimeout my.cnfのwait_timeout デフォルト値は8時間 SLBを経由してDB接続している場合はSLBのtimeout ipvsadm --set tcp tcpfin udp (set connection timeout values) デフォルト値は5,6分 timeout自体の判定 送受信されるデータがなくなってから。 接続をはりっぱなしにしていても常にsqlを発行していれば問題なし。 問題がでそうな状況 接続を張りっぱなしにしておいてバッチ等で重い集計処理をしてからインサートする場合等や、SQL自体がゲロ重な場合等々。 このような状況で通信が発生しなくなるとtimeout値を越して接続が切れます。 切れた状態でSQLを発行すると MySQL server has gone away や

routesで切り替えられます。（本当は上流のリバプロとか、アプリに機能を組み込むのがいいと思いますが。簡易的な技ということで） routes.rbの上のほうに下記追加（上に書くのは一番最初に判定してもらうため） #map.connect "*anything", :controller=>"maintenance", :action=>"index" これで http:/hogehoge/123 http:/hogehoge/asdgabaswesew のような存在しないページもメンテナンス画面に飛ばされます。 実行環境 rails(2.1.2)

ActiveRecordは基本ずっと接続をはりっぱなしにします。 なので長時間接続をはりっぱなしにするため タイムアウト等で接続がきれると問題がでます。 MySQLでDBの接続がきれるタイミング 状況別 Railsの場合 HTTPリクエストのあるたびに接続が切れてないかを確認します。切れてる場合は再接続するようになっているので問題なさそうです。 バッチ、デーモン等 ActiveRecordを使った場合はずっとつなぎっぱなしになるため、途中で接続が切れるとエラーになります。 reconnectオプションは危険 じゃあバッチ等の場合自動で再接続してくれればと思うと MySqlのクライアントライブラリレベルでリコネクトの概念がありました。 railsで使うにはdatabase.ymlに:reconnect = trueで指定できます。 が！！ railsの実装ではデフォルトはOFFになっています

ご存知の通りcronでは一番短い単位で1分ごとにしかアプリを実行できない。 というわけで秒単位で起動できないかをググったら 30秒おきに稼動させたいならこうするらしい。 * * * * * myapp & sleep 30; myappけどこれだと5秒おきとかはcronの設定が大変なことに、、ましてや1秒おきの場合なんて、、 というわけで人生初のシェルスクリプトを書いてみました。 とてつもなくへっぽこなのは堪忍してくださいまし。 （Rubyistを目指してるものとしてはわざわざシェルスクリプト勉強せずにrubyで書けばよかったと思うが、rubyを入れてない環境でも使えるのでちょこっと便利？） スクリプト myappという実行ファイルがある場合 同一フォルダに下記のスクリプトを用意する 最初のほうにある変数exeとsecondを適当に書き換えて使って下さい。 myapp_cron_secon

前書き 受信したデコメをパースしたいと思います。 パーサーにはTMailを使用します。 Railsは使用しません。 空メの受け取り部分については書いてません。空メの内容を受け取った後の処理になります。 別にデコメに限らずただのテキストメールのパース、携帯でないHTMLメールのパースにも使えると思います。 取得する内容は下記のとおり from,toアドレス 件名 テキスト本文 HTML本文 添付画像（ファイル名、CID、バイナリ） つまづいた点（解決済み） 添付ファイルのCID(content-id)の取得 ドコモだけcidがとれなかった。 subjectの文字コード問題 デコードされた結果がエンコード前の文字コードになる。（プログラムではUTF8で取得したいのにJISでとれてしまう。。UTF8の件名はUTF8でとれる。） そのほかの問題への対策としてMbMailを使わせて頂きました。 下記

実行条件 １００プロセス同時に５０００行の書き込みを行う。 テストコード 100.times do pid = fork do open(File.join(File.dirname(File.expand_path(__FILE__)),"aaaaaaaaa.log"), 'a') do |f| f.sync = true # syncしないと文字列が途中でおかしくなる場合がある。 5000.times do time = Time.now f.write "[#{time.strftime("%Y/%m/%d %H:%M:%S")}][#{$$}]test\n" #OK #f.puts "[#{time.strftime("%Y/%m/%d %H:%M:%S")}][#{$$}]test" #NG #f.puts "[#{time.strftime("%Y/%m/%d %H:%M:%S

最近rubyを1.8.6p369にアップしたんですが capistrano2.5.5＋ruby1.8.6p369 だと複数の設置先がある場合に固まりました。 （パスワード入力までいかなかったり、パスワード入れれてもその後で固まったり。設置先が1箇所の場合は問題なくできました） rubyをruby1.8.6p287に戻したら直りました。 うむむ。 最近でたcapistrano2.5.7にしても解決はしませんでした。 しかもcapistrano2.5.7にしたら今まで動いてたものが動かなくなる始末。。 設置後に再起動してくれない状況。 恐らく namespace :deploy do task :restart, :roles=>:app do などで上書きしてたのが動いてない気がします。 （上記の書き方あんま良くないやり方で動かなくなった説もありますが。。） というわけでしばらくはcapis

sshでgatewayに接続した後、そこを踏み台として他のpc（Webサーバー,DBサーバー等）に繋いで作業する場合があると思います。 (設置先が自社サーバーではなく、外部のサーバーを使う場合やレンタルサーバー等で仮想環境を使用している場合等でしょうか) capistranoのデフォルトでは直接接続できるサーバーを対象にしてますが、設定することで上記のようなssh越しの設置も可能です。 やり方 下記の２つのオプションを指定ですればOKです。 deploy.rb # sshのgateway（踏み台）のIPを指定 set :gateway, "203.182.58.106" # ファイルの転送にsvnでなく、ファイルコピーを使用する。大抵はssh越しのサーバーから開発のsvnは参照できないため。 set :deploy_via, :copy 注意点 gatewayになるサーバーと奥にある設置対

作り方 例えば検索インデックス登録用バッチとしてcreate_search_indexというバッチを作る場合 ファイル構成 app/ batch/ ← このフォルダを追加 create_search_index/ create_search_index_batch.rb - railsバッチを定義する create_search_index.sh.sample - 実行用シェルスクリプトのサンプル create_search_index.sh - 実行用シェルスクリプト。sampleをコピーして使う。svn除外にする。 ・・・ create_search_index.sh.sample #!/bin/sh #staging ruby `dirname $0`/../../script/runner `dirname $0`/create_search_index_batch.rb --fe

諸事情でセッションIDがクッキーで渡されなく、リクエストパラメータ（クエリーストリングやpost等） で渡される場合がたまーにあります。 （外部アプリとの連携をする場合等に発生するケースが多いかなと思います。） こういう場合はsessionメソッドで:cookie_only=>falseを指定すれば クッキーだけでなく、リクエストパラメータにある場合でも取得できるはずでした。。 ええ、過去形です。 rails2からは:cookie_only=>falseにしてもリクエストパラメータを参照しないように 変更されてました。。バグ？ 問題の箇所 query_extension.rb class CGI #:nodoc: module QueryExtension # Remove the old initialize_query method before redefining it. remo

問題 rails2.1のサイト（リバースプロクシ使用）をwillcomの高速化サービスのプロクシ（フロントプロクシ）を使うと IP spoofing attack?! というエラーになってしまいました。 （恐らくこのエラーを出すようになったのは2.1からっぽい。） 理由 ソースをおっていくとHTTPのリクエストヘッダーに HTTP_CLIENT_IPとHTTP_X_FORWARDED_FORの 両方がある場合でかつIPがどちらも違う場合に起きるみたい。 （どちらもプロクシ経由時の要求元IPを返すヘッダー。リバプロ経由だとREMOTE_ADDRがリバプロのIPになるためこちらを参照する必要がある） それで一体どっちのIPを使えばいいんだ、このインチキ野郎とエラーを出しているらしい。 恐らくHTTP_CLIENT_IPがフロントプロクシの要求元ＩＰで HTTP_X_FORWARDED_FORが

acts_as_paranoidとはモデルを論理削除できるようにするrailsプラグインです。 簡単な使用では問題ないのですが 関連を使った場合には消したデータを見てしまう可能性がありました。 やりたいこと 例として学校クラスと生徒クラスがあったとして 学校を削除できたとする。（過疎化、少子化のせいですかねぇー） この場合に生徒一覧を取得する、但し削除した学校の生徒は出さない といったことをする クラス class School < ActiveRecord::Base acts_as_paranoid has_many :students end class Student < ActiveRecord::Base belongs_to :school end 方法と結果 1番 School.students.find(:all) OK.問題ない 2番 Student.find(:all

日本最大規模のrailsを使ったサイトのクックパッドで改良して 使ってるとのことなので、そこそこ使えるのだろうとのことで 改良するの覚悟でチャレンジしてみました。 下記がオフィシャルページ？（ただのblogの１ページだけども） http://revolutiononrails.blogspot.com/2007/04/plugin-release-actsasreadonlyable.html 使い方 インストール script/plugin install svn://rubyforge.org/var/svn/acts-as-with-ro/trunk/vendor/plugins/acts_as_readonlyable database.yml development: adapter: mysql database: hoge_development username: root

前書き セッションはご存知のとおりリクエストがないと一定時間で消えてしまいます。 けどページによってはタイムアウトの時間をとても長くしたい場合があります。 例えばお絵かきツールで大作を描いたり。。メール文面入力ページで緻密に計算されたラブレターを書いていたり。。などなど。（消えちゃったら発狂しますね） なのでそのページだけはタイムアウトをなくしたいです。 やり方 ajaxで定期的に裏でリクエストを発行すれOKです。 リクエストのたびにセッションの有効期限が延長されます。 util_controller.rb class UtilController < ApplicationController def extend_session_expire # 特になにもしない。 render :text=>"ok" end end 自動延長したいview <%-- javaスクのライブラリロード

先にいうと、あることはあるけど メンテされてなくて最新のrailsでは動きませんでし。 そのうち使えるようになるだろうと信じてのメモ書きです。 急いで使うなら自分で作るか、改良する必要になります。 magic multi connections findする際にモデルの頭に接続名を指定する形。 Master::User.find(:first) Slave1::User.find(:first) Slave2::User.find(:first) 複数のDBコネクションを自由に選択できる柔軟性があるが、単純なマスタースレーブ構成にするにはスレーブをまとめるための一工夫が必要になる。 メジャーなのがこれっぽいが、rails2.1で動かなかった。。 ので使えない。 http://magicmodels.rubyforge.org/magic_multi_connections/ mysql r

（ちなみに全部の説明はありません。適当にピックアップしました。） #trueにするとsessionの格納先がmemcacheになります。 sessions: trueかfalse #セッションのmemcacheサーバーを別にしたい場合は指定する。 #一緒でいい場合はfalseを指定（デフォルト） session_servers: 192.168.xxx.xxx:11211 #フラグメントキャッシュの格納先をmemcacheに切り替える。 fragments: trueかfalse #trueにすると早くなるっぽい。 #その代わりruby以外のクライアントとの互換性がなくなるっぽい。 #hashの実装を変更して実現してるみたい。 fast_hash: falseかfalse #trueにするとfast_hashするより早くなるっぽい。 #その代わりfast_hashより互換性の条件が悪くなり

家のＩＯデータの1.6T NASに容量と速度の面で限界を感じたので 作ってみました。 4TB(テラバイト)の高速NASが約6万円で。 使ったもの PC HPの激安サーバー 14,800円(送料無料) HP-ProLiant-ML115 G5 http://www26.atwiki.jp/ml115_g5/ HDD 1TBのを４つ(WDの省エネなやつ) 11000円*4=44000円 OS FreeNas 0円 Nasに特化したフリーのOS(元はFreeBSD) ちなみに0.69b2で動作確認。 0.69b3、0.686.4はデフォルトでは起動せず（オプションいじればできるらしい？）。 その後起動後のメニューからのファームウェアアップで0.69b4にアップして問題ないのを確認。 なので0.69b4でもインストールできるかも。 参考URL 公式 DLはこちらから http://www.free