Pryは結構前からgithubのリポジトリを追いかけている人達には認知されていましたが、RailsCastsでも紹介されたことから、Ruby界で一気に広がりを見せています。 ちなみに発音はpra'i(ぷらい)です。英単語で「覗く」などを意味します。 今回はそんな便利なPryについて少し紹介したいと思います。 Pryはirbの代わりになるREPL Pryを一言で説明すると、irbと同様にREPL環境を提供してくれます。 では、さっそくインストールしてみましょう。

IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

cles::blog 平常心是道 blogs: cles::blog NP_cles() « IE6からの乗り換えを促すドラクエ風flash :: 2009年分の確定申告スタート！ » 2010/02/15 Anemoneというクローラーフレームワークを使ってみる  ruby  scrape 255 0へぇ これまでクローラー使い捨てのクローラーは結構力業で作ってきたのですが、さすがにこういうことをやり始めてから1年以上が経ちこのままでは立ちゆかない事がいろいろと顕在化してきたので、クローラーを作るためのフレームワークをいろいろ調べていました。 JavaであればLuceneのサブプロジェクトであるNutchや、Seasarプロジェクトで開発されているS2Robot、PerlであればGunghoあたりに興味があるのですが、後処理の部分はRubyで書いてしまってあるので今回はAnemoneとい

Webサイトの調査をしようと思い、サイトクローラーが必要になりました。 各言語ごとに色々あるので何を使うか悩むところですが、Rubyでお手軽にということでAnemoneを採用しました。 ちなみに他の言語だと、下記のうちのどれかが良いのではないでしょうか？ Java：Nutch、S2Robot Perl：Gungho 余談ですが日本語で検索する場合、WEBクローラーで検索するかWEBスパイダーで検索するか悩みます。英語だとWeb SpiderかWeb Crawlerです。どちらかといえばWeb Spiderが一般的のようです。日本だとWEBクローラーの方が目的のものに辿り着きやすいような気がします。うーん、悩ましい。 Anemoneのインストール手順 Anemoneは、nokogiriを使います。 nokogiriが入っていれば、すんなりインストールも出来ると思います。 ちなみにnokogi

lib/trie/double_array.rb at master from tily's ruby-gardening - GitHub Double-Array (ダブル配列) は トライ木を実装するためのアルゴリズムの 1 つで、他の実装よりも高速に TRIE から文字列を検索できるらしい。ChaSen や MeCab で、形態素解析を行うために必要な Common-Prefix Search (共通接頭辞探索) を行うために使われている。これを理解のために Ruby で実装してみた。 基本的な動作確認 ここに書いてある bird, bison, cat の 3 単語で構築した Double-Array の例。 コード： require 'trie/double_array' da = Trie::DoubleArray.new da.build(%w|bird bison cat

先月の29日に、全文検索エンジンgroongaを囲む夕べ #1が開催されました。内容はgroonga本体について、groongaとRubyについて、groongaとMySQLについて、groongaとPostgreSQLについて、とgroonga三昧の内容でした。 groongaとRubyについての資料は以降で紹介します。groongaとPostgreSQLについてはすでに資料が公開されています（textsearch groonga v0.1）。参加できなかった方は参考にしてください。 それでは、groongaとRubyについての資料を簡単な解説付きで紹介します。 Ustreamで配信したものの録画もあります。Ruby枠は49分くらいからです。 リリース情報 開催日当日の29日、groongaの新しいバージョン1.0.4がリリースされました。もちろん、この夕べに合わせたものです。 さらに、

並列1000コネクションに耐える！ Ruby のイベント駆動ライブラリ Rev と EventMachine の HTTPクライアント こんにちは、takada-at です。 Rubyのイベント駆動型ネットワークプログラミングフレームワーク Rev と EventMachine で HTTPクライアントを動かしてみました。 イベント駆動型ネットワークプログラミングフレームワークとは何か説明しだすと難しいですが、一言で言うと、以下のようになります。 # ふつうのフロー駆動型プログラム Net::HTTP.start(host, port){|http| res = http.get(path) #この処理が終わってから } puts "done" #この次の処理が実行される # イベント駆動型プログラム client = Rev::HttpClient::connect(host, port

gren - gren is a next grep tool. お久しぶりです、gren 0.2.3 をリリースしました。(大分ブログの更新が滞ってしまいました・・) 今回の売りはgroonga, rroongaを利用して超高速検索モードを搭載したことです。自分のマシン内にファイルデータベースを構築し、それを利用して高速な検索を実現しています。 今までのgrenに加え、新たに mkgrendb ... ファイルデータベースの作成 grendb ... ファイルデータベースを利用した検索 という二つのコマンドラインツールが追加されています。 grenは今までと同じように使えます。現在位置を基点に検索したい時等はgren、ざっくりと全体から探したい時はgrendb、というように用途に応じて使い分けることが可能です。 インストール 0.2からrroongaを必要とするようになり、Windows

水風呂のすゝめ 毎日めちゃくちゃに暑い。 ここ数年「およげ!たいやきくん」のように昼間は太陽とオフィスビルとアスファルトの三方向から押し寄せる35℃オーバーの熱に挟まれ、夜になっても最低気温が27℃くらいまでしか下がらない。そんな理不尽な東京鍋の中の暮らしが毎年のことにな…

Ruby1.9でTokyoCabinetを使っていて、UTF-8な文字列をTokyoCabinetのHDB(ハッシュデータベース)につっこんでいって、getするとASCII-8BITで返ってくるということで大分はまっていた(Ruby1.9だと文字コード(String#encoding)まで一致しないと同じ文字列だと見なされない)。 ファイルの読み込みなら File.open('hoge.txt', 'r:utf-8') とかやれば回避できそうだと思うんだけど、TokyoCabinetのようなものを使うときってforce_encodingを使うしかないんだろうか?この辺のbest practice的なところがよく分からないなー。 関連? moco β版 更新ログ: [Rails][習作] 簡易ブックマークアプリ (3)

外部のウェブサイトなどをスクレイピングするようなプログラムを書いているとき，大量にリクエストを送るのに気を使って，sleepを入れたり，キャッシュしたり，ということが，よくあると思います． これまでに何度も外部のリソースをキャッシュする仕組みを作っているような気がしたので，外のリソースに気を使いつつopenしてくれるopenを作りました． http://gist.github.com/226675 以下のような仕様です． cached-openをrequireするとopenが上書きされる openした結果をローカルのMemcachedに格納し，キャッシュがあればそこから返す キャッシュがないとき，openできるのは5秒に1回(前にopenしてから5秒経つまでsleepする) スクリプトをちょっとずつ実行しながら作っていくときや，たくさんリクエストを送るとbot扱いされるサイトにアクセスしま

Rubyで2ちゃんねるのスレを読みたかったので，調べてみると，2ちゃんねるBOTの作り方を詳細に解説してくれている人がいた． 2ちゃんねるBOTの作り方 準備編 - GIOの日記 2ちゃんねるBOTの作り方 設計編 - GIOの日記 2ちゃんねるBOTの作り方 実装編1 - GIOの日記 2ちゃんねるBOTの作り方 実装編2 - GIOの日記 記事内のソースコードのリンクは切れていたけど，GitHubで公開されてた． gioext/bot2ch · GitHub スレの内容をパースする処理とかがなかったので，forkして欲しい機能を勝手に実装した． hitode909/bot2ch · GitHub 試しにこれを使って，ラーメン板の，タイトルにこってりを含むスレの最新のレスを表示してみる． require 'bot2ch' menu = Bot2ch::Menu.new board = m

私、餡子のためなら逆立ちだってしますよ。 こじらせている。 食べたいと思ったら食べたいのである。 ここが北カリフォルニアの片田舎であろうと、私があんみつが食べたいと思えば、あんみつは今すぐ作って食べなくてはいけないものになる。食いしん坊の思考は凄まじい。 子供が観ていたアニメで、赤ちゃんが空の…