前回は、Perlモジュールである「Web::Scraper」を使ったスクレイピングについて説明した。Webページ（HTML）は、「構造」と「デザイン」面で比較的分離が進んできたため、CSSセレクタによるスクレイピングが有効であることが分かったはずだ。 今回の最終回では、コンテンツの自動収集と統計手法について考えてみよう。 記事内で扱っていくのは、幾つかのコンテンツをたどって、「利用頻度の高い語句を集め、話題となっているキーワードを見つけよう」というものだ。 話題のキーワードを集める手法 近年ブログのポータル上などでは、話題となっているキーワードを「利用頻度に応じたフォントサイズ」で示し、クリックすると該当の記事一覧が表示されるという仕組みが実装されているものが多い。 オルタナティブ・ブログにも似たようなものとして「話題のキーワード」が見られる。キーワードをクリックすると、Googleによる

コンピュータに1980年代以前から親しんでいる人は、「人工無脳」と聞くと、ある種のノスタルジーと共に思い起こすものがあるんじゃないかな。 「何それ？」という人のために少し解説すると、人工無脳というのは一種のお遊びプログラムのことで、チャットで人間と会話をしてくれるロボットのこと。海外ではChatter Botと呼ぶのが一般的みたいだね。 もちろん、会話の精度は高くなくて、「何言ってんだコイツ」とか、「会話が全然なりたってないじゃん」なんて場合がほとんどなんだけど、たまに「おっ！」と思わせるようなことを言ったりして、チャット参加者を楽しませてくれる。 そもそも人工無脳（人工「無能」と表記される場合も多いが筆者は「無脳」という表記で統一している）というのは、開発者たちが「こんなもの人工知能と呼べるレベルじゃなくて、人工無脳だよね（笑）」という謙遜から使われだした言葉なんだ。 「あー、昔よく遊ん

グーグルは2007年11月1日、「N-gramデータ」と呼ばれる、語と語のつながりやすさを示すデータを公開した。例えば「グーグルで」という言葉の後には、「検索」という語が使われることが最も多い、といったことが分かるデータだ。インターネットで収集した膨大な日本語データを解析することで作成した。勤務時間の20％を自分の好きなことに使える同社のルール（いわゆる「20％ルール」）によって生まれた成果だという。 N-gram言語モデルとは、N-1個の語のつながりから、N個目に来る語を予測する手法。例えば「グーグル」と「で」という2つの語に続く、3語目の言葉を予想するのは、3-gramに相当する。この手法は、ひらがなから正しい漢字を推定するかな漢字変換や、音声データから文字を推定する音声認識などの処理において、有効に活用されている。今回グーグルは、この手法で使われるデータを作成、公開した。 どの語とど

誉田商事は10月17日、携帯メールに特化したミニブログ「Chewlip」に、キーワード解析機能を追加する。 Chewlipは、1文から2文程度の短いひと言を携帯メールから投稿するミニブログで、画像の添付にも対応。自分のミニブログに対して寄せられたコメントは自分宛てに携帯メールで配信され、そのコメントに対する返信も、相手の携帯電話にメールで配信される。 同サービスは今回、東京大学情報基盤センターの中川裕志教授およびその研究チームが運営するキーワード自動抽出システム「言選Web」を採用し、投稿されたメッセージのキーワード解析を開始する。抽出されたキーワードは今後、共通の関心を持つユーザー同士を関連付けて交流を促したり、適切なコンテンツ連動広告の配信などに役立てるとしている。 Chewlipへのアクセスは http://chewlip.com/ から。 各キャリアの発表会リポート 国内外の携帯市

キーウォーカーは5月28日、自然文意味解析技術を応用したブログ解析サービス「BlogSphere（ブログスフィア）」を利用した新サービスとして、マーケティングやリサーチ用途に向けた「BlogSphere for Research」を発表した。6月1日から提供を開始する。 BlogSphereは人工知能のアルゴリズムを応用した、日本語の自然文意味解析技術をベースにしたブログの解析サービスだ。キーワードを入力して解析を実行すると、そのキーワードがブログの中でどの程度言及されているかということや、キーワードに言及したブロガーの属性がグラフで表示される。 キーウォーカーでは、BlogSphereのアルファ版サービスを2006年10月から約1カ月公開していたが、マーケティングやリサーチ用途に向けて機能を強化し、今回のサービス提供に至った。 BlogSphere for Researchでは、キーワー