SmartNewsは、次世代のメディアを作るデータマイニングエンジニアを募集します

先週月曜日の12月10日、僕が代表を務める株式会社ゴクロから、iPhone向けニュースアプリ『SmartNews』をリリースしました。公開直後から予想を超える反響があり、多くのブログやニュースサイトに取り上げていただきました。今もApp Storeの無料総合ランキング上位をキープしており、非常に良いスタートが切れたと思っています。

SmartNewsのレビューを読むと、アプリのUXを評価してくださっている方が多いと感じます。自分としてはもちろん、UXにも強いこだわりがあるのですが、UXと同じくらい、「どんな情報を配信するのか」という点にも思い入れがあるので、以下書きたいと思います。

「必要な情報を必要な人に届ける」ことを目指したCrowsnest

僕は、Webプログラミングを始めた2005年ごろから、「Webには膨大な情報が溢れているのに、その情報が必要なかたちで必要な人へ届いていない」というギャップに問題意識を持つようになり、それを解決するサービスを作れないかと試行錯誤してきました。2008年〜2009年に開発したTopHatenarやBlogopolisにも、（ブログという限定領域内ではありますが）ビジュアライズによって、優れた情報発信者の発見を支援したいという思いがありました。

その後、情報の可視化やパーソナライズ、レコメンデーションへの挑戦意欲がさらに強くなり、1年半近くかけてソーシャル・ニュースリーダーのCrowsnestを作りました。Crowsnestは、大衆迎合することなく、かといってタコツボ化することもない、個人と情報の理想的な接点を目指したWebサービスです。Twitterに流れるURLの大規模解析を元に、情報に対するグローバルな注目度とローカルな（自分周辺での）注目度を組み合わせて配信コンテンツを決定するのが特徴です。Crowsnestは2011年10月にリリースし、TechCrunch Tokyo 2011でも賞をいただくことができました。

しかし、Crowsnestはコアなユーザ層から支持を得られたものの、Twitter連携が必須なことをはじめ利用の敷居が高く、成長のシナリオを描くことができませんでした。今年3月、Crowsnestの開発をストップして、新しいサービスにピボットする決断をしました。貯金を取り崩す生活が続いており、この頃は相当辛かったです。

ピボット案として考えたのが、「スマートフォンで誰でも手軽に使えるニュースアプリ」という、現在のSmartNewsのコンセプトです。開発は再び難航し、10月の時点では、アプリの名前もアイコンもUIも、現在のものとは違っていました。それでも、ユーザテストを重ね、スマホでニュースを読むとはどういうことなのかをユーザの立場で必死に考えた結果、今のかたちが固まり、リリースにこぎ着けることができました。

SmartNewsの現状と展望

こうした経緯があり、「一般のユーザに届くアプリ」を指向して開発したため、現在のSmartNewsは誰でも興味を持ちやすい共通の話題、人気の話題を抽出することに重きを置いており、Crowsnestの技術的強みだったパーソナライズは一部を除き封印されています。結果的にはこのコンセプトが功を奏し、多くのユーザを獲得することができました。

しかし、多様化が一層進むこれからの時代において、話題のニュースを皆に一律配信するだけでは既存のマスメディアやポータルサイトと何ら変わらず、長期的なユーザエンゲージメントを築くことは難しいと思っています。人にはそれぞれ価値観があり、必要とする情報も違っています。一人ひとりが本当に求めている情報、あるいは知るべき情報を確実に届けることができる、新しいメディアを構築したいというのが、Crowsnestから引き継ぐゴクロのビジョンです。そして今、SmartNewsはそれが可能な位置にいると考えています。

データに強いエンジニアを募集します

そこで、株式会社ゴクロでは、SmartNewsのコンテンツ選定に徹底的なチューニングとパーソナライズを加えるべく、データマイニングエンジニアを募集します。

Crowsnestをベースとしたパーソナライズ技術はすでに持っていますが、まだまだ大幅な改善が必要です。さらに、日々大量に蓄積される記事のアクセスログを分析して配信ロジックを継続的に改善したり、記事をサマライズ・カテゴライズしたり、トピックを抽出・サジェストしてインタレストグラフを構築したりと、やりたいことが山のようにあります。

小回りのきく組織なので、圧倒的な自由度で仕事をしていただくことが可能だと思います。CrowsnestとSmartNewsが持つ膨大なデータから価値を生み出し、新しい時代の情報プラットフォームを一緒に作りませんか？

詳細に興味を持たれた方は、kaisei.hamamoto at gocro.jpにご連絡ください。お待ちしています。

第3回Twitter研究会の発表資料

28日の第3回Twitter研究会で、Crowsnestについて発表してきました。スタッフと参加者の皆様、ありがとうございました。

情報発見の手段が検索からソーシャルへ変わってきているというのは良く言われることですが、実際にCrowsnestを開発してみた感覚として、技術的に検索エンジンとCrowsnestを対比するのが面白そうだと思い、そうした観点でプレゼンを作ってみました。

ソーシャル・ニュースリーダー「Crowsnest」におけるTwitterのリアルタイム解析と情報整理の未来

資料中にもありますが、Crowsnestの構造は以下のように捉えることができます。

検索エンジンCrowsnest
ページの発見ハイパーリンクツイート
転置インデックスのキー形態素言及者
クエリキーワードユーザの持つソーシャルグラフ
結果のソートPageRankなど言及者の信頼度

枠組みには検索エンジンとの共通点が多いですが、ハイパーリンクやキーワードの部分が「人」に置き換わっています。この中で、個人的に興味深いと思っているのは転置インデックスの部分です。従来の検索エンジンでは、文書をインデックスする時点でキー（文書が含む形態素の一覧）が確定していますが、CrowsnestではユーザがURLをツイートするごとに、キー（文書への言及者）が動的に追加されていきます。つまり、情報の価値は情報自身にあるのではなく、その伝播者がもたらすという考えが、ここに強く反映されていると思います*1。

*1:PageRankでも、他者からのリンクがページに価値を与えるので、この考えに近いところがありますが。

第3回Twitter研究会で発表します

1/28に開催される第3回Twitter研究会で、僕が開発しているソーシャル・ニュースリーダーのCrowsnestについて発表することになりました。

partake.in

Crowsnestでは現在、秒間500200件くらいのURL付きツイートをクロールしています。このクロール量自体は、Twitter APIを効率的に呼ぶことで比較的容易に達成できると思います。Crowsnestが特徴的なのはその先で、クロールしたコンテンツから大規模インデックスを構築し、任意のソーシャルグラフ、URLパス、ハッシュタグ、キーワードなどのクエリに対して、パーソナライズされた検索結果をリアルタイムで返せるようになっているところです。研究会では、この辺りの技術について話す予定です。

SummifyがTwitterに買収されるなど、ソーシャルベースの情報集約技術への注目は高まっており、Crowsnestも頑張りたいところです。

興味を持たれた方は、第3回Twitter研究会にぜひいらしてください！

情報可視化についての思考を深められる『ビューティフルビジュアライゼーション』

Book

オライリー・ジャパンから、『ビューティフルビジュアライゼーション』を献本いただきました。ありがとうございます。

ビューティフルビジュアライゼーション (THEORY/IN/PRACTICE)

ビューティフルビジュアライゼーション (THEORY/IN/PRACTICE)

情報視覚化の書籍といえば、本書と同じ増井俊之さんの監訳で、2008年にオライリーから『ビジュアライジング・データ』が出ています。

ビジュアライジング・データ ―Processingによる情報視覚化手法

ビジュアライジング・データ ―Processingによる情報視覚化手法

『ビジュアライジング・データ』は、Processingを使った情報可視化手法のガイドで、サンプルコードが豊富に使われていて、かなり実践的です。これと比較すると、『ビューティフルビジュアライゼーション』の方はコードや技術解説が最低限に抑えられ、その分、可視化手法の背景にある思想、着想に重点が置かれており、エッセイに近い書籍になっています。

エッセイといっても、抽象的な話が続くわけではなく、Wordleやニューヨーク地下鉄路線図のデザインなど、筆者が実際に関わったプロジェクトの事例をベースに書かれていて、興味深く読めます。

個人的に面白かったのは、情報可視化にアニメーションを取り入れることの是非を考察している章です。この章では、安易なアニメーションがかえってユーザを混乱させるという実験結果が示されています。こうした結果を踏まえ、アニメーションを使用する場合の原則が分かりやすく整理されていて、参考になりました。

表紙のデザインが奇麗ですが、中身もカラーの可視化イメージが大量に使われていて、図を眺めるだけでいろいろインスピレーションが得られそうです。

ソーシャル・ニュースリーダー『Crowsnest』を正式公開しました

5月31日に本ブログでベータテストの開始をお知らせした、ソーシャル・ニュースリーダーの『Crowsnest』が、今日正式にリリースされました。

Crowsnestは、これまで、多くの方からいただいたフィードバックを参考に、機能の改善を進めてきました。7月1日のエントリーでは、その一部をご紹介しています。その後もチューニングを続けた結果、サービスが一定のレベルに達したと判断し、このたび公開の運びとなりました。

僕は長い間、Webの情報収集ツールとしてRSSリーダーやソーシャルブックマークを使ってきました。ところが、ここ1、2年ほどで、TwitterやFacebookの情報流量の方が明らかに多くなり、情報収集はソーシャルメディアだけで十分なのではないかと感じ始めました。とはいえ、ソーシャルメディアの情報はノイズが多すぎることと、Google リーダーのように洗練されたツールもないことから、結局、RSSやソーシャルブックマークを見続けてきました。

Crowsnestは、この状況を解決したいという思いが出発点になっているため、「ソーシャルWebにおいて情報の重要度をスコア付けするロジック」と「ツールとしての完成度」の2点については、特に力を入れて追求してきたつもりです。もちろん、現時点ではまだ未熟なサービスであり、既存ツールの代替にはならないかもしれませんが、いずれ、ソーシャルWebの情報流通基盤としてのポジションを確立したいと思っています。

Crowsnestは今後、以下のブログで広報を行っていきます。

http://blog.ja.crowsnest.tv/

今回のリリースについての公式アナウンスは、以下のエントリーをご覧ください。

http://blog.ja.crowsnest.tv/post/10959861102/crowsnest-has-been-released

また、TwitterやFacebookでも最新情報を発信していきますので、チェックしてみてください！

@crowsnest_jp on Twitter
Crowsnest - Facebookページ

追記

TechCrunch JAPANでCrowsnestを取り上げていただきました！

CrowsnestはTwitterに流れるリンクから関心度の高い情報を表示してくれるニュースリーダー | TechCrunch Japan

ソーシャル・ニュースリーダー『Crowsnest』の4つの新機能

Twitterで言及されるURLの集約とフィルタリングを行うソーシャル・ニュースリーダー『Crowsnest』のベータテストを開始してから、1ヶ月が経過しました。おかげさまで、多くの方に試用していただいています。

この1ヶ月間、Crowsnestをより便利なサービスにするため、いただいたフィードバックをもとに機能の強化を続けてきました。その中から、以下の4点を紹介したいと思います。

  1. Google リーダーとの連携
  2. キーワード検索
  3. キーボードショートカット
  4. 関連記事の表示

Google リーダーとの連携

Google リーダーは、現在最も広く使われているWeb上の情報収集ツールの1つだと思いますが、フィードの登録を増やすと大量の新着情報を消化しきれず、どんどん未読が溜まってしまう問題もあると感じています。

そこで、CrowsnestにGoogleアカウントを関連付けることで、自分がGoogle リーダーで購読しているRSSフィードの中から、Twitter上で言及されている新着リンクだけをフィルタリング表示できる連携機能を追加しました。

連携の方法は簡単です。最初に一度Googleドメインに移動し、Crowsnestのアプリケーション認証を行います。

認証が成功すると、Google リーダーで作成しているフォルダの一覧が表示されるので、Crowsnestと連携したいフォルダを選択します。

設定が完了すると、選択したフォルダがタブとしてCrowsnestに追加されます。他のタブと同様、一定の回数以上ツイートされたリンクだけをフィルタリング表示することができます。

この連携機能を使うことで、気になるRSSフィードがあったらとりあえずGoogle リーダーに登録しておき、普段はCrowsnestでふるいにかけた情報だけを閲覧するという役割分担が可能になります。

キーワード検索

Crowsnestが収集しているリンクを対象として、任意のキーワードによる検索ができるようになりました。

もちろん、Twitter自体にも検索機能がありますし、GoogleやYahoo!にもリアルタイム検索がありますが、Crowsnestの検索はリンクに特化している分、使い勝手の良いものになっています。特に、トレンド性の高いキーワードとの相性は良く、有益な情報を効率的に集められます。

また、TwitterのSaved Search機能のように、特定のキーワードを指定してタブを作成できるので、キーワードを継続的に追いかけることもできます。

キーボードショートカット

デスクトップ版で特に要望の多かった、キーボードショートカットに対応しました。「j」「k」キーでフォーカスを前後に移動するなど、Google リーダーやlivedoor Readerと近いキー体系で、素早い画面操作ができます。


関連記事の表示

複数のメディアで、内容の同じニュース記事が掲載されることは良くあります。中には転載によって、全く同一文章の記事が複数のURLを持つこともあります。

Google ニュースなどでは、こうした記事の類似性を自動的に判定して関連記事としてまとめてくれますが、Crowsnestでも、この関連記事表示機能に対応しました。

関連の判定精度はまだあまり高くないのですが、今後改善していきます。

まとめ

5月31日のベータ版開始から現在までの間に追加した、Crowsnestの新機能を4つ紹介しました。Crowsnestでは、今後もベータテストを継続し、サービスの改善に努めていこうと考えています。

ソーシャル・ニュースリーダー『Crowsnest』のベータ版を開始しました

追記: Crowsnestは、2011年10月3日より正式公開されています。Twitter IDをお持ちであれば、どなたでもお使いいただけます。

僕が今年から働いている株式会社Rmakeのプロダクトとして、Twitterのタイムラインを自動でまとめるソーシャル・ニュースリーダー『Crowsnest』のベータ版を開始しました。

追記: 2011年12月時点の最新のスクリーンショットは以下になります。


Crowsnestとは

Crowsnestは、日々Twitterにつぶやかれる大量のURLを収集し、ユーザのタイムラインに基づいてまとめ直し、時系列に並べて閲覧することができるサービスです。

TwitterやFacebookのようなソーシャルメディアが勢いを増す中で、インターネット上の情報収集手段は、RSSリーダーやソーシャルブックマークといった従来のツールから、ソーシャルメディアベースへと徐々に移ってきています。しかし、ソーシャルメディアのタイムラインは流れが非常に速く、大切な情報を見落としてしまいがちです。

そこで、自分のタイムラインからURLを抽出し、見やすく集計してくれるサービスがいくつも出てきています。国内では、retime.meが最近リリースされました。海外では、paper.liやFlipboardが有名です。Crowsnestも、これらのサービスと近いコンセプトを持っています。

Crowsnestは、直訳すると「カラスの巣」ですが、船の（マストに置かれている）見張り台という意味があります。情報の海を見渡すことのできるサービスを目指して、この名前を付けました。また、サービスのベースとなるTwitterが鳥をモチーフにしていることから、カラスとの繋がりがあって愛着を持てる名前だと思っています。

Crowsnestの使い方

CrowsnestにTwitter IDでログインすると、タブ式の画面が表示されます。タブは「フォロー」「時事」「動画」などテーマ別になっていて、それぞれのテーマに沿ったリンクが流れてきます。画面を開いたままにしておくと、リンクは順次更新されていきます。各リンクの表示されているボックスを展開すると、リンクの本文や、リンクに言及しているツイートの一覧を閲覧できます。

通常のタイムライン閲覧や返信ができる「タイムライン」タブも付いているので、簡易的なTwitterクライアントとしても使うことができます。また、モバイル版があり、AndroidやiPhoneでも快適に使えるようになっています。


ソーシャルグラフの「内側」と「外側」を両方考慮したパーソナライズ

Crowsnestの大きな特徴は、ユーザが持つソーシャルグラフの「内側」と「外側」を、両方加味して適度なパーソナライズを施してくれる点です。

もし、自分のタイムラインに流れてくるURLだけを集約するとすれば、確かに自分の興味に合った情報を得やすくなるかもしれませんが、情報の観測範囲は限られ、タコツボ化が発生してしまいます。

かといって、「人気ランキング」のようなやり方でユーザ全体の盛り上がりを観測すると、全員が完全に同じコンテンツを見ることになり、せっかくのソーシャルグラフを活用できず、もったいない感じがします。

そこで、Crowsnestでは両方を使います。

Crowsnestでは、TwitterでつぶやかれるURLに対して、そのURLが自分にとってどの程度重要かを測るために、「全体で何回ツイートされたのか」という尺度と、「自分のフォローしているユーザの中で、誰がツイートしているのか」という尺度の2種類を用意しています。前者がソーシャルグラフの外側、後者が内側に対応します。

そして、「50ツイート以上されているURLだけを表示」のようにしきい値を選択して、情報の流量と質のバランスをコントロールできます。しきい値を下げれば情報量を増やすことができ、しきい値を上げれば重要な情報だけをフィルタリングできます。

ソーシャルブックマークの世界では、はてなブックマークのお気に入り機能などで、このようなアイデアがすでに実現されていますが、Twitterをベースにしたアグリゲーションサービスの中にはあまり見当たらなかったことが、Crowsnestの開発動機の1つになっています。

リンクに対する感情の共有

また、Crowsnestには、リンクに対して「キモチ」という顔文字を付けられる機能があります。

Twitterで面白い情報を見つけたとき、情報の内容（あるいは発信者）に対して共感を示したくなることがあります。その表現手段として、お気に入り（Favorite）やRTが使われますが、もう少し気軽な方法があっても良いのではないかと思い、「キモチ」機能を作ってみました。

リンクにキモチを付けると、自分をTwitter上でフォローしているCrowsnestユーザの全員に、そのキモチが見えるようになります。さらに、自分が先にツイートしたりキモチを付けたりしたリンクに対して、後から他のユーザが共感してくれた場合、その共感をお知らせとして受信することができます。

自分の周辺でキモチの付いたリンクだけを集計するキモチタブもあるので、一種のレコメンドとしても機能するのではないかと思います。

タブのカスタマイズ

デフォルトでは、「時事」「IT」といった基本的なタブが初期表示されていますが、このタブの構成は自由にカスタマイズ可能です。

例えば、「特定のドメイン以下のリンク」「特定のリストに入っているユーザが言及したリンク」「特定のハッシュタグが付いたリンク」といった条件を指定し、タブを作ることができます。

また、タブマネージャから、「2ちゃんねる」「Togetter」といったカスタマイズ済みのおすすめタブを入手することもできます。

招待制になっています

現在、Crowsnestは正式リリースに向けた調整のため、招待制をとっています（追記: 2011年10月3日に解除しました）。利用にあたっては、他のCrowsnestユーザから招待状を受け取る必要があります。すでにユーザになっている方は、ぜひお友達に広めていただけると嬉しいです。

それでは、Crowsnestをよろしくお願いします！