屋久島沈没 / 2009-09-18

■ OreOre Twitter Search を作りました

http://twitter.ssig33.com/
OreOre Twitter Search

俺が俺の為に作った Twitter 検索です。今のところ検索出来るというだけで、他は何も出来ない感じです。

現状フロントエンドもバックエンドも Rails で書かれています。

フロントエンドは、 nginx の裏で unix socket で thin が動いているとかそんなので、まあ普通の Rails です。検索には Tritonn を使っています。

バックエンドでは、 AP4R で非同期化およびタスクの分割を行なって、 EventMachine で並列化をさせている感じです。現在、 2 万人弱をかなりリアルタイムに近い形でクロールしていますが、非同期化と並列化によってそれなりにスケールするクローラーになっていますので、 30 万 ID ぐらいまでなら現状のクローラーでも問題無くクロール出来そうな感じです。後述する通りクローラー書き直してるんですが。

今はクローラーが超絶メモリ食いなのを解決する為に、クローラーを全面的に書き直すのと、クローラーが拾ってきたのを全部 IRC に垂れ流すようなの(つまり数万人 follow している TIG のような感じ)を作ったりしています。それから検索も Tritonn からぐるんがに早期に(レコード数増えすぎないうちに)置き換えたいな、とは思っています。

現状では他の Twitter 検索に対して何のアドバンテージもありませんが、よろしければどうぞ。



そういえば、今月末で僕の Ruby 歴も一ヶ月になります。大分長くやったという気がする。