クローラを生まれ変わらせるにあたっての思考 - かれ4

テクノロジーカテゴリーの変更を依頼記事元:

blog.tottokug.com

25users がブックマークコメント

コメント

5

記事へのコメント5件

注目コメント
新着コメント

sh19910711 SQLでDOMのセレクタ捌くの良さそう / 2015 / "Scrapingをする必要があるのは、インデックスを作りたいのではなく、構造化されたデータとして使いたい場合 / SELECT `span\.name`, `span.price` FROM `STORAGEPREFIX.div#listtable ul li `"

*data
search

2022/03/28 リンク

yutaro54 多分クローラーのアプリケーションアーキテクチャーについて書かれたやつ。

2016/05/02 リンク

h5y1m141 クローリングする処理とスクレイピングする処理を同期、非同期のどっちがいいかとか最近考えていたことがあったのでこの記事は自分の考えを整理する上ですっごく参考になった

2015/12/18 リンク

dkfj スクレイピング／クローラーのプロの思考

クローラー

2015/12/15 リンク

happyou_info 次世代感ある

2015/12/14 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

クローラを生まれ変わらせるにあたっての思考 - かれ4

Advent Calendar 2015の13日目の記事です。今うちで動いているCrawlerは数年前に作られたもので、仕組... Advent Calendar 2015の13日目の記事です。今うちで動いているCrawlerは数年前に作られたもので、仕組みとしてはAzureのService Fabricの上でAWSのLambdaを動かしているのと似たアーキテクチャになっている。そろそろ生まれ変わりの頃かなと思う。生まれ変わるにあたって、これからのアーキテクチャをどうしようかと悩むわけだけど、そんな時には過去に遡っていくと次時代へのヒントが転がっていることがよくある。特に、過去に敗北した素晴らしいアーキテクチャが今の技術であれば一般時にも実現可能になっていたりする。昔話昔々世界にはInktomiという会社と AltaVistaという会社があった。 Inktomiという会社はソフトウェア開発会社で、2002年に米Yahoo!に買収されている。 AltaVistaは検索エンジンの会社だったが、2003年にO

ブックマークしたユーザー

sh199107112022/03/28
ishiduca2021/01/17
mochidai2019/07/31
box4062017/04/25
aimstogeek2016/09/03
yutaro542016/05/02
jacoyutorius2015/12/23
ryskosn2015/12/21
h5y1m1412015/12/18
clavier2015/12/15
technuma2015/12/15
akishin9992015/12/15
dkfj2015/12/15
hands_rec2015/12/15
kutakutatriangle2015/12/15
yoshidashingo2015/12/15
tottokug2015/12/15
K2ICE2015/12/14

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

いま人気の記事 - 企業メディア

企業メディアをもっと読む

設定を変更しましたx