Twilog + Pythonで他人の過去の全ツイート（3200件超）を一括取得する方法 - StatsBeginner: 初学者の統計学習ノート

テクノロジーカテゴリーの変更を依頼記事元:

blog.statsbeginner.net

189 usersがブックマークコメント

Twilog + Pythonで他人の過去の全ツイート（3200件超）を一括取得する方法 - StatsBeginner: 初学者の統計学習ノート

Twitter APIで「他人の全ツイート」は取得できないさて先日から書いてるように、PythonのTweepyという... Twitter APIで「他人の全ツイート」は取得できないさて先日から書いてるように、PythonのTweepyというライブラリを使うと、簡単にTwitterのREST APIを操作することができますので、研究で何か分析するときも、これを使えば手軽に分析用のデータが取得できます。レスポンスのデータの中身を読むのが大変ですが、それなりに理解はできてきました。 statsbeginner.hatena blog.com statsbeginner.hatena blog.com ところで、特定のユーザのツイートの傾向を見たいと思った場合、APIで全ツイートを取得したいところですが、残念ながら最新のものから数えて3200件までしか取得することができません。「自分のツイート」であれば、Twitterが公式に過去の全件を出力する機能を付けてくれていますが（付属情報がほとんど入って来ませんが）

d6rkaiz 自分のが欲しかったら、TwitterのWeb設定から「全ツイート履歴をリクエストする」で取れる。それにこの方法はtwilogに負荷かけるだけだから良くない。

2015/11/16 リンク

teo_imperial こう言うスクレイピングはこっそりやるものだと思っていた。私みたいに(やってるのかよ)。だっていずれ規制されて取れなくなるよ。

fashi Pythonわからんけど軽さ優先というわけでもないのにDOMも正規表現も使われてないあたりも洗練されてない感

プログラミング

2015/11/17 リンク

mohno twilogは単体では利益が出てないそうだから、やるならこっそりやって。こんなのが止めるきっかけになったら困る。

sin20xx 謎仕様なのは同意するが技術者としてこの読み込み方はいろんな意味で適切ではないと思うのだが･･･そこは配慮するべきだし途中でタイムアウトした場合の処理とか考えると素直に改ページの方が楽だと思わなくもない

kurojonz 2015-11-15 Twilog + Pythonで他人の過去の全ツイート（3200件超）を一括取得する方法 Twitter 機械学習 Python Twitter APIで「他人の全ツイート」は取得できないさて先日から書いてるように、PythonのTweepyというライブラリを使うと、簡