AppEngineの標準の多くの機能を使って、1ファイルwikiを書いてみました。 ソースwiki.py: http://gist.github.com/148463 稼動例: http://bellbind.appspot.com/wiki/p/top SDK準備 Python-2.5がインストールされてるシステム GAE SDK 1.2.3: http://code.google.com/intl/en/appengine/downloads.html 日本語版のダウンロードページはずっと1.2.0のまま更新されてません 1.2.0のTemplateは、django 0.9.6ベースであり、非asciiの処理に難があるままです(日本Googleはさっさと更新すべき) Linux/Other版は、zipを展開するだけです。 付属スクリプトは、相対PATHで実行可能です。 cd myapp

ご存知の方もいらっしゃるかもしれませんが、先日福岡で明星和楽というアジアのテクノロジーとクリエイティブに関わる人々が福岡に集まるイベントが開催されました。それで明星和楽内ワークショップの中でGoogle App Engine トークセッションというのが行われたんですね。私自身はこのセッションに参加できなかったのですが(Fukuoka NFC Hack 4当日でした)、その前日@kenz_firespeed氏のお誘いでトークセッション登壇者の松尾氏を交えたコードラボが行われたのです。その場で松尾氏に直にGAEとやらを教えていただきまして、GAEいいなーと使っているのが最近の私です。まあ、Pythonわかんないので雰囲気で書いているんですけどね。 ちなみに明星和楽に関しましては私も前日と二日目はボランティアスタッフとして参加していました。ちょっとだけお疲れオレ。もうひと月前の話だけれど。 導入

閉じてないタグを閉じたり、タグ名を小文字にしたりというような副作用もあるわけですが。 from BeautifulSoup import BeautifulSoup import cgi dangerous_tags = [ "script", "applet", "object", "embed", "img", "form", "input", "select", "textarea", "button", ] def escape(xmlstr): """ escape dangerous tags. >>> escape(u'<div>snip <script>alert("<b>BAD</b>")</script> snip</div>') u'<div>snip &lt;script&gt;alert("&lt;b&gt;BAD&lt;/b&gt;")&lt;/script&g

ウェブサイトのスクレイピングってだいたいすんごくツマンナイんだけど、時々どうしてもやらなきゃいけなくなるんだよね。そんな時には、 BeautifulSoup を使って楽々、スピーディーにスクレイピング！…っていつもとキャラ違います状態のbonlifeです。 Inspired by Scraping Yahoo! Search with Web::Scraper (でも、Yahoo! Search だったらスクレイピングせずにAPI使えば良くね？とか思ったのはきっと私だけでしょう。) Python の BeautifulSoup を使って、手短に書いてみました。Python不慣れな人でもなんとなく分かると思います。 import urllib2 from BeautifulSoup import BeautifulSoup def soup2unistr(soup): return ''.j

結局、シンプルなHTMLParserを使って作ってみた。id:aodag先生に大変お世話になりました。とりあえづ、昨晩やったこと。HTMLParserで、やってみた。 標準のhandle_dataを変更して、scriptタグとstyleタグとコメントを無視するようにしたTagStripクラスを作る。 # condig:utf-8 from HTMLParser import HTMLParser class TagStrip(HTMLParser): def __init__(self): HTMLParser.__init__(self) self.datum = [] self.instyle = False def handle_data(self, data): if data.strip() and not self.instyle: self.datum.append(data

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

思いは言葉に。 はてなブログは、あなたの思いや考えを残したり、 さまざまな人が綴った多様な価値観に触れたりできる場所です。

BeautifulSoupでスクレイピングしていると、よくわからないパースエラーでコケる事があるかと思います。 今日も"junk characters in start tag"みたいなエラーに悩まされました。 Google先生に尋ねてみるも、同じような事象でなやんでる外人さんたちはみつけられても、「これだ」という解決方法はみつからず。 仕方ないので、自力でちょっと調べてみた成果を以下に記載してみる。同じようなことで悩んでる人が、もっと良い解決方法を見つけるためのたたき台にでもなれば本望である。 〜〜〜〜〜 HTMLParser.pyで定義されているエラーが出ているようなので、該当モジュールのソースを読んでみたところ、どうやら「">"または"/>"でタグがおわってないと駄目よ」みたいなエラーらしい。 HTMLソースの中から、エラーを引き起こしてる部分を探してみると、どうやら以下のようなパタ

オーベルジーヌ実食レポ 食べ物の鼻塩塩(未だに通じるのかな) オーベルジーヌというカレーをご存知だろうか 都内にあるデリバリー専門のカレー屋で、 ロケ弁などで大人気の本格欧風カレーが楽しめるらしい いいな〜 いいな〜オブザイヤー 都内の奴らはこんな良いモン食ってんのか 許せねえよ………

2007.05.04 日経平均を表示する テーマ：プログラミング言語 Python を使う(336) カテゴリ：Python 日経平均 や 東証株価指数 (TOPIX: TO-kyo- stock Price IndeX) の予測を行うのに、ベースとなる日経平均等、株価情報をどこからとるか考える。最低限、欲しいデータは次のもの。 始値 高値 安値 終値 （前日比） （出来高） 前日比のプラスマイナスは計算から求めることができるので必須ではない。出来高はあった方がよいが、出来高まで取れるところは限られているので（たとえば QUICK Money Life や ケンレミ株式会社の株式指標のページなら各種指標の出来高をまとめてとってくることができる）、第一段階では省略。 最初はなるべく単純なところから始める。よって、始値、高値、安値、終値のみでやってみる。実際のところ、それだけで予測ができれば誰