Webスクレイピングする際の注意事項とルールについてまとめました。 【Webスクレイピング】主な注意事項 Webスクレイピングを行う際の注意事項をまとめてみました。 ● サイトに記載されている利用規約等に従って利用する。 →スクレイピングが禁止されていれば行わない。 →スクレイピングしたデータを利用するときもルールに従う。 ● 「robots.txt」「robots metaタグ」「HTTPヘッダーのX-Robots-Tag」に記載されているクローラーに対するルールに従ってアクセスする。 ● rel=”nofollow”があるaタグのリンク先はクロールしない。 ● サーバにアクセスする間隔時間を開けて高負荷をかけないようにする。（ネット上では最低1秒以上？という情報が多いですが、利用規約その他のルールがあればその指示に従いましょう）

面倒なルーチンワークはcronにお任せ cronとは定期的にコマンドやスクリプトを自動実行するための機能です。 定期的なバックアップ、データベースの最適化、ウイルススキャンの実行など、人の手で行うのが億劫な処理を一手に引き受けてくれる、ありがたい存在です。 cronの動作確認 crondというプロセスで実行されます。通常はLinuxの起動と同時に実行されています。 crondの実行プロセスを確認 # service crond status crondの起動 もし起動していない場合は以下のコマンドで起動しておいてください。 # service crond start cronの自動起動の確認 3番がONになっているか調べます。 # chkconfig --list crond cronの自動起動の有効にする もし有効になっていない場合は以下のコマンドで自動起動を有効にします。 # chkc

怠け者視点から見る季節の巡りというのはとても早いもので、今年は何か新しいことにチャレンジしようと思い、年明けから「よし、今年は頑張る！」と言い続けていた台詞が、もう「よし、今年度から頑張る！」に変わってしまう季節になってしまいました。 そんな自堕落な人生を打開すべく、または春の陽気につられて、おもわず「よし、Ubuntuでゲームでも作ってみるか！」と意気込んでしまった方も、世の中少なからずいるのではと思います。 今回は、マルチメディアAPIライブラリSimple DirectMedia Layer（SDL）を使用したゲームを作るための、開発環境構築レシピをお届けします。 Simple DirectMedia Layerライブラリとは Simple DirectMedia Layerライブラリは、グラフィックやサウンドなどのマルチメディア関連のAPIを提供するライブラリの一つです。次の補助ラ

Googleアカウントのメールアドレスは、Googleの提供する各種サービスで共通して用いるメールアドレスで利用場面は多いものです。ウェブ開発者のトム・アンソニーさんが、Googleがリダイレクト用に添付するパラメータを利用して、ページにアクセスしたユーザーのGoogleアカウント用メールアドレスを特定できる手法をブログで公開しています。 How to confirm a Google user's specific email address (Bug Bounty Submission) - Tom Anthony http://www.tomanthony.co.uk/blog/confirm-google-users-email/ Googleのログインページでは、ログインしたあとにトップページではなく元のページが表示されるようリダイレクトするためにURLに「continue」パラ

講演や会議などで、その場の音声を録音して後に残しておきたい時ってありますよね。その時に実際に発言している部分だけを録音することはエスパーでもない限り無理です。録音した音声を後から聞き直すと、音声の合間に無駄に無音部分が残っていたりします。 こういったムダを省くため、録音した後で、喋っていない無音部分だけを削除して、不必要な部分を省いた音声ファイルを作りたい時に、無音部分をカットする作業を手作業で行ってしまうと非効率的です。 もっと効率的に無音部分を取り除くためには、ソフトなどで自動化したほうが効率的です。 無音部分を根こそぎカット出来る「MuonCut」 通常ネットに多く出回っている無音部分をカットするフリーソフトは、音声の開始部分と終了部分の無音部分をカットするだけのものが多く、途中の無音部分を削除してくれないのでいまいち使えなかったりします。これでは困りますね。 MuonCutの詳細情