Amazonアソシエイトのレポートを分析する簡単なスクリプト「aarep」を公開しました 2017-08-14-1 [Programming][Affiliate][Release][Perl] 2017年の途中からアマゾンアソシエイトのレポート画面がリニューアルされました。 ダウンロードできるレポートデータのフォーマットも変更になりました。 当日の注文データも見られるのはありがたいのですが、過去データの分析がちょっとやりづらくなったとの意見もあり。 ということで、Amazonアソシエイトのレポートを分析する簡単ツール「aarep」を公開しました。 レポートデータ (CSV) を読み込んで集計するだけの Perl スクリプトです。 github に置きました。 詳しくはそちらをご覧ください。 aarep - Amazonアソシエイトのレポートを分析する簡単ツール なお、今回の aarep

同じ金額を持った人たちが一斉にランダムな相手に1ドルを渡すことを繰り返す Perl スクリプト 2017-07-11-2 [Programming][Algorithm][Perl] 元ネタはこちら。 「100人を部屋に集めてお金をランダムな相手に渡し続ける」とだんだんと貧富の差が生まれる - GIGAZINE プログラム書いて実験してみた。 ■コード(rand-ageru.pl) #!/usr/bin/perl use strict; use warnings; use List::Util qw(min max); my ($num, $loop_max) = @ARGV; my @money = ($num) x $num; for (my $loop = 1; $loop <= $loop_max; $loop++) { for (my $from = 0; $from < $nu

【Perl】シリーズものをタイトルだけみて巻数順にソートする 2016-12-12-1 [Perl][Programming][NLP] タイトル文字列だけを使ってシリーズもの（本やDVDなど）を巻数順にソートする方法のメモ。 なんの新規性もない昔から使われている雑なロジックだけど、だいたいはこれで用をなす。 ソートに使う巻数（または年月日）表示の文字は0から9までの10種類。 全角も対象。 テストデータ (test.txt)： ごじょかいは誤じょ解 10 ごじょかいは誤じょ解 4 ごじょかいは誤じょ解 6 今日のステマ料理(10) 今日のステマ料理(1) 今日のステマ料理(5) 今日のステマ料理(11) 暗黒歴史のダイアリー １ 暗黒歴史のダイアリー ２ 暗黒歴史のダイアリー １３ 週刊漫画ＧＯＪＯ　２０１６年１１月号 週刊漫画ＧＯＪＯ　２０１６年１２月号 週刊漫画ＧＯＪＯ　２０１６年９

【Perl】ファイルリストからあるIDが最初に登場したファイルと最後に登場したファイルを得る 2016-03-23-2 [Programming][Perl] ログの処理でよくやるやつを未来の自分のためにメモ。 ファイルリストからファイル中のあるIDが最初に登場したファイルと最後に登場したファイルを得る。つまりは、滞在期間・活動期間を取り出すタスク。 入力ファイルリストを入力とするファイルは時間順に並べられているファイルフォーマットはTSV形式で各行の第一カラムをIDとする出力IDごとに初登場と最終出現のファイル名を出力ファイルリストの最後のファイルに出現している場合は今後も続く可能性があるのでフラグを立てる ■コード (lifespan.pl): #!/usr/bin/env perl # -*- coding: utf-8 -*- use strict; use warnings; #

【Perl】1行目がタイトル（ラベル）になっているTSVデータにハッシュでアクセスする 2016-03-18-2 [Programming][Perl] よくやってるどうってことのない処理のエッセンスだけサンプルプログラムにまとめて、未来の自分のために載せておく。1行目がラベル行になっている、ものすごくカラムが多いTSVについてプログラム中で処理するときに、カラム指定を文字列（ラベル）で行う例。 ■コード (read-tsv-label.pl): #!/usr/bin/env perl # -*- coding: utf-8 -*- use strict; use warnings; my @lines; my %dat; my @lbs; # ラベル行のラベルたち while (<>) { chomp; my @F = split(/\t/, $_); if ($. == 1) { #

Kindleの日替わりセール品のASINを得る方法 2016-01-27-2 [Programming][Kindle] Kindle日替わりセールの本日のセール品について。 Amazon.co.jp: Kindle日替わりセール: Kindleストア いろいろ試してみたんだけど、どうやら Amazon API (PAAPI) では取れなさそう。BrowseNodeId は 3338926051 だと分かっているんだけど、それをキーに BrowseNodeLookup しても（ResponseGroup を NewReleases や TopSellers にしてみても）結果が帰ってこない。そもそも空なんだよね。特殊なカテゴリということかと。 「Kindle人気雑誌99円均一セール」 ＝＞ 取得できる ... &Operation=BrowseNodeLookup&ResponseGrou

【WebAPI】住所の一部を検索キーワードとして緯度経度を得る【Perl】 2016-01-13-1 [YahooHacks][WebAPI][Programming][Perl] かなり前に作った、キーワード（住所の一部）を入れると緯度経度を返すコマンドラインスクリプトを整理して公開しときます。YOLPのジオコーダAPIを叩いているだけのサンプルプログラムです。実行にはアプリケーションIDが必要です。 こちらの「ジオコーダAPI」では住所の一部に対してのみ情報を返します。 - YOLP(地図):Yahoo!ジオコーダAPI - Yahoo!デベロッパーネットワーク http://developer.yahoo.co.jp/webapi/map/openlocalplatform/v1/geocoder.html 「コンテンツジオコーダAPI」はそれにプラスしてランドマーク名にも対応してい

Perl の正規表現の「名前付き捕捉」がとても便利 2014-08-07-1 [Programming] Perlの正規表現で「名前付き捕捉」を使うと、マッチした部分に名前をつけておけるのであとから参照するときに便利。 「(?<name>...)」でマッチさせると、ハッシュ「%+」に保存されて、「$+{name}」でアクセスできるのです。同じ正規表現内では「\g{name}」など。 サンプルプログラムです。日付表現にマッチしたら、年、月、日をそれぞれ別途格納。そしてそれを正規化して出力。 サンプルプログラム： #!/usr/bin/env perl use strict; use warnings; while (<DATA>) { chomp; if (m{ (?<Y>[0-9]{4})\s?年\s? (?<m>[01]?[0-9])\s?月\s? (?<d>[0-3]?[0-9])\s

【ベイズ】Naive Bayes（単純ベイズ）による文書分類のサンプルプログラム【Perl】 2013-07-26-1 [Programming][Algorithm][NLP] かなり昔に作った Naive Bayes（単純ベイズ）による文書分類のサンプルプログラムを整理したので公開しておきます。Perl で書かれています。Pure Perl。 Naive Bayes についての詳細は下記のサイトをどうぞ。 - 単純ベイズ - 機械学習の「朱鷺の杜Wiki」 - Wikipedia:単純ベイズ分類器 さて、Naive Bayes で分類するときには下記の式を用いるわけです。 Pについての定義は下記： 実装を簡単にするために log をとって足し算にしています（argmax ですが実際はマイナスかけて argmin で実装）。 学習データ 分類したいカテゴリごとに1行。 各行はカテゴリのラ

WebAPIを駆使して東京電力使用状況メーターを作る！（Perl版とJavaScript版） 2011-04-02-1 [WebAPI][Programming] Yahoo!の電力使用状況API[2011-03-31-2]とGoogle Chart APIを使って「東京電力使用状況メーター」を作ることができます。 ムジログでPHPを利用した方法が解説されていました。 東京電力使用状況メーターをヤフーのAPIとGoogle Chartで作る方法 ([Mu]ムジログ) http://musilog.net/webdesign/my-works/tepco-graph.php というわけで、これを参考に Perl 版と JavaScript 版を作りました。メーターのデザインはムジログ版との互換性を保ちました（つまり、まるっきり真似しました、ということですw）。 Perl 版「東京電力使用状況

ApacheでのCGIの動作テスト 2006-11-02-1 [Tips][Programming] ApacheでCGIを動作させられない、と某氏がはまってた。 Apacheの設定を怪しんだが、結局はCGIスクリプトがエラー吐いてただけ。 いきなり複雑なCGIスクリプトでテストすると、設定が原因になのか スクリプトが原因なのかごちゃまぜになって分からなくなるので、 必ず動作する簡単なテスト用CGIスクリプトでまずは試そう！ 下記のようなテスト用スクリプトくらいはソラで書きたい。 「cat > test.cgi」して、打ち込んで Ctrl-D して、 「chmod a+x test.cgi」するだけ。 #!/usr/bin/perl print "Content-Type: text/plain\n\nHELLO\n";

巨大なテキストファイルをブラウザで覗き見するための簡単な CGI 2011-03-08-2 [Programming] 何かのタスクの出力結果として巨大なテキストファイルが得られたとします。これが手元の UNIX 環境に置いてあるだけなら less コマンドや head, tail コマンドでさらっと中身を覗けます。 しかし、他の何人かで共有して中身を軽く確認してもらいたいという場面があります。IT系でない人に見てもらいときなどはいろいろと大変です： (1) データの置いてあるサーバにログインしてもらう→「アカウントない」「コマンドわからない」 (2) イントラのファイル共有→「ファイルが大きすぎて開けない」 (3) イントラWebサイトにアップロードしてブラウザで見てもらう→「IEが固まる」「PCが激重」 こういうときには100行くらいのページごとに表示するCGIが役に立ちます。昔からよ

インデックスを使った指定行取り出しプログラム(Pure Perl) 2010-08-10-1 [Programming][Algorithm] テキストファイルから指定した行を取り出すタスクについて。 頭から走査する方法 まずはファイルの頭から走査していくナイーブな方法。 ■コード（getline-naive.pl）： #!/usr/bin/perl use strict; use warnings; my $qidx = shift @ARGV; # start from 0 my $tgtfn = shift @ARGV; open(my $fh, "<", $tgtfn) or die; while (<$fh>) { next if $. != $qidx + 1; print; last; } close $fh; 先頭行は0行目になる仕様。 ■実行例： % cat test.d

誤り許容カウント法(lossy count method)のサンプルプログラム 2010-05-12-1 [Programming][Algorithm] 1行1ラベル形式で、 1万種類のラベルを持つ、 100万行のデータがあるとします （ラベルの頻度分布はジップの法則にだいたい準拠するとします）。 各ラベルの頻度をハッシュを使ってカウントするとなると、ハッシュエントリ1万個分のメモリ容量が必要になります。（1万じゃたいしたことないな、という人はもっと大きな数に置き換えて読んでください。） しかし、カウント後に高頻度のものしか使わないということも多いと思います。例えば頻度5000以上のもののみ取り出してあとはいらない、とか。 そうなると、全部のラベルのカウントデータを最後まで保持するのは無駄に思えます。 そこで登場するのが「誤り許容カウント法(lossy count method)」。 低

tumblr に自動投稿するプログラムの雛形 2010-02-19-1 [Programming][WebAPI] 様々な「ログ」を蓄積する場所として tumblr を活用していこうと考えていて、まずは tumblr に投稿するプログラムの雛形を作った。言語は Perl。 #!/usr/bin/perl use strict; use warnings; use HTTP::Request::Common; use LWP::UserAgent; my $api_url = "http://www.tumblr.com/api/write"; my $email = '[email protected]'; my $password = 'PASSWORD'; my $group = "ytotumblrapitest.tumblr.com"; my $date = "2010-01-01";

入力された名前で適当に成分分析するロジック 2010-02-08-1 [Programming] 一時期流行した「○○成分分析」を簡単に実現する方法。 サンプルとして perl のコード片で解説する。 コード（seibun.pl）： #!/usr/bin/perl use strict; use warnings; use utf8; use Encode; use open ':utf8'; binmode STDIN, ":utf8"; binmode STDOUT, ":utf8"; my @data = ( ["パン", 37], ["甘夏", 19], ["苺", 41], ["納豆", 23], ["LOVE", 31], ); while (<>) { chomp; my $r_ref = name2seibun($_, \@data); foreach my $i (@$r

幅優先探索で迷路の最短経路を探す 2010-01-14-4 [Algorithm][Programming] 迷路の最短経路を探すプログラムを作成するという問題について。 - 人材獲得作戦・４　試験問題ほか (人生を書き換える者すらいた。) http://okajima.air-nifty.com/b/2010/01/post-abc6.html これは単なる幅優先でOKですね。 足跡を記録していき、すでに別の子が通った道にぶつかるか（足跡の有無で判定）、行き止まりに到達したら枝狩り。 幅優先なんだからこれで見つかるのが最短経路。 後からの「最短性のチェック」は不要です。 「アルゴリズム知らないとできない」とか以前の問題で、正式にプログラミングの基礎を学んだ人ならできて当たり前の問題です。ピンと来ない人は、ポインタわからない、再帰わからない人と同列かなあ。 バリバリプログラミングからは一線

頻度君(hindokun)をリリース 2010-01-13-2 [YahooHacks][Programming][Release] 頻度を調べるだけのネットサービス「頻度君」をリリースしました。 使用している Web API の提供が終了となったため、現在動作しません。ご了承ください。 頻度君(hindokun) http://yapi.ta2o.net/hindokun/ ネットサービスというよりも、 Yahoo!API の使い方のサンプル、デモですね。 キーワードを入力し、 改行またはボタンをクリックすると、 その検索結果数（頻度）が Ajax で動的に表示されます。 結果は行として追加されていきます。 左の「x」をクリックするとその行を消すことができます。 § JavaScript から呼び出している CGI (webfreq.cgi)は、YDN のウェブ検索APIを呼び出して検索

Perl による自分用 Amazon Product Advertising API proxy「PAPAXY」 2009-08-01-1 [Programming] Amazon API の大掛かりな仕様変更[2009-05-09-1]まであと半月。 みなさん準備はどうですか？ 私は、アマゾンAPIを使っている個別サービスの数が多いので、まずは Perl で自分用 Amazon Product Advertising API proxy CGI を作って当面の対処をすることにしました。 名前は PAPAXY（パパクシィ）。 「Perl Amazon Product Advertising api proXY」の略です。 テキトー 今までの amazon api の URL、 http://webservices.amazon.co.jp/onca/xml?... のかわりに下記のように自