はてなブックマーク

詳解 シェルスクリプト 作者: Arnold Robbins,Nelson H. F. Beebe,日向あおい出版社/メーカー: オライリージャパン発売日: 2006/01/16メディア: 大型本購入: 6人 クリック: 193回この商品を含むブログ (39件) を見る パラパラ読んでいたら結構知らないことがあったので、五月雨でメモしていこうと思います。 まずはこれです。パイプで受け取った入力をシェルコマンドとして実行。*1 echo 'hoge foo var' | sed 's/^/mkdir /' | sh -x これは以下と等価です。 mkdir hoge foo var sedで加工してから渡す用法は実用で使う場面が十分ありそうですね。 *1:「-x」はトレース出力なので付与しなくても可です。

自分用のツールなど規約のないものなら、処理文の短い分岐は一行で書いたりします。 #!/bin/sh target=./hoge.txt if [ -f ${target} ]; then rm -f ${target} ;fi 追記：(2/4) コメント欄でもっとcoolな書き方を教えていただきました。ありがとうございます！ [ -f $target ] && rm -f $target 追記：(2/13) こんなのもありなんですね。まるで三項演算子みたい。 [ $hoge = $foo ] && echo "true" || echo "false"

ApacheのVirtual Hostで特定のドメインのみ、Tomcat連携する設定のメモです。 もろもろのバージョンによって設定方法は異なりますが、今回設定を行ったのは以下の環境です。 Linux centos 2.6.9 Apache 2.0.59 Tomcat 5.5.12 Apache Tomcat Connectors JK(mod_jk) 1.2.26 httpd.confを以下のように設定します。*1 <virtualhost *:80> ServerName example.com DocumentRoot /var/www/example/htdocs ・・・中略・・・ <Location "/java/*"> JkUriSet worker ajp13:localhost:8009 </Location> </virtualhost>上記はexample.com/jav

シェルスクリプトを自発的に書くことはあまりありませんが、既存のシェルスクリプトをメンテする事はよくあります。 普段あまり書かないだけに「あ・・あれシェルだとどうやるんだったっけ（また忘れた・・）」みたいなことになりがちです。そのうちのひとつが「substrみたいなことってどうやるんだっけ？」とかそういうごく基本的な事だったりして。 毎回、調べたあとで「ああー、そうだった、そうだった！」というのを繰り返している自分がとても悔しいです。 #!/bin/sh str="1234567890" result=`echo $str | cut -c 3-7` echo $result 実行結果 34567追記（2009/07/15）： コメントで教えていただいたやり方です。こちらの方がsubstrっぽいですね。 str="1234567890" echo ${str:2:5} そのまま転載というのも

JavaのSocket周りでは割とよくある感じですが、以下のコードだとconnectもreadもデフォルトで無限に待ち続ける挙動をします。 BufferedImage image = ImageIO.read(new URL(url).openStream()); Javadocをみると以下の通り。 Opens a connection to this URL and returns an InputStream for reading from that connection. This method is a shorthand for: openConnection().getInputStream()実際、jdk1.6u18のソースを見るとopenConnection()してすぐにgetInputStream()しています。 public final InputStream ope

以下の通り、同じ文字を表現しているにも関わらず、文字コードが異なるケースが発生します。 [webmaster@localhost work]$ nkf -w sjis.txt > utf8.nkf.txt [webmaster@localhost work]$ od -tx1 utf8.nkf.txt 0000000 e2 88 92 e3 80 9c 0000006 [webmaster@localhost work]$ vi utf8.term.txt [webmaster@localhost work]$ cat utf8.term.txt −〜 [webmaster@localhost work]$ [webmaster@localhost work]$ [webmaster@localhost work]$ od -tx1 utf8.term.txt 0000000 ef bc

twitterのfriend timelineのログをファイルベースでログとってたら*1、気がつくとarchiveのディレクトリに5万件超のファイルが蓄積されていました。 これだけの件数のファイル群はrmコマンドで一気に消そうとしても、消せません。 -bash-3.00$ rm * -bash: /bin/rm: 引数リストが長すぎますこの引数リストの長さの上限はARG_MAXというマクロ定数で定義されているようです。 -bash-3.00$ getconf ARG_MAX 131072ARG_MAXの制限により、コマンドに渡す引数が（うちの環境では）131072byteを超えてしまうと上記のエラーになってしまいます。この場合は一つのファイルが「786587805」のような名前で保存されている為、5万件超のファイルを指定する「*」のファイルグロブが展開されたファイルリストの文字列が余裕で1

たまに使うのでメモ。 #!/usr/bin/perl # read csv file to array in array use strict; use warnings; use Fatal qw/ open /; my $csv_file = "./test.csv"; my @csv = &readCsvFile($csv_file); print $csv[0][0]."\n"; print $csv[1][1]."\n"; print $csv[2][2]."\n"; sub readCsvFile { open(IN, $_[0]); while(<IN>) { chomp; push @csv, [ split(/,/) ]; } close(IN); return @csv; }このようなcsvファイル（test.csv）だと id001,09000000001,hoge@

java.util.List型（ArrayListでインスタンス化）コレクションを全要素取得するような処理の以下の3つについてパフォーマンスを比較してみました。 get(index)でアクセス Iteratorを取得して使用 拡張for文 なお、比較には拙作のツールを使用しました。 http://sourceforge.jp/projects/java-cpt/wiki/FrontPage import java.util.ArrayList; import java.util.Iterator; import java.util.List; import jp.sourceforge.javacpt.ComparativePerformanceTest; import jp.sourceforge.javacpt.ComparativePerformanceTestHelper; pub

シェルスクリプトでftp転送する処理のサンプル。メモ。 #!/bin/sh DATE=`date '+%Y%m%d'` tar cvfz ${DATE}.tar.gz ./hoge ftp -ivn 192.168.11.11 << __END__ user username password bin # バイナリ転送モード passive # パッシブモードoff cd /foo/var put ${DATE}.tar.gz quit __END__ファイル転送時にはascii/binaryの転送モードに注意です。 例えば、tar.gzファイルの転送で、転送先で解凍しようとしてこんな感じにメッセージが出て tar: 次のヘッダをスキップします tar: アーカイブに廃れた base-64 ヘッダが含まれています gzip: stdin: invalid compressed data--

拙作のCPANモジュールであるLog::Facileのアップデートにあわせてコードの整形にperltidyを使ってみました。 普段ついつい徹底できないですが、読むときはGNUコーディングスタイルが好きなので、-gnuオプションで。こういう作業は機械的にやる方がいいと感じました。 http://search.cpan.org/~sera/Log-Facile-1.03/ 導入は簡単です。インストールはcpanシェルから以下の通り。 cpan[1]> install Perl::Tidy整形したい対象のファイルを引数に実行します。 [webmaster@localhost work]$ perltidy -gnu lib/Log/Facile.pm対象を直接書き換えるのではなく、ファイル末尾に「.tdy」が付与されたファイルが出力されます。 [webmaster@localhost work]

こちら経由でこのエントリで知りました。 プロセスをgrepするときに ps -ef | grep hoge | grep -v grepってやるのはださいので、代わりに ps -ef | grep [h]ogeってやれば同値だよという。*1 [ と ] で囲まれた文字のリストは、そのリスト中に含まれるどれか 1 文字にマッチします。 http://www.linux.or.jp/JM/html/GNU_grep/man1/grep.1.html [h]ogeのマッチする文字列は「*hoge*」になるので、引数である「[h]oge」はアンマッチになります。 こういうのって実際に見てしまえば簡単ですが、自分で思いつくのはなかなか。 *1:はじめ、作業中によくやる自UNIXユーザ名のgrepで試して、grepのプロセスも含まれてしまって「あれ？」とかなってた・・これはさすがにgrep -v gr

「なんか急にFirefoxの動作が鈍くなったな」と思っていたところ、いつの間にかJava Quick Starterなるアドオンが勝手にインストールされている事に気づきました。 そういえば、さっきJREの自動アップデートを受け入れたのでした。そのタイミングでアドオンも自動でインスコされていたみたいです。 ググると同じ事象が。 http://d.hatena.ne.jp/rhiannon/20090105 上記からもリンクされていますが、公式のドキュメントは以下。 http://java.com/ja/download/help/quickstarter.xml 普通のアドオンなので無効化すればいいだけです。アドオンを無効化してFirefox再起動した後にコンパネからどうこうという手順をやろうとしたら、すでにチェックは外れていました。 しかし、当方の記憶が正しければ、JREのインストール時に

Catalystのログイン認証処理を書いてみました。 ドキュメントはここを見ればOKです。 http://search.cpan.org/~mramberg/Catalyst-Runtime-5.7000/lib/Catalyst/Manual/Tutorial/Authentication.pod OKなんですが、ここにあるサンプルではログインしていないゲストユーザは強制的にログイン画面へリダイレクトするようになってたりします。 「ゲストユーザの人にもサイトの内容を閲覧して欲しい」という場合を想定した一般的なログイン処理のサンプルをつくってみました。 ここにあるサンプルはベーシック認証です。ダイジェスト認証は上記リンク先ドキュメントに説明があるのでそちらを参照して下さい。 ＃以下のサンプルはCatalyst5.70、DBはMySQLを使用しています。 まずユーザ管理のテーブルを作成します

夜中に突然自鯖がウィーンと唸り出したので、vmstatとか見たら案の定cpuのidleが0になっていました。 topコマンドで見るとmakewhatisという見慣れないプロセスがゴリゴリ動いています。 -bash-3.00$ ps -ef | grep makewhat root 15448 15447 0 04:22 ? 00:00:00 /bin/bash /etc/cron.weekly/00-ma root 15449 15447 0 04:22 ? 00:00:00 awk -v progname=/etc/cron.weeklyme {????? print progname ":\n"????? progname="";???? }???? { pri root 15451 15448 6 04:22 ? 00:00:10 /bin/bash /usr/bin/makewha

うちの自宅のサーバはもっぱらCentOSなのですが*1、CentOS4.5を入れた直後のまっさらな状態だとPerlのバージョンは5.8.5です。 いろいろ不都合なので新しいサーバの環境を整えるときはまずは5.8.8にバージョンアップします。 せっかくyumがあるのでできればyumでさらっと終わらせてしまいたいところです。 が、そのままの状態で yum update perlとやっても参照しているレポジトリのPerlが5.8.5が最新なので5.8.8にあげることはできません。 その前に以下のファイルの編集が必要。 vi /etc/yum.repos.d/CentOS-Base.repoで「enabled=0」を「enabled=1」に変更します。（二箇所あるので両方とも） その後、再度yum update perlとやれば5.8.8で更新が始まります。 *1:仕事でRHELが多くて慣れている

以前、ありもののSpringを使ったアプリケーションを触った事はあったのですが、自分で1から導入して使っていくというのはやった事がなかったので、いろいろ試しています。 以下は「Hello World!」だけの薄い内容ですが、むしろその方がとっかかりでひっかかってる方には助かったりするかもという事でメモを晒しておきます。 DIとかSpringとかの説明はググれば優れたものがたくさんありますので、そちらをご覧下さい。私は、DIについてはWEB+DB PRESSでの羽生さんの一連の解説記事をかなり参考にして学びました。 以下はEclipse上での作業です。 まず必要なライブラリは以下です。 spring.jar log4j-1.2.15.jar commons-logging.jar これらをSpringSample/libの下においてbuild pathに追加します。 log4j.proper

IO::Fileと普通にファイルハンドル使うのとどっちが速いのかなぁと思い、ベンチマークスクリプトを書いて試してみました。 Perlのバージョンは5.8.8です。 #!/usr/bin/perl use strict; use warnings; use IO::File; use Benchmark; my $file = "hoge.txt"; timethese ( 100000, { 'IO::File', '&with_IO_File;', 'FileHandle', '&without_IO_File;', } ); sub with_IO_File { my $fh = IO::File->new($file); push my @lines, $_ while <$fh>; $fh->close; \@lines; } sub without_IO_File { open

普段ping打つとかipconfig見るとかくらいにしか使ってないコマンドプロンプトを多用しなければいけないとき、「ls」や「pwd」でつっかかるのが結構ストレスになります。 doskey ls = dirこんな感じでUNIXでいうaliasを指定できますが、そのプロンプトが終了すると設定が無効になってしまうので、以下の解説ページを参考にレジストリ設定を行いました。 http://www.ne.jp/asahi/hishidama/home/tech/windows/cmd/cmd.html ちょっとだけ自分用にカスタマイズ。このbatファイルだと「pwd」でディレクトリ移動とかできてしまうんですが、個人的につい無意識に「pwd」を打つ癖があるので、無理やりな感じで入れてます。 cmd_init.batの中身 @echo off doskey cat=type $* doskey hist

Catalyst::Plugin::UploadProgressというCPANモジュールを使ってみました。 http://search.cpan.org/~agrundma/Catalyst-Plugin-UploadProgress-0.04/lib/Catalyst/Plugin/UploadProgress.pm 使い方は非常に簡単でexampleもついているので、ここで余計な説明は不要かと思います。詳細は上記のPODを。手軽にファイルアップロード時のプログレスバーが表示できて便利なモジュールだと思いました。 こんな感じにプログレスバーが表示されます。 ↑のキャプチャはcssをちょっといじって色を変えてあります。デフォのサンプルだともうちょっとブルーっぽい色になります。 AuthorのAndy Grundmanさんって、Catalystの開発者の方なんですね。

複数のCatalystアプリケーションを別々の名前ベースのvirtualhostで起動させようとしたところ、なんだかうまくいかなくて喫緊のタスクでもない（というか自宅での趣味プログラミングだし）のでとりあえず後回しにしていたのですが、httpd.confの設定を以下のようにすると普通に起動しました。 環境はCentOS4.5（i386）、Apache/2.0.52、Perl5.8.8。 NameVirtualHost *:80 PerlSwitches -I/var/www/Hoge/lib PerlModule Hoge <virtualhost *:80> ServerName www.hoge.net DocumentRoot /var/www/Hoge/root <location> SetHandler perl-script PerlHandler Hoge </locatio

コードリファレンス（orコードレフ）の基本的な使い方を学びました。とりあえずハッシュに格納して呼び出す感じです。 #!/usr/bin/perl use strict; use warnings; my %printer = ( with_nl => \&print_with_nl, without_nl => \&print_without_nl, all_capital => \&print_all_capital, ); sub print_with_nl { local $_ = shift; print /\n$/ ? $_ : $_."\n"; } sub print_without_nl { local $_ = shift; s/\n$//; print; } sub print_all_capital { local $_ = shift; s/(\w+)/\U$1/g;

久しぶりに書いたら、PIDの取得方法を微妙に忘れていたので、メモとして。 #!/bin/sh USER=`whoami` TARGET=hoge pids=(`ps -ef | \ grep ${USER} | \ grep ${TARGET} | \ grep -v grep | \ awk '{ print $2; }'`) for pid in ${pids[*]} do kill -9 ${pid} done

続・初めてのPerl 改訂版 作者: Randal L. Schwartz,brian d foy,Tom Phoenix,吉川英興,伊藤直也,田中慎司,株式会社ロングテール/長尾高弘出版社/メーカー: オライリー・ジャパン発売日: 2006/10/21メディア: 大型本購入: 9人 クリック: 389回この商品を含むブログ (99件) を見る Perlにおける関数引数は基本的に「参照渡し」だという事がちゃんと分かっていなかったというか、「続・初めてのPerl」の「リファレンス入門」を読んでいるうちに混同してしまっています。 #!/usr/bin/perl use strict; use warnings; my @array = ( "hoge", "foo", "var" ); my $ref = \@array; foreach my $tmp (@array){ print "be

デジカメで撮った動画をウェブサイトで視聴できるようにしたくて、flv再生用swfプレイヤーを探しました。 Google検索で多くひっかかったのはFlowPlayerとAny Flv Player。日本語でよく紹介されてるのはこの二つですね。 今回見つけたのがJW FLV PLAYER 3.11です。Jeroen Wijeringというオランダ人の方が製作し配布しているようです。 JW FLV PLAYERは基本的にJSで制御されていて、JSのオブジェクトをnewしてメソッドで設定値を渡すだけで簡単に設定を行うことができます。先取りで行うバッファリングの設定も秒単位で指定できるので、FlowPlayerのように複数のウィンドウでページロードがもっさりすることもありません。 導入は非常に簡単です。 まず、最新版をダウンロードし、サーバ上にアップロードします。ここではlib/jw_flvplay

FON経由だと、http://maps.google.co.jp/に接続できず、「サーバが見つかりませんでした。」のメッセージ（Firefox）。 しかし、http://maps.google.com/には接続可能であり、以上からgoogle.co.jpとFONの絡みで起きている（というかFONが原因と思われる）トラブルのようにみえるのだけど、どうなのか。 ググってみたが、同じ事象に当たることはできなかった。うーん、私の自宅の環境依存とは考えにくいのだが。。。 FONは日本進出直後から使用しているが、この事象が発生するようになったのはおそらくここ数ヶ月だと思う。私が気づいてからは一ヶ月くらい。 追記 検索ワードを「サーバが見つかりませんでした」「fon」にしたら以下のスレッドが出てきた。 http://groups.google.co.jp/group/Google-Maps-JP-Tro