はてなブックマーク

シェルスクリプトとawkによるデータ解析 2006/01/10 筑波大学農林工学系 西田顕郎 はじめに テキスト形式の数値データの処理・解析には、awk+シェルスクリプトが最強である。誇張ではない。これまでエクセルやC言語、FORTRANなどしか知らなかった人には、ぜひawk+シェルスクリプトの世界を体験して欲しい。気象データなど、大量のテキスト形式数値データをいじる人には、人生の転換点と言えるほどの衝撃が待っている。 なお、awk+シェルスクリプトの使用環境は、当然ながらUNIXシェルである。Windowsユーザーは、Cygwinで擬似的にUNIXシェル環境を構築してください。 参考になるページ こことか こことか awkとは? awkは、テキストデータの1行づつに対して処理をする、プログラミング言語(スクリプト言語)である。コンパイルは必要ない。UNIXのコマンドラインの出力に、パイプ

2010/02/28 筑波大学農林工学系　奈佐原（西田）顕郎 TeXとは？ TeX (テフまたはテックと読む)は、「きれいな文書」を作るためのソフトウェアの一つである。以下のような特長がある： オープンソース（なので無料）である。 数式の表現は他のどのようなソフトよりも強い。 レイアウトの自由度が極めて高い。 出力の品質が極めて高い。そのまま本として出版できる。 図表や式の番号、索引などを、整合性も含めて自動的に管理してくれる。 たいていのOS (Linux, Macintosh, Windows, FreeBSD, ...)で使える。 そう、何もかも素晴らしいのである。しかし、難点もある。TeXには「慣れ」が必要なのだ。というのも、TeXは、一般のワープロソフトのように「見た目」で編集することはできず、そのかわりに、何もかもコマンドで表現するのだ。 例えば、以下のような数式（皆さんご存知

このサイトは更新終了し, こちらに移行しています。 UNIX入門 筑波大学農林工学系 奈佐原(西田)顕郎 わからない言葉に出会ったら・・・GoogleやYahoo!などの検索エンジンで調べてみよう！ UNIXとは? UNIXは、計算機の基本システム(OS)の一種である。 パソコンのOSとしては、Microsoft社のWindowsが有名だが、大形計算機やネットワークサーバーのOSとしては、UNIXが圧倒的に多い。また、科学計算用の様々なシミュレーションプログラムはUNIXを前堤に作られていることが多い。 UNIXにはいろんな種類がある。Apple社のMacintoshというパソコンのOSである"MacOSX"も、UNIXをベースにしている。以前は、UNIXは高級な計算機でないと使えなかったが、1990年代に、ふつうのパソコンで無料で使えるUNIXが開発され普及した。その代表がLinux（リ

2011/02/03 筑波大学農林工学系 奈佐原(西田)顕郎 このサイトは、初心者にUNIXの初歩を、短時間で習得してもらうことを目的にしています。筑波大学の生物資源学類や環境科学研究科の授業で使ってきた教材です。 UNIXは、Windowsのように「直観で」「使っているうちに」「なんとなく」わかるようなものではないので、多くの人には「とっつきにくい」と言われることもありますが、基礎をきちんと学び、重要な概念や重要なコマンドをいくつか覚えれば、そんなに難しいものではありません。 ちなみに、この入門コースをWindowsでやりたいという人は、CygwinをWindowsにインストールするとよろしい。Cygwinは、Windowsの上で動く、UNIXとよく似た環境です。詳しくは、こちらを参照してください。 超初級コース まずUNIXをいじれるようになりましょう。ほとんどの人にとって、30分あれ

UNIX (Linux)も、WindowsやMacintoshなどと同様に、GUI (graphical user interface)で様々な操作をすることができる（例えばウェブブラウジング、メール、画像編集、ワープロ、表計算、プレゼンソフトなど）が、Linuxの真価は、CUI (command line user interface)にある。キーボードからコマンドを打ち込んで操作するのである。 CUIのための環境を、コンソールとかターミナルとかコマンドプロンプトと呼ぶ。コンソールは、GUIとは全く別個に独立に動くことができるが、一般的には、GUIのための環境（ウィンドウマネージャという）の上に呼び出して使われることが多い。ここでは、そのようにしてLinuxのコンソールを呼び出してみよう。 マウスで、画面左上の「アプリケーション」から「アクセサリ」「GNOME端末」を選ぶ（下図参照)。「

筑波大学農林工学系 奈佐原（西田）顕郎 注: このサイトで学ぶには, C言語とUNIXの基礎知識が必要です。適宜, こちらやこちらを参照してください。 目次 はじめに 準備 画像データの基礎知識 画像のフォーマットに関する実習 C言語による画像処理: 画像の切り出し C言語による画像処理: 画像の左右反転・上下反転 C言語による画像処理: 画像の右90度回転 C言語による画像処理: 色チャンネルの抜き出し, 色の入れ換え, 明るさの反転 C言語による画像処理: 明るさの調整・GIFアニメ C言語による画像処理: フォールスカラー画像 GRASSによる画像解析 任意の角度の回転 複数の画像の, 位置ズレ・角度ズレの補正とマッチング 便利なツール1: ImageMagick シェルスクリプトによる大量処理 便利なツール2: ImageJ JPEG画像の読み書き jpeg_test_io.c .

奈佐原（西田）顕郎 (Kenlo Nishida NASAHARA) 筑波大学　生命環境系　准教授（2008/11/01-） 注: KenroでなくてKenloなのは、英語や仏語での発音しやすさ故です。 English Page [連絡先] 〒305-8572　つくば市天王台1-1-1　電話・FAX：029-853-4897　電子メール： nasahara.kenlo.gw (at) u.tsukuba.ac.jp オフィス：　生物農林学系棟B221 / 生物農林学系棟E104　(経路) [所属] 筑波大学 生命環境系 ... 教員の組織。公式の所属はここ。ここから各教育組織に派遣される。 [出先] 筑波大学 大学院生命環境科学研究科 ... 教育組織。この下にいっぱい専攻がある。 [出先] 筑波大学 大学院生命環境科学研究科 環境科学専攻・持続環境学専攻 ... 教育組織。上の研究科の下

シェルスクリプトとawkによるデータ解析 2006/01/10 筑波大学農林工学系 西田顕郎 はじめに テキスト形式の数値データの処理・解析には、awk+シェルスクリプトが最強である。誇張ではない。これまでエクセルやC言語、FORTRANなどしか知らなかった人には、ぜひawk+シェルスクリプトの世界を体験して欲しい。気象データなど、大量のテキスト形式数値データをいじる人には、人生の転換点と言えるほどの衝撃が待っている。 なお、awk+シェルスクリプトの使用環境は、当然ながらUNIXシェルである。Windowsユーザーは、Cygwinで擬似的にUNIXシェル環境を構築してください。 参考になるページ こことか こことか awkとは? awkは、テキストデータの1行づつに対して処理をする、プログラミング言語(スクリプト言語)である。コンパイルは必要ない。UNIXのコマンドラインの出力に、パイプ

ファイルの命名と整理のルール 2003/03/05 西田顕郎 / 2009/05/12 奈佐原顕郎 / 2010/09/10 奈佐原顕郎 計算機上で、大量のデータファイルを扱う仕事をする場合、効率を大きく左右するのがファイルの命名規則や整理方針である。にもかかわらず、それらについて、一般的なルールや教育文化はほとんど存在しないので、我々はそれぞれ独自に試行錯誤しながら良い方法にたどりつこうとするのだが、これは明らかに無駄なことだろう。すくなくとも、大学の卒業研究などで、こういう観点に付いてあらかじめ教育を施す必要がある。 ファイルの命名規則 簡潔 ファイル名は、十分な情報を含むならば、なるべく短いほうがよい。それだけでも管理の手間が省ける。たとえばCUIの場合、コンソールでファイル名を長々と打ち込むのはつらいし間違いを起こしやすいし間違いを見付けにくい。タブキーでファイル名の入力補助をして

GRASS GISについて 筑波大学農林工学系 西田顕郎 注意：　今後はこちらに統合・移行します。 注意：　ここで書かれていることは、筆者が個人的に体験したことのみであり、一般性や正確性に関しては責任を負えない。また、GRASS開発プロジェクトチームの見解とは一切関係がないことは言うまでもない。 もくじ GRASS GISとは? GRASSのインストール Ubuntu Linux FedoraCore Linux Vine Linux RedHat9 Linux Windows+Cygwin メモ データの読み込み SRTM(スペースシャトルによる数値地形モデル)データの読み込み ... 古い。今は専用コマンドr.in.srtmで読み込める。 測地系・投影法・それらの変換 空間補間 ... by 重藤くん 画像解析・データ解析 画像の出力 シェルスクリプトにGRASSコマンドを埋め込む(G

2007/08/17 西田顕郎 GNUPLOTはグラフ描画用スクリプト言語です。グラフかきツールは世の中にいっぱいあり、 中にはGNUPLOTよりも「使いやすい」ものもあるでしょうが、私はほとんどGNUPLOTしか使いません。理由は、 オープンソースだから。(どっかの会社の企業論理や栄枯盛衰、自分の財布の中身などにふりまわされなくてすむ) インストールが簡単で、どんなプラットフォームでもだいたい使える。（GMTとかはインストールがちょっと面倒） 歴史があって、「枯れた」ツールだから。(過去のノウハウが陳腐化しない・将来にわたって消えることがない) シェルスクリプトに埋め込むことができるから。(処理のパッケージ化・自動化・流用が可能) だいたい思い付く限りのどんなタイプのグラフも描けるから。 psやepsで出せば、そこそこ良い品質のグラフが描けるから。(TeXにも埋め込めるし) です。そろそ