「あ〜、インタプリタ言語飽きた。コンパイルしてぇ」と思っていたところ見つけたGo。あれから4年ほど経ちます。



当初 「mattn さんという超絶変態ハッカーが使ってるなぁ」くらいの印象でした。そして触り始めてからも「なんだこれ、オブジェクトじゃないの…？」「interface {}って… え、あとから自動的に紐尽くの…？」「なにこれ、ポインタレシーバーとby valueレシーバーで意味違うの…？」などなど色々と自ら真っ先に罠にかかり、穴にはまりまくって「この言語大丈夫か」と皆さんもそう思っていたかもしれませんし、僕もそう思っていたことがありました。

その後、自分が罠にはまるごとにあちこちで発表したりもし、pecoという思いがけないヒットを書いてしまったり、とにかく大量のGoコードを書き続けていくうちに…

Go言語は僕にとって既に無くてはならない存在になってしまいました。だって、コード書きやすいし、速いし、良いことづくめなんだもの。

そんなところで「本書くんだけど参加しない？」というお声がかかったのでめいっぱい手を上げて1章書かせてもらいました。それがこのほど予約開始になりました。（書影がまだないのが残念…）

みんなのGo言語【現場で使える実践テクニック】 [大型本]

Perlを10何年書いてからのGoで、なるほど、これは… という点は何個かあったのでどれをネタにしようか迷ったのですが、今回僕は"reflect"という黒魔術を採り上げさせてもらいました。

やはりPerlと来たら黒魔術でしょう。Goでは基本必要のないツールですが、必要になったらこれ以外方法がない、というreflect。いくつかのライブラリを書く際にはまりまくったその結果を共有させてもらったので、是非皆さんには僕のテツを踏まないでいただきたいと思います。

P.S. 今回以下のようなものも描かせてもらいました。どこで使われるかな？

Daisuke Maki@lestrrat

#gopher #golang https://t.co/dsb98bKLFp

2016/08/08 09:04:14

 

タグ ：

#golang

#book

moznion.hatenadiary.com

別にDocker使ったっていいんだけど、こっちでもできますよ、ってことで、Dockerもシェルスクリプトも使わない方法の説明。元記事を読んでわかるのは：

1. makeを使ってる
2. GOOS/GOARCHを設定してクロスコンパイルしている（gox等を使っていない）
3. Dockerであげた同一イメージ上で全てのクロスコンパイル結果を吐いている

ということなので、であれば別にローカルの環境でクロスコンパイルしても何の差もなさそう。別の環境をたててクロスコンパイルしたい場合もあるが、それは例えば cgoを使っている os.User 関連のコードをコンパイルするとか、そういう時だしその場合はそれぞれのプラットフォームごとに別のホスト上でコンパイルする必要がある。それをする必要がないなら go 1.5 以降であればもうGOOS/GOARCHを設定するだけで充分。

makeはプラットフォームごとの出力を作るなんてお手の物で、pecoではMakefile内でまず以下のように明示的に現環境でのGOOS/GOARCHを定義して、



必要な変数を与えてやれば適当なプラットフォーム用のバイナリを吐いてくれるルールを作ってる


このルールだけであとはこれを対象GOOS/GOARCHに対して実行するだけ。手動で実行したかったら "make build GOOS=darwin GOARCH=amd64"とかするだけ。でももちろんそんなことを手動で実行したくなりので、それを内包したルールを何個か作る。

以下ではループを使ってもいいんだけど、僕の「なんかまちがったのを設定した場合エラーになってほしい」というこだわりから全て別ルールにしてる



あとはこれを依存対象としたルールを作れば勝手に全部ビルドされる。以下の場合は"make all"とすれば全てのバイナリが作成される。もちろん一個だけ実行したい場合は"make build-darwin-amd64"とかを実行してもいい


こちらからは以上です

タグ ：

#golang

kubernetesを使い始めている。かなり良いのだが、それまでの非kubernetesの世界で使っていたconsulとconsul-templateに依存する形で動的な設定変更をしていて、それが常々不満だった。もちろんロードバランスしちゃえばよいようなものはkubernetesのServiceにしてしまってそこにアクセスするようにしちゃえば手間いらずなんだけど、memcachedとかが意外にこのパターンにはまらんなーと思って困っていた。そこで ちょっと手の空いた時にTwitterで以下のようにつぶやいたところ

Daisuke Maki@lestrrat

lazyweb: is there some sort of pub-sub mechanism to detect addition/removal of pods in #kubernetes ?

2015/08/11 13:23:56

すぐに返事が返ってきた

brendandburns@brendandburns

@lestrrat kubernetes supports watch, you can perform a watch on the list of all pods:

https://t.co/HiXdDHbByf

2015/08/11 13:38:02

お、それくさい！と思った物の、これどこにもドキュメントがないんだよね！そういうわけでとりあえず適当にクラスタを立ち上げてみて遊んでみようと思うのだが、あれこれどうやってGoogle Cloud Platform上で認証とかするんだ… 

ここから僕のyak shavingな旅が始まります。
 続きを読む

タグ ：

#kubernetes

#consul

#golang

ちょうど本業のほうでDBへのアクセスが遅い？んだかなんだかでREST APIがタイムアウトしている事象に出会っていたのでよっしゃとgo-sql-proxyを使おうと思ったのだけど、まずこのままだと実行時間とかが計測できない… ということに気づいて色々考えた結果PRを送る事にした。送ったら光速でマージされた。

今度から NewTraceProxyでプロキシを作れば Open/Exec/Queryに関しては所要時間が出力されるようになります。mysqlなら以下のような感じ：

driverName := "mysql"
if traceEnabled {
    driverName = "mysql-trace"
    sql.Register(driverName, proxy.NewTraceProxy(&mysql.MySQLDriver{}, logger))
}
db, err := sql.Open(driverName, dsn)
...

出力はこんな感じ：

tracer_test.go:27: Open (54.116µs)
tracer_test.go:27: Exec: CREATE TABLE t1 (id INTEGER PRIMARY KEY); args = [] (44.535µs)
tracer_test.go:41: Query: SELECT id FROM t1 WHERE id = ?; args = [1] (1.828µs)

わーい、これでボトルネック探すの捗るぞー！… と思っていたら、元々のNewTraceProxyのシグネチャが

func NewTraceProxy(d driver.Driver, o Outputter) *Proxy

で、これだと自前のloggerを受け付けてくれない！

type MyLogger struct { *log.Logger }

とかでも駄目だ！ということでインターフェースを定義してOutputメソッドを実装してればなんでもいいようにしておいたPRを送って取り込んでもらった。これで使えるようになった。YATTA!（けど、デプロイはこれからなのでまだなにか後で追加するかも…）

どちらのPRも光速でマージしてもらって大分たすかった。ありがとうございます。

タグ ：

#golang

#mysql

#db

grpcをさらっと触ってみた。僕の個人的な結論から言うと、小規模なシステムにはいれるメリットあんまりないけど、複数チームでわりとバラバラに開発をしてるけど同じRPCを叩く必要があり、なおかつそれなりのトラフィックがあるなら有効そう。

他の言語の事は知らん。とりあえずGoでさわる。github.com/grpc/grpc-commonをチェックアウトして、サーバーとクライアントを起動する。ドキュメント読んでるとProtocol Buffersの話とかでてくるけど、動かしたいだけなら全部忘れてよし。

$ cd go/greeter_server
$ go run main.go

$ cd go/greeter_client
$ go run main.go

これだけだと一回RPCが走るだけでつまらないので、client側を変えて100 goroutineでぼちぼちたっぷりのコールをするようにする変更した部分はこんな感じ。ローカルホストにサーバーもクライアントもある状態なので正直正しい計測ではない事はまず言っておく。その前提で ざっくり10000 jobs/sec。HTTP2のオーバーヘッドを含めてだいたいそんなものなのでまぁ悪くないな、って感じ。

と、ツイートしたら"net/rpcと比べてどう？"って聞かれたのでほぼ同じプログラムをnet/rpcで作ったところ、約25K jobs/secいけた。 というわけで生スピードでは負けてしまったが、プロトコルの複雑さの差分と、goのhttp2がついこの間作られたばかりであまり最適化されていない、というのがほとんどの原因だと正直思ってる。

この辺りの厳密な値はちゃんとサーバー立てて検証すべきだし、他の言語でも試すべきなので本当に雑談程度の認識にしておいてください。

それより、やはり方法論としてProtocol Buffersでプロトコルを定義してそれを複数言語用に自動生成できるのが強みかなーと思ってる。JSON Schema的な。あっちの大陸とこっちの大陸で作業してるチームがサーバー・クライアントのコードのひな形を簡単に生成して作業を始められるのは強いのではないだろうか。このコード生成をgoから試すにはgithub.com/google/protobufを入れた上でgithub.com/golang/protobuf/protoc-gen-go を入れる必要があるので注意。

以上、さわってみたエントリでした。

タグ ：

#grpc

#golang

godepというツールをpecoやmigemogrepに便利に使わせてもらってたんだけど、このたびカスタムなgoスクリプト（goだとスクリプトじゃないと言われそうだけど、スクリプトとしか言い様が無い）を書いてgodepを卒業しました。

 なんでこうしたかというとgodepの-copy=falseというオプションが使えなくなり、基本的に依存関係のライブラリもこちらのレポジトリに入れないといけない形になったから。いや、入れても良いけどさ… う〜ん。毎日ビルドして出荷してるわけじゃないし、それなのにレポジトリをcloneした時に依存関係も全部落とすのはなああああ、ということで、もう全部自前で書きました。

別にシェルスクリプトでもよかったんだけど、goのプロジェクトだし…ってことで全部goで書いて、wercker.ymlからこんな感じで呼び出すようにした。

それだけ。あとで「なんであんなことしてるの？」って聞かれた時用に書いておく。

タグ ：

#golang

今回の勉強会、自分的にも久しぶりに出る勉強会でもあるんだけど、なんと当方多分初めてPerl以外の話を（まともに）公でしてきました。資料は… YAPC後で上げます！ 

追記： ustの録画があるようです。最初の10分間は僕が主催者とだべってるだけなので飛ばしてください。あと残念ながら会場からの質問が聞こえないですが、まぁわかる…はず

今回はYAPC::Asia Tokyo 2014で話すネタの前哨戦という事で「そもそも俺の話したいネタに需要はあるのか？」とか「この内容でわかってもらえるのか？」とかを調べる意味合いもかねて話してきました。結果的には自分が喋りたい事を聞きたい人も一定数いることはわかったので大変よかった。

質疑応答を絡めた発表をやりたい！と思ってたんだけど、俺の今までのYAPCでの8年にわたる経験だと日本では誰も質問というか、発声をしないからそのまま始めたんじゃ質問は期待できないと思って、今回は冒頭に自己紹介をした後 まずまっさきに発声練習をしてもらった。本当はもう少し長めの文章を言って欲しかったんだけど、残念ながらそんな余裕がなかったので「Go大好き〜！」と叫んでもらいました。効果があったような気がするんだけど、どうだろうな。笑点の公開収録とかで前説の人いなかったらちゃんと拍手できなかったわーって俺いつも思ってたから効いたと思いたいｗ

 まぁその成果がでたのかどうかはわからないけど、かなり質問が来てちょっと時間オーバーしたくらいだったので意図としてはばっちりだった。時間制限の厳しいYAPCで同じテクニックを使うかどうかはまだちょっとわからない。

まぁともあれ自分的には手応えあったし、改善点とかも色々あったのですがすがしい感じで終えられました。尾藤さんありがとうございました！


あと今回僕の話に関してよかった・わるかった、どっちでもいいのでなんなりと感想があったらブログ等に書いていただけると大変ありがたいです。Twitterにあがっているもの以上のつっこんだ意見とか聞きたい！よろしくお願いいたします。 

タグ ：

#golang

さきほどちょろっとアップデートが入ったpeco v0.2.2をリリースしました（Changeログ）。

で、ついでに昨日mattnさんがpecoについてツイートしてたので流れてしまう前にまとめておく

mattn@mattn_jp

peco、便利だしとても完成度高いんだけど、客観的に見るとあのプロジェクトがあれだけ流行ったのには理由があると思ってる。

2014/07/22 23:17:31

続きを読む

タグ ：

#golang

#peco

pecoのv0.1.0をリリースしてから今日で丸一ヶ月がすぎました。今日という日にちょうどGitHubでのスターも1000を超え、大変うれしい次第です。ちなみに昨日の夜840くらいだったのにそれから200弱ものスターがついた。これぞまさにTJのロックスター効果：

TJ Holowaychuk@tjholowaychuk

really cool interactive grep-ish tool https://t.co/jH5gWNCcIz

2014/07/12 03:42:22

「percolをインストールするのにpythonの事調べるのだるい」というだけのところからmattn氏の悪魔のささやきを真に受けて始まったこのプロジェクトですが、まぁ何がよかったのかこの程度の注目を集められるレベルに到達できて大変うれしいです。自分もこのコードを書いててようやくgo-stf-serverでメタメタだった部分が少しずつ昇華できている気がしているし、クロスコンパイル部分も完全自動化できたりと技術的な学びの意味でもやってよかったと思えるプロジェクトになりました。

v0.2.1では 複数のアクションをまとめて1キーからディスパッチできるようになる機能などが同梱される予定です。

機能的にはだんだん落ち着き始めているので、もし何かあったらイッシューに書いてください（日本語でいいんですよ！）。これからも皆様の意見、PRをお待ちしております！ 

タグ ：

#golang

#peco

先週 @k0kubunさんがpecoで複数キーの入力シーケンスに対してアクションを起こす（例：C-x, C-cで終了する、みたいなの）PRをしてくれたのでそれをマージした。pecoには楽しいお兄さんが色々コントリビュートしてくれているので、そのPRを見た瞬間にこんなコメントが

mattn@mattn_jp

こりゃあ、コナミコマンド作るしかねぇべ / “Accept key sequence by k0kubun Pull Request #124 peco/peco GitHub” http://t.co/YwjJo9Ao1A

2014/07/03 01:06:44

おお、いいですね、ということで実装してみようとしたところ… うっ… 設定ファイルから読み込んで動的に作る無名関数からレキシカルな変数へのスイッチングしてて、これをプログラム内部から他に作る方法がねぇ！w 設定ファイルからはできるのに！w むきー！

ということでその後、基本的な設計構造を変えないでその辺りを奇麗にできる方法は ないかと一日くらい費やした。が、やはりうまくいかない。薄々気づいていたけどこれFSMとかの出番だよな… 一から実装面倒くせぇなーと、つぶやいたらすぐ返信が：

MURAOKA Taro@kaoriya

@lestrrat トライ木 & aho-corasick 使うと綺麗に決まると思いますよ。これは文字列マッチ用ですが参考にはなるかもしれません。 https://t.co/C4HadJAWx3

2014/07/04 20:16:59

うほ！goでahocorasickの実装があるwwww ありがとうございます！全部ぱくります！

コードを眺めているとトップレベルではstringに対しての実装で、 中身はruneに対してノードを返すみたいな事になってるので、これまぁ用はstring = []rune として考えられるので、キーシーケンス= []キー で代用できるね、って分かったのでガツガツ変更。といっても検索キーとか、ちょっと再起的に使うためにinterfaceを足した程度で、基本は何も変えていない。

そんなこんなで最初にpecoを書き始めてから一番大きいPRをマージして、キー入力周りがそれまでのコードと一変した。コードを提示してもらったおかげで任意の長さのキーシーケンスを特定のコマンドを高速かつ分かりやすい形で検索＋ディスパッチできるようになった。

これも含めて先ほどpeco v0.2.0としてリリースした。このリリースはかなりの数の変更が入っているので、pecoヘビーユーザーには嬉しい機能が結構あると思う。是非お試し有れ！

本日の教訓：この一つ前の記事もパクリの話だったけど、こういう汎用的な方法論についての助言はどんどん受け入れるべきだし、コードもがんがん再利用してやればいいと思う。

プログラムを書く作業は孤独だけど、わからない事は「分からない！どこから始めるか教えて！」って聞けば誰でもヒントをくれるので人に頼る事を恐れないほうが良い（ただし、そこから先は自己責任でちゃんと勉強しましょうね）。そういえばgo-xslate書いた時もgfxに「これ、どこのサイト読むとxslateで使ってるVMのモデルの概要わかるの？」って聞いたな。

年を取れば取るほど経験値はたまっていくけど、それと同時に自分の知らない事が世界にはまだまだあるのがわかる。もちろんそれらを全部吸収できればベストなんだけど、脳にも限界があるので他人に聞く事によって自分の知らない事を素早く正しく補完できるのであればそれを活用できるようにつながりを作ったり、素直に質問できるようにしていくのが老いてゆくエンジニアの進む正しい道な気がする。おすすめです。

タグ ：

#golang

#peco

pecoでは何個か前のリリースからバイナリビルドをリリースの成果物として登録するようにしている。これのおかげでpecoはそもそもの存在理由である「2014年だしこういうツールはバイナリ一個置いておくだけで動いてほしい！」というをより簡単に実現できている。


で、その実装方法。基本motemenさんのスクリプトにmattnさんがツッコミを入れたりしてるのを見ながら「よし！パクろう！」と思ってパクったんだけど、一つだけpecoでは意図的に変えたところがあって、それはboxの選定のところ。

motemenさんのgolang-goxc box自体に基本何も問題がないのだけど、pecoで色々やっているうちにgo1.3がリリースされたのにこのボックスを使っているといつまでもgo1.2.1だった（今はもう違うかもしれない）。まぁ当たり前ですよね。そこは他人の褌で相撲を取ろうとしている俺が文句言うところではない。

ただやっぱりバイナリのサイズが小さくなったり、多少パフォーマンス改善も見られている1.3系を使いたいと思いが募ったのと「これから先もきっとこういう事があるだろうし、そういうことがあるごとに文句を言わないといけないのか？」という思いがあり、pecoにはpeco専用のビルドボックスを作る事にした。それがこちら。もちろんgo1.3とgoxcを入れているところ以外はたいした事してない。

たいしたことはしてないんだけど、よくよく考えればライブラリとかではなくpecoのようにエンドユーザーに直接届くプログラムに関してはあまり自分が制御できていない環境に依存するのもどうかなーと思ったのでもうボックスから作る事にしてしまった。これなら自分がやりたいタイミングでgo1.4が出たらgo1.4にすることもできるし、goxcの特定のバージョンが欲しい、とかにも対応できる。

あとはmotemenさんの元記事と一緒。タグ打ってgit pushすれば勝手にファイルがあがってくる。おっさんは何もする必要がありません。大変すばらしい。また時間のある時にはhomebrewのレシピも自動的に作成しようとは思ってるけどそこまで至っていない。ともあれ、自動化はすばらしい。





ちなみに、drone.ioも一応登録はしてあって、こっちでもリリースとかできるかやってみたんだけど失敗して、ただただコンパイルして成果物を残しているだけ（基本前のやつは上書き）。あんまり必要じゃないけど、別の環境でコンパイルするとたまにバグが見つかったりもするので悪くはないと思ってる。まぁそのうち消すかも。

タグ ：

#golang

#peco

tl;dr;

• githubで長い事使われてないアカウントはリリースしてもらえることがある
• pecoのURLが変わりました
• pecoの有効な使い方があったら、ぜひWikiでシェアしてください

続きを読む

タグ ：

#golang

#peco

これは笑ってしまった。The Open Source Report Cardという、githubのデータを持ってきて色々統計情報を見せてくれるサイトがあるんだけど、ここで今日とうとう「Exceptional Regexer」とか、そういうPerl Monger系の名称から「High Caliber Gopher」みたいな名称になって、さらによくみると「one of the 5% most active Go users」（6/18現在）だったのでツイートしたら、

Daisuke Maki@lestrrat

Hey, I'm apparently &vquot;one of the 5% most active Go users&vquot; according to http://t.co/vZVvOSKNaZ lol #golang

2014/06/18 18:47:37

GoプロジェクトにとてもゆかりのあるDave Cheneyさんからこんなツイートが…

Dave Cheney ♆@davecheney

@lestrrat what, how can you be beating me?!? I'm going to have to step up my game.

2014/06/18 20:37:36

よくみると彼は上位9%という位置だったｗ まぁGithubに対するコミット数とかだからそれ以外のところはカウントされないのでしょうがないｗ 彼がgithubにもっとコミットするようになったら一瞬で抜かされるだろうなー こういうのを"15 minutes of fame"とかいいますねｗ

タグ ：

#golang

（pecoそのものについてはここで読むよりREADMEを見た方が早いです）

今月の初めくらいにpercolという便利なものがあるという話を聞き、「ほう、使おうかな」と思ったら普段あまり使い慣れていないpython製ツールでまるでcpanmを使うのがいやなPerlに慣れていない人のような反応で「まぁ必須アイテムじゃないし…」と思って諦めかけたところ

lestratt さんはやく！

— mattn (@mattn_jp) June 6, 2014

とか言われ「そこまでいいツールなのかなー」と思ったけど、使ったことないし、まずはツールがどういうものなのかをわかるためにGoで実装する事にした（はい、本当にこういう順番です）。
続きを読む

タグ ：

#golang

（以下はgo 1.2.x時点での話です。将来的に仕様がかわるかどうかはわかりません）

これを読んでいて、こういうの気にしてない人多いんだろうなーと思って、書いてみます。元のポストはdeferの挙動について語っているように見受けられるけれども、これは要は複数スレッドで実行されるコードについて、プログラム終了時に同期とか取りたくない、という話だと思ったので、このポストのdeferを正しく動かすには…というところからどういう形でgoroutine同士で同期を取る方法があるのか、一例を書き出していきます。

TL;DR;

goでいくらgoroutineが気軽にかけるからと言って、複数スレッドで処理が行われているので同期はキチンとやらないとダメですよ。

続きを読む

タグ ：

#golang

なんかごく一部に補足されているので、念のため軽く説明しておきます。

masahiro nagano@kazeburo

某所のlestrratさんのgolangなアプリはhot-deployが可能になってる。サーバはserver_starter経由で起動されていて、バイナリ消してHUPを送ると自動でビルドしなおしてプロセスを入れ替えてくれる。便利

2014/04/30 12:18:31

これ、ベストな方法だとは思っていないんだけど、最初にこれを書いた当時の考え方は以下の通り：

1. これは自分の部署で初めて 本番に設置するgoアプリである
2. 一次対応をする人は自分とは限らない
3. 細かいコード内容の修正はともかく、明らかなバグっぽいものの修正（例：SQL文の変更）などを自分以外の人間が施した後にサーバーを簡単に再コンパイル＋再起動するする方法がないと椅子が降ってくる事が容易に予想される

続きを読む

タグ ：

#golang

tl;dr: 別にPerl捨ててないです。Perl大好き。俺はLLはPerlでいい。でも別ドメインの事もやってもいいよね！

Rebuild.fmに限らず、公の場でYAPC/Perl以外の話をする事があるとは正直思っていなかったが、このたびRebuild.fm ep 42に置いて１時間Goについてしゃべりまくってきた。1時間ぶっつけ本番でしゃべりたい事はだいたいしゃべってきたのだけど、その後のフィードバック等もふまえてまとめておきたいと思ったのでこのエントリでまとめてみます

続きを読む

タグ ：

#golang

このところ情熱を燃やしていた go-xslate プロジェクトですが、大分使えるようになってきたし、かなりの処理速度も出るようになったし、go-nutsで宣伝もしたし、小さいプロジェクトで使い始めたし・・・ってことで 手軽に遊べる用に Go PlaygroundをぱくってGo-Xslate Playgroundってのを書いた。

外部テンプレートを使うWRAPPERやINCLUDEは使えないけど、それ以外の機能は一通り使えるはず。是非遊んでみて、問題がありそうだったら "Share"ボタンを押してpermalinkを作成の上、permalinkをissueにはりつけて教えてください。よろしくお願いいたします。

ちなみに書いたそばから mattnさんにぱくられたけど、自分もぱくってるし、ぱくられたのは良い物を書いたからなのでつまり全体的に大変よい。なおGo-Xslate Playground自体のソースはこちらにあります。なにか問題等ありましたら教えてくださいませ。

タグ ：

#golang