前置き 雑に置き換えるコマンド 前置き 個人OSSに入れてるdependabotでmoduleをアップデートしてたらgolangci-lintでこういうwarningが出ていたので気づいた。 *1 Running [/home/runner/golangci-lint-1.60.3-linux-amd64/golangci-lint run] in [/home/runner/work/gitpanda/gitpanda] ... Error: gitlab/blob_fetcher.go:19:54: SA1019: gitlab.Client is deprecated: use gitlab.com/gitlab-org/api/client-go instead. See https://gitlab.com/gitlab-org/api/client-go (staticchec

はじめに Go 1.23 で iter パッケージが導入されました。この iter は抽象化されたイテレータを示す仕組みと実装です。未だどの様に活用して良いか分からない方もいると思いますので、使い方を簡単に解説しようと思います。 概念 iter パッケージは、現状は for-range でのみ利用可能です。スコープにコンテキストを持ったロジカルな列挙可能オブジェクトと、それを別のスコープにて for-range でイテレートする際に便利です。 これまでであれば、こういった実装は goroutine と channel を使いスコープを分割させる事で実装してきました。 package main func iter1[T any](a []T) func() (T, bool) { ch := make(chan T) go func() { defer close(ch) for _, v

これ何？ サンプル 頑張りポイント gitコマンドを使わずにgitリポジトリにアクセスした 可能な限りパラメータを省略できるようにした おまけ これ何？ GitLab CI上で行った変更をMerge Requestとして投げるためのツールです。（開発期間は1週間くらい） gitlab.com GitHub Actionsだと peter-evans/create-pull-request が便利でよく使っているのですが、同じようなことをGitLab CIでもやりたくて作りました。 サンプル 一番簡単なサンプルはこれ。 stages: - build create_mr_for_changes: stage: build image: debian:stable-slim before_script: # Download and install latest create-merge-re

これ何？ 最初の構想 GitHub Actionsで動かす これ何？ https://github.com/tfutils/tfenv で使われる .terraform-version を自動でバージョンアップするためのツールです。（制作期間2日） github.com 最初の構想 最初は https://github.com/minamijoyo/tfupdate にパッチを送ろうと思っていました。 しかしtfupdateはHCL形式のファイルを扱うことに特化しているため、.terraform-versionのようなプレーンテキストを対応させるのは難しそうな気がしたので別物として作ることにしました。 （できないことはないのだが、結構広範囲に改修する必要がありそうだったり、自分の書いたコードがツールの既存コードとは明らかに異質なものになりそうなので尻込みした） GitHub Actions

gob バイナリが Go バージョンによって 出力が変わることについて調べてみた / Investigating How gob Binary Output Changes Across Go Versions

Goのテストについていくつかまとめを書いていた。 Goのtestを理解する in 2018 #go Goのtestを理解する in 2019 触れるのを忘れていたhttptestパッケージについてまとめる。 https://golang.org/pkg/net/http/httptest/ TL;DR net/http/httptestパッケージ https://golang.org/pkg/net/http/httptest/ net/http/httptestパッケージはサーバ/クライアント両方のHTTP周りのテストで使う サーバのHTTPハンドラーのテストを書くとき https://golang.org/pkg/net/http/httptest/#NewRequest https://golang.org/pkg/net/http/httptest/#NewRecorder ダミー

はじめにGo1.22リリース連載 の5本目です。 本記事ではGoの標準ライブラリである net/http の ServeMux におけるルーティング周りの強化について取り上げます。 関連する Release Note と Issue はこちらを参照してください。 https://tip.golang.org/doc/go1.22#enhanced_routing_patterns https://github.com/golang/go/issues/61410 変更点HTTPメソッドの指定が可能にServeMux.Handle や ServeMux.HandleFunc を使用してハンドラを登録する際に GET /xxx のようにHTTPメソッド指定して、ハンドラを呼び分けることができるようになりました。 mux := http.NewServeMux() // GETを指定したハンドラ

gcp-secretmanagerenvについて 作った経緯 使い方 gcp-secretmanagerenvについて GCPのSecret Managerのラッパみたいなやつで、 gcp-kmsenv のSecret Manager版です。 github.com 作った経緯 本番環境（GCP）ではSecret Managerを使うのでいいんだけど、ローカル開発時は環境変数を使いたかった *1 のですが、Secret Managerの値の取得と環境変数の取得を透過的に扱う部分をアプリケーションコード内に書きたくなくて先にライブラリ化しました。 使い方 READMEからの抜粋ですがこれがだいたい全てです。 package main import ( "context" "github.com/sue445/gcp-secretmanagerenv" ) func main() { proje

github.com モチベーション 使い方 FAQ Q. Secret Manager使えばいいのでは？ モチベーション condo3 で app.yaml 内に Cloud KMS で暗号化した秘匿値を埋め込みやすくするために作ったモジュールをライブラリ化しました。 とはいえGoogle App Engine専用というわけではなく、GCP + GoであればCloud Functionsとかでも使えるはずです。 使い方 READMEからかいつまんで説明すると下記 秘匿値を gcloud kms encrypt で暗号化してBASE64に変換 KMS_ACCESS_TOKEN のように KMS_ を先頭に付けた環境変数として登録 KMSで暗号化済なのでこの変数はgitにコミットしても問題ない GetFromEnvOrKms で呼び出す この時接頭辞の KMS_ は不要 FAQ Q. Sec

GitHub Actions上でgo mod tidyしてPRを作るActionです github.com github.com モチベーション dependabotでgoのモジュールを定期的にアップデートしていると go.sum に古いバージョンのゴミが残り続けます。 github.com/aws/aws-lambda-go v1.11.1 h1:wuOnhS5aqzPOWns71FO35PtbtBKHr4MYsPVt5qXLSfI= github.com/aws/aws-lambda-go v1.11.1/go.mod h1:Rr2SMTLeSMKgD45uep9V/NP8tnbCcySgu04cx0k/6cw= github.com/aws/aws-lambda-go v1.12.0 h1:CgKAMdFIWExd4U6c9DUE+ax8N0fsmkYirqcfmReRCeo= gi

PlantUML + ERDでPlantERDです github.com モチベーション PlantERDの特徴 使い方 出力するテーブル数の制限について 技術的に頑張ったこと テストのこと Foreign keyで隣接している別のテーブルを探す方法 複数DB対応のつらみ 追記：2019/12/13 9:45 モチベーション 既存プロダクトへの不満が一番大きいです。 https://github.com/voormedia/rails-erd は出力が画像なので取り回ししづらい そもそもRails前提なので他言語とかでは使えない https://github.com/schemaspy/schemaspy も悪くなさそうなんだけどここまでリッチじゃなくていい テーブル数個の小規模アプリならいいんだけど、中規模以上のアプリで使うと人間が読むに耐えないERDが生成されて精神が崩壊する 僕は初め

この記事はMERPAY TECH OPENNESS MONTHの3日目の記事です。 メルペイ ソリューションチームで毎日コード書いたりして遊んでいるvvakameです。 TL;DR AppEngine 2nd genでロックインAPIから解放され大脱出できるようになった AppEngine Log APIはオーパーツ(完全には真似できない) プラットフォーム出力のrequest logを使う アプリではapplication logだけ出力する 高度なフィルターの使い方を覚える 05/23 もらった情報をもとに追記をしました。 AppEngineはいいものだよ & 2nd genの台頭 メルペイではプロダクト提供のためにAppEngineはほぼ使われていません。だいたいのものがGKE上で動いていて、だいたいのDBはSpannerです。しかし、お客様に提供するものではない、internalな

はじめに Goにおける抽象化の方法にインターフェースがあります。インタフェースをうまく使うことにより具体的な実装を隠し、疎結合な実装ができるようになります。 これにより、テストがやりやすくなったり、リファクタリングの影響範囲を小さくできるなどのメリットがあります。インターフェースがないコードは振る舞いで共通化することができないため、冗長かつ密結合なシステムになってしまいます。 今回はGoのインターフェースの基本的な考え方である "Accept interfaces, Return structs" について紹介します。 "Accept interfaces, Return structs" とは 直訳で 「インターフェースを受け入れて、構造体を返す」 ですが、この考え方はJack Lindamood氏が過去に提案したものです。 GoのCodeReviewのドキュメントには以下のように書かれ

長きにわたって制作していたGopherさんのLINEスタンプですが、ようやく承認が降りてリリースすることができました！！！🎉🎉🎉🎉 ■ スタンプは全部で3種類エンジニアリングの知識がある方も、そうでない方にも楽しんでいただけるようスタンプは3種類制作しました。 ●１種類目はやさしい世界観のスタンプです。 専門的な知識が無い方にも馴染みやすい内容になっています。

こんにちは、sue445です。今期の嫁は キュアミルキー です。 tl;dr; GitLabとSlackを使ってる場合は https://github.com/sue445/gitpanda が キラやば〜っ☆ なくらい便利なのでみんな使ってください☆ 前置き ピクシブ社内での開発にはGitLab（オンプレ）とGitHub（GHEではない方）が使われています。 コードレビューの依頼などでSlackにPullRequestのURLを貼ることが多いと思うのですが、GitHubのURLをSlackに貼ったら勝手に展開されて便利ですよね。 GitLabにもOGPがあるのでpublicなリポジトリであればSlackに貼った時に展開されます。 しかし業務で利用しているGitLabのリポジトリは外部から容易にアクセスできなかったり、ログインしないといけないページなのでSlackにURLを貼ってもOGPが

Go Advent Calender 2017(その4)の11日目の記事です。 Golangの並行処理では、共有リソースにアクセスする場合は競合が発生しないようにロックを用意する必要がある。 例えば、標準のmapはgoroutine safeではない。Write同士が競合した場合や、Write中のReadが発生するとPanicを起こしてしまう。 そのため、従来はmapとmutexを併用することでロックを用意し、複数goroutineから安全にアクセスできるようにする必要があった。 Go1.9ではsync.Mapが標準パッケージとなり、自身でRWMutexを備えたマップを書くことなく、ロック付きのマップを使用することができる。 どのように使うか 以下コードの通り(Playground)。 package main import ( "fmt" "sync" ) func main() { /

1. はじめに Octillery というGo言語用のデーターベースシャーディングライブラリを開発したので紹介します。 すでにいくつかあるライブラリ ( evalphobia/wizard や go-pg/sharding )と異なる点は database/sql パッケージのインターフェースを実装するすべてのORMライブラリで利用できる database/sql の機能を直接使っていても利用できる 特定のデータベース実装に依存せずに利用できる設計になっている シャーディングアルゴリズムがプラガブルになっている あたりです。ライブラリの利用環境をなるべく限定したくないという思いから、特定の実装に依存しないような作りを目指して設計しました。 ライブラリの実装自体は昨年のうちに終わっていましたが、運用実績を作るために温めてきました。 ライブラリはすでに本番環境で半年ほど運用されており、今も継続