趣旨 「Gitlabが動かなくなった！」と誰かが叫んだら。 Gitlabは経験上、安定して何年も稼働します。それだけに、何かトラブルが発生した時にどこから手を付けて良いのか途方にくれることがあります。そんなあなたに役立つ記事です。 トラブルが発生した時にこの記事を思い出していただければ嬉しいです。 便利な日本語情報サイト 下記のサイトは必見です！ GitLab日本語情報サイト https://www.gitlab.jp/links/ GitLab日本語情報サイトは、GitLabの情報を日本語で発信するために個人で立ち上げたコミュニティサイトです。 Qiitaのコミュニティサイト https://qiita.com/organizations/gitlab-jp 今回の動作環境 CentOS Linux release 7.9.2009 Gitlab 14.4.1 トラブルシューティングの初

GitレポジトリのホスティングサービスGitLab.comは2020年の5月に 6TB あるPostgreSQL 9.6クラスターをたった2時間のメンテウィンドウ中に11.7へアップグレードしました。 GitLab.comのエンジニアブログに、このPostgreSQLのメジャーアップグレードプロジェクトが解説されていたので、かんたんにご紹介します。 How we upgraded PostgreSQL at GitLab.com | GitLab ポイント PostgreSQL 9.6から 11.7 へのメジャーアップグレード 2時間のメンテナンスウィンドウ内でアップグレード完了 データサイズは6TB DBクラスターは GCP 上の 12台の VM インスタンスで構成 クラスターはアップグレード用の8台とリカバリー用の4台に分割 pg_upgrade & ハードリンクでインプレースアップグ

「GitLab 13.6」では、Amazon Web ServicesでGitLab CI/CDを簡単に使い始められるよう、Auto DevOpsにAWSサポートを追加することで、Kubernetesを使用することなくAutoDevOpsによるAmazon EC2へのデプロイを可能にしている。 また、より迅速な意思決定の支援を目的に、ダッシュボードとレポートの改善を行っており、マージリクエストとコード品質レポートに含まれるコード品質の重大度によって、マージする前に解決する必要のあるコード品質違反をすばやく判断できるようになった。 ほかにも、プロジェクトセキュリティダッシュボードをアップデートし、最新の実行パイプラインにおけるセキュリティスキャンの結果と動的な脆弱性トレンドチャートに基づき、最新および過去の脆弱性トレンドを把握できる。マージリクエストには、ファズテストの結果を追加するとともに

こんにちは。NRI aslead チームで新サービス開発をしているk5-saitoと申します。 aslead チームでは、GitLabを開発ツールとして活用しているのですが、環境変数を登録する手間を大きく削減したので、その話を書きました。 TL;DR CLIフレームワークとして、cobraを使うことでKubectlライクなコマンドを簡単に作ることができた。 クロスコンパイルが容易にできるので、Windows、MacOS、GitLabCIでの実行も可能 背景 プロジェクトのCICDパイプラインとしての利用 ある大規模アプリケーションにCICDを導入して、開発の生産性を向上しようというプロジェクトがありました。しかしアプリケーションが大規模になればなるほど、環境変数は多くなっていき、変更も頻繁に走ります。毎回変更があるたび、環境変数にミスがないかを確認して、手作業で変更して、ということを繰り返

はじめに GitLabを社内運用する際にインフラをEC2からEKSに移行しました。 これによって冗長性確保やGitLab CIにおける料金効率化を実現することができました。 本記事ではGitLabを運用している人向けに環境構成の変化やデータ移行手順を説明していきます。 環境構成 ここでは過去と現在の環境構成を説明していきます。 過去構成 EC2インスタンスを用意し、GitLabとGitLab Runnerをそれぞれインストールした構成となっています。 GitLabは内部にNginxやUnicornなどを全部入りしたOmnibus版を使用しているので導入は容易です。 GitLab RunnerはDocker Executorを使用しています。すなわちGitLab CIのジョブ内容がDockerコンテナとして実行されることになります。 この構成では自動復旧や冗長性担保ができない問題がありました

こんにちは。Optimal Bizのサーバーサイドに関する開発を担当している伊藤です。 皆さんCIは何を利用していますでしょうか？ Optimal BizではGitLab CI/CDを利用しています。 単体テスト・ビルド・デプロイ等CIの用途は多岐にわたりますが、実際にそれらを実行するPCを必要な数だけ常に起動しておくと無駄な料金がかかってしまいます。 そこで、今回はGoogle Cloud Platform(以降、GCP)のプリエンプティブル VM インスタンスをGoogle Kubernetes Engine(以降、GKE)でオートスケールさせることで、CIリソースを格安で確保する事例を紹介します。 利用例 Optimal Bizチームの場合は「RSpecをGitLab CI/CDを使って並列実行する」で紹介した大量の単体テストを約20台のノードで並列実行するために利用しています。 ざ

こちらの記事は、Wes Cossick 氏により2017年10月に公開された『 7 ways to speed up your GitLab CI/CD times 』の和訳です。 本記事は原著者から許可を得た上で記事を公開しています。 CI/CDプラットフォームとして、スピードは開発の効率化に重要です。最近、私たちはCIのジョブを取り上げて、可能な限り早くするためにリファクタリングをしました。 以下に同じことができる方法を紹介します。 1.GitLab Runnerをホストする (SaaS版GitLabで提供されている)GitLab.comは、リポジトリで使用するためのShared Runnerというツールを提供しています。すぐに軌道に乗るためには素晴らしいことですが、GitLab Runnerをホストすることで、単一の最大の速度の向上があったことを発見しました。実はボトルネックはCPU

はじめまして、エンジニアリンググループの山口です。9月にjoinし、クラウド型電子カルテ「デジカル」を開発しています（今後「エムスリーデジカル」として本格展開することがプレスリリースで発表されました！）。 今回は、テスト並列化や札束ビンタ以外の方法で、GitLab CIの実行時間を15%短縮した話です。 3行でまとめると GitLab CIのrawログに隠し要素がある 原因の深掘り大事 キャッシュを雑に設定してはいけない 前提: デジカルの開発スタイル デジカルは、 Ruby, Scala, Java, JavaScript と複数の言語を組み合わせてサービスを構成しています。 チームの開発スタイルは以下の通りで、比較的安全に開発が進められるようになっています。 git-flowに近い開発フロー GitLab CIによるビルド、ユニットテスト、静的解析 窓が壊れているのを放置しない (割れ

Tutorial: Securing your GitLab Pages with TLS and Let's Encrypt In this post we will talk about HTTPS and how to add it to your GitLab Pages site with Let's Encrypt In this post we will talk about HTTPS and how to add it to your GitLab Pages site with Let's Encrypt. Why TLS/SSL? When discussing HTTPS, it's common to hear people saying that a static website doesn't need HTTPS, since it doesn't rece

GitLab は機能がたくさんあって全機能を把握している方は少ないのではないでしょうか? 私もそうです。 最近追加された Cycle Analytics については正直よくわかっていません。プロジェクトの健全性を推し量るための指針として使えそうなのですが、いまいち何がどうなっているのか分かりません。 New Issues とか Commits などはまだ分かるのですが、Stage にあるほとんどのものは Not enough data (十分なデータがない) となってましてちんぷんかんぷんです。Issue を追加したり終了させたりしても変化がないことが多いです。 というわけで、マニュアルを読みながらまとめていきます。 そもそも Cycle Analytics って? GitLab は去年の 8 月に Idea to Production という目標を掲げました。GitLab とそのファミリ

2017-10-25 更新: GitLab Runner 10.0 からインストール手順が変わったので、コマンドを修正しました。 最近 GitLab が GitHub を追い越す勢いで進化しています。プライベートリポジトリが無制限に使え、UI も使い勝手が良く、汎用的な CI ツールの GitLab CI まで無料で使えます。おかげで BitBucket は使うことがなくなりました。 今回、Docker コンテナー上で動かす Rails プロジェクトを gitlab.com 上で CI することになったので、そのやり方をメモしておきます。 やりたいこと gitlab.com のリポジトリにソースを push したら自動で CI が走るようにしたい Docker 化した Rails アプリを Docker コンテナーのままテストしたい 検証環境 Ubuntu 16.04.2 Xenial 6

開発者はGitLabのプロジェクトにおいてmasterブランチにpushすることが可能な権限（Owner以上）を有していること 開発者はプロジェクトのリモートリポジトリとssh接続できること 開発者のマシン環境にGradleとOpen JDKが予めインストールされていること 「GitLab CI」を理解する 「GitLab CI」とは GitLab CIはCI（Continuous Integration、継続的インテグレーション）ツールの一つです。GitLab 7.14から8.0へのメジャー・アップデートにより、GitLab CIはバージョン管理機能を有したGitLab CE/EEに統合されました。 From 7.14 to 8.0 | GitLab.org / GitLab Community Edition · GitLab 「GitLab Runner」とは 「GitLabサーバー

2017年1月4日追記 2016年12月から下記の内容がうまく動かない状態が起きておりましたが、letsencrypt-nginx-proxy-companionが2017年の年明け早々に修正されたので、現状は問題ない状態かと思います。 2016年2月にDocker + nginx-proxyでGitLab CI環境を作ってみる（1）というという投稿をしたのですが、その後にGitLabなどバージョンアップが続いたり、後に自分で色々気づいたこともあったりで新しく投稿します。 2月の投稿と違うところとして、 nginxコンテナとdocker-genコンテナを別々に立てていたのを、nginx-proxyコンテナ一つにまとめる Let's Encryptを利用して、httpsに対応する その他、GitLab周りで細かい設定の追加 となります。前回の説明から変わった部分だけのおおざっぱな説明となりま

日本人唯一のGitLab Core Teamの @tnir です。GitLab.JP/GitLab Tokyoオーガナイザとして日本語圏でのマーケティングも注力しています。 統合開発ツールチェイン環境GitLab CE 10.7が2018年4月22日にリリースされました ↑背景画像は東京のサクラの写真でした。東京のGitLabユーザにとっては少しシーズン外れだったかもしれません GitLabには、大きく分けてCommunity Edition (CE) とEnterprise Edition (EE) とありますが、本記事はCEで使えるCore機能のみにフォーカスしています。 2018年3・4月のGitLabトピック(一部) その1. 4/10にGitLab Meetup Tokyo #7: 新年度応援＆GitLab 11.0が東京・サイボウズオフィスにて開催されました。私も参加しましたが

GitLab社は透明性を会社の価値と考えているためか、社員の年収の目安を公開しています。 参考までに日本から開発職(Developer)として、働いた場合のレベル別の年収を記載します。 なお、給与はドル建てですが、分かりやすいように為替レートを1ドル=110円として計算した結果も併記しています。 ついでに、比較のため物価が高いサンフランシスコ(SF)在住の場合の年収も併記しておきます。 レベル 日本-年収(ドル) 日本-年収(円) SF-年収(ドル) SF-年収(円) Junior $50,569〜$75,853 ¥5,562,586〜¥8,343,878 $76,928〜$115,392 ¥8,462,080〜¥12,693,120 Intermediate $63,211〜$94,817 ¥6,953,232〜¥10,429,848 $96,160〜$144,240 ¥10,577,6

果たしてGitLab.comで何が起きたのでしょうか？ これまでの経緯をまとめました。 スパムによるトラフィックのスパイクからレプリケーションの不調へ GitLab.comは今回のインシデントについての詳細な経過を「GitLab.com Database Incident - 2017/01/31」で公開しています。また、もう少し整理された情報がブログ「GitLab.com Database Incident | GitLab」にも掲載されています。 これらのドキュメントを軸に、主なできごとを時系列に見ていきましょう。 1月31日16時（世界協定時。日本時間2月1日午前8時）、YP氏（Yorick Peterse氏と思われる）はPostgreSQLのレプリケーションを設定するためにストレージの論理スナップショットを作成。これがあとで失われたデータを救う幸運につながります。 1月31日21時

ピクシブ株式会社 Advent Calendar 2016、18日目の記事です。 こんにちは、エンジニアの@uchienneoです。2015年に小説PDF化機能の記事を書いた時にはpixiv本体の機能開発をメインにやっていたのですが、2016年夏に弊社メディアサイトwww.pixivision.netをリニューアルしてからはそちらの開発に携わっています。 pixivやpixivisionのソースコードの管理には自社ホストのGitLabが使われています。（どのようにGitLabが運用されているのかの詳細は16日の@catatsuyさんの記事をご覧ください） inside.pixiv.net GitLabにはタスク管理の機能があります。こちらの機能もどんどんアップデートを続けていて、そろそろ来年くらいにはGitLabだけでタスク管理するのも夢じゃないのでは…と思っています。 今回は実際のプロジ

いろいろどっかにGitlabCIについての知見をまとめてたはずなんだけど、なくしてしまったので書くのに時間がかかってしまった。 とりあえずどんな感じなのか雑に眺めたい方もいることなので、雑にまとめた。 Gitlab CI 3行まとめ Gitlab CIはGitLabで使える。CircleCIみたいなもん。最初にちょっとセットアップすれば、Jenkinsより簡単・便利。カバレッジとか成功時にデプロイとか出来る。 GitLab RunnerというCIで使うコンテナを動かすサーバーの構築が必要になるが、必要な作業は大体これだけ。あとはアプリケーション側で設定する。 GitLab使ってたら使っていいと思う（特にアンチJenkins） GitLab CIについて Ruby + Go, Dockerを使っている 8.2位からGitLabの機能に統合された。 .gitlab-ci.ymlにcircle.

By The Preiser Project アンチウイルスソフトウェアで知られるSymantecが2014年に発見した「Linux.Wifatch」は、Linuxを搭載する1万台ものルーターに感染しておきながら、悪さをするどころかデバイスのセキュリティを高めていることがわかっています。悪用されることが多いハッキングを善良な目的に使っていると見られることから、「ホワイトハッカーが登場した」などとインターネットで話題を呼びましたが、そのLinux.Wifatchを開発したハッカーがなんとマルウェアのコードを公開し、ハッキングの目的や自分の正体について語っており、さらに経済誌のForbesはこのハッカーと接触してインタビューを実施しています。 The White Team / linux.wifatch | GitLab https://gitlab.com/rav7teif/linux.wi

Gitlabが5.0リリースされました。 アップデートはまぁ近いうちとおもってましたが、 このタイミングでとは... しかし、公式サイトみてみたらちゃんと3/22にリリースしますって書いてあった... 今回はちゃんと調べて選択しろってことを大変よく学びました。 なにはともあれアップデートしました。 5.0からはgitoliteがいらなくなり、構成、インストール手順も大きく変わってます。 公式の手順はこちら。 https://github.com/gitlabhq/gitlabhq/wiki/From-4.2-to-5.0 以下は作業のログです。 bundlerのおかげでrvm使うメリットはあまりないかもしれませんが、 バージョン違いのアプリケーション共存とかも考えて一応使う方向でいきます。 うーんrbenvをつかったほうがいいんですかね？ Gitlab停止 [mikito@nya ~]$