はてなブックマーク

はじめに 昨日かな？AKS(Azure Kubernetes Service）が東日本で使えるようになりましたね。 早速動かしてみたいと思います。 仕事で使う上ではpublicなイメージではなく、ビルドした独自のイメージをprivateなリポジトリで管理することが多いと思います。 今回はACRにpushしたprivateイメージを使ってKubernetesにデプロイしてみようと思います。 ACRへのデプロイは少し工夫が必要ですので参考にしてみてください。 ACRへのpush こちらの記事を参考にACRにpushしてみてください。 AzureContainerRegistryにprivateイメージをpushしよう 今回はpushされた以下の情報を使います。 ログインサーバ uzresk0626.azurecr.io レジストリ uzresk0626 Kubernetesクラスタの構築 Ku

はじめに 画面はJava(SpringBoot) + DynamoDBでWebアプリケーション、クライアントツールはGo、API部分はAPIGateway+Lambda（Python）とかなり節操がない構成で構築しています。 今回はそのアーキテクチャの中でSpringBoot + DynamoDBを使ったWebアプリケーションのテストとデプロイの自動化をどのようにやっているかについて一部ですがご紹介してみたいと思います。 Javaエンジニアじゃなくても参考になる部分があるかな。と思いますので良ければ記事のサマリだけでも読んでみてください。 記事のサマリ 何を自動化しているのか どんな技術を使っているのか WEBアプリケーション SpringBoot 1.5.6 + Thymeleaf DBはDynamoDBだけ使っています。DynamoDBアクセスのフレームワークは自前で実装しました。 D

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに Amazon Alexaってご存知でしょうか。 残念ながら現在は日本語には対応していませんが、EchoやTapなどのデバイスに喋りかけると、あらかじめ紐付けておいたスキルに応じて色々な処理を動かすことができます。 「今日の東京の天気はどんな感じ？」 「明日の東京は晴れですよ！」 というステートレスでオープンな簡単な応答もできますし、Alexaとの会話を通じて難しい応答を返すことも作りこみ次第では可能です。 私「旅行に行きたいなぁ」 Alexa「どこに行きたいですか？」 私「アジアがいいなぁ」 Alexa「アジアのどの辺ですか？」 みたいなやり取りから旅行プランをおすすめしてくれて、チケットを予約してくれる日も近そうです。 この**「スキル」**は自分で作って公開することもできますし、公開しないでクローズドに動かすこともできます。 今回は入門編ということでAlexaのサンプルを動か

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに モニタリングサービスMackerel、DataDog、NewRelicについて簡単にまとめてみました。 サーバのリソース監視、ログ、プロセス監視ができれば良かったので、今回はAWSインテグレーション機能などについてはあっさりとしか触れてません。 どのサービスも、監視対象のサーバーを用意した状態で、**15分あれば無料でサーバのリソースがモニタリングできるところまでいけます（そしてクレジットカードなどの登録は不要）**ので、是非はじめてみてはどうでしょうか。 サービスの紹介 Mackerel（マカレル） 「株式会社はてな」が提供

GoogleCloudPlatform ContainerEngine（Kubernetes)でコンテナ管理入門(基本的な使い方、Registry、Blue/Green Deployment、ResizeCluster、MultiZoneClusterとか)DockerkubernetesGoogleContainerEngineGoogleContainerRegistryGoogleCloud はじめに 先日GoogleCloudOnBoardという大きなイベントに参加しまして、色々と感動したわけです。私もGCP布教に一役買おうと思いContainerEngineについて書いてみました。 前回はAWS ECSを書きましたけど、やっぱりコンテナ管理といえばKubernetesですよ。 今回も前回とだいたい同じシナリオでやってみたいと思いますが、Autoscalerだけはベータでの提供との

はじめに Dockerを本番環境で利用するに当たり、私レベルではDockerのクラスタを管理することはなかなか難しい訳です。凄くめんどくさそうだし。 ということで**AWS ECS(EC2 Container Service)**ですよ。 記事書くまでも無いかなと思ったんですけど意外と手順がWEBにない（気がしました）。ということで、今回は社内でハンズオンでもやろうかと思って細かく書いてみました。 こんな感じのシナリオをやってみたいと思います。 Dockerのイメージを用意する ECSの使い方の基本 コンテナのリリース Blue/Green Deployment AutoScaling/ScaleIn 前準備：Dockerのイメージを用意する DockerhHub上にpush済ですので、そのまま使って動かしてみましょう。 push済のコンテナは8080で起動しますので80にポートをマッピン

はじめに SIerで働いてます。周りを見渡すとまだまだオンプレだけのシステムが多いですね。 少し前はクラウドは選択肢にすら入ってきませんでしたが、今はどんなに固いシステムでも必ずクラウドが選択肢に入ってくるようになりました。そして、この1～2年くらいはクラウド、特にAWSを利用したシステムの構築案件が増えてきたなぁと実感しています。 社内の人と話していても、「AWSなにそれ？」とか「AWS安くなるらしいから使おうよ。」という人もさすがに減ってきて、オンプレ脳から徐々にクラウド脳にシフトしていってるのかなと感じます。 この記事は、社内のAWSのイベントでLTで話した内容をベースに書いています。ただSWFについてはマニアックなので避けました。少しでも若手や興味を持っていただいた方の勉強になればと思いまして、その考えに至った背景などをかなり寄り道しながらできるだけやさしく書いてみました。 なぜ自

fluentdを導入時にまず知っておいたほうがよさそうなこと（インストール、監視、HA構成、チューニングなど）CentOSFluentdElasticsearchtd-agent fluentdを使う時にまず知っておいたほうがよさそうなこと はじめに 朝からElasticsearchへのデータの投げ込み方を考えていました。 データベースやメッセージキューなどにデータを投げ込んでおいて、ニアリアルなバッチでElasticsearchに投げ込むよりも、fluentdを使う方が圧倒的に簡単で信頼性が高いものができますね。自分で作りこむのがバカらしくなりますね。 ということで、fluentd利用時に気を付けておきたいことについて調べてみました。内容は公式ドキュメントの内容をベースに自身で調べたことを追記しています。公式ドキュメントへのリンクも貼ってありますので適宜そちらをご覧いただければと。 環境

AWSでLinuxしか触ったことない人が、AWSでWindowsServerを利用するときに知らないと損することWindowsLinuxAWSWindowsServer はじめに AWSでLinuxばかりやってたんですがWindowsServerを触らないといけない機会が凄く増えててビビってます。 WindowsServer利用するときも、まぁ大体Linuxと一緒なんでしょ！？と思ってたら火傷しますのでしっかりと抑えておきましょう。 他にもWindowsだと気をつけないといけない！なんてことがあればご指摘ください。 ライセンスはどうなってるのか？押さえておこう。 WindowsServerのライセンス EC2の費用に含まれている。 OSにCALの料金が含まれているのでCALの購入は不要 WindowsServerのライセンス持ち込みについて 可能だが占有ホストで実行する必要がある 以下の既

はじめに 2016/8/3 Serverspecでのテストを追記 ansibleも2.1になってWindows Serverのサポートも強化され、そろそろ手を出しても良さそうな感じになってきました。 ということで、ansibleを利用する前のWindowsServer側の設定とIISのインストール、Windowsグループ、ユーザの設定を自動構築し、serverspecでテストするところまでやってみたいと思います。 記事中で使ったplaybookのサンプルはGithub uzresk/ansible-serverspec-windows-samplesからどうぞ。 前提となる環境 以下の環境で動作確認をしています。 尚、本文中ではansible自体のインストール手順は割愛しています。 ansible実行ホスト CentOS6.7 ansible2.1.0 serverspec 2.36.0

はじめに Solrを使ってPDFなどのドキュメントをインデクシングする要件があるとのことで、手順についてまとめておきます。 ドキュメントのインデクシングではApacheTikaを取り込んで実装されたSolrCellを利用しています。 ApacheTikaは節操ないくらい色々なものがパースできます。具体的にはPDFだけではなく、Word、Excel、HTML、画像、動画、圧縮されたファイル、クラスファイルなど色々なものがサポートされています。詳細についてはこちらを読んでみてください。 ドキュメントを読み込む前の設定 SolrConfig.xml SolrConfig.xmlでsolr.extraction.ExtractingRequestHandlerが有効になっていることを確認します。 uprefixとは、取得できたフィールド名の中でschema.xmlのフィールド定義にないものの先頭に

はじめに 認証に必要な情報は不正利用されてしまうと、大事故（ものすごい請求額）に繋がります。 事故がおきないようにどうするべきか。予兆をどう検知するか。おきてしまった時にどう追跡するのか。を考えておく必要があります。 AWSのサービスを早速バリバリ使ってみるぜ！という気持ちをぐっとこらえてやっておきたい設定をリストアップしました。 新しいAWSアカウントを利用する機会があったので、この記事を書きながらやってみましたが長めにみても30分あれば設定は終わります。 ルートアカウントのMFAの有効化 rootアカウントは超強力なので絶対にMFAを有効にすること。 ハードウェアデバイスで実施し、金庫に保管するくらいの勢いが良いと思います。 ハードウェアデバイスは$20くらいで購入が可能です。参考：Multi-Factor Authentication 最低でも仮想MFAを設定しておきましょう。私がい

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに AWS SES(simple email service)を使うときに監視したい項目と監視手段についてまとめてみました。 CloudWatchのカスタムメトリクスに登録するときのツールを用意しましたので参考にどうぞ - github/uzresk/cloudwatch-scripts SESを使い始めるのは簡単ですが、1日の送信数、1秒あたりの送信数に制限があることと、信頼性の低いメールを送信し続けると利用停止になる可能性があります。そうなっては手遅れですのでCloudWatchなどを使って定期的に監視＆アラートを設定しておきましょう。 SESとは？ SESとはSimple Email Serviceの略で、メールを送受信できるようにするためのマネージドサービスです。 送信の場合、SMTPサーバとして使うこともできますし、aws cli/sdkを使ってメール送信することもできます

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Elasticsearch導入前に気を付けておきたいこと はじめに Elasticsearchを仕事で使うことになったので導入前に考えるであろうことを調査・検証し、まとめてみました。 記載されている内容はほぼ公式ドキュメントから引っ張ってきています。それぞれの章にリンクを付けてありますので、記載されていること以外に気になる部分があればそちらを参照されるとよいと思います。 インストールについて ここで設定している内容はすべてansibleのスクリプトに落としてあります。 5分あればcurl,javaのインストール、Elasticsearchのインストール・初期設定、プラグインのインストールが終わるはずです。 https://github.com/uzresk/ansible-elasticsearch2 環境 CentOS6.7 Java1.8.0_45 Elasticsearch 2.1.

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに AWS Datapipelineについて思ったよりWeb上に記事がないので、試してみた結果をまとめてみました。 細かいパラメータについてはおいおいまとめていこうと思います。 情報源 AWS Data Pipeline Developer Guide AWS Black Belt Tech シリーズ 2015 - AWS Data Pipeline んで、結局何ができるのか？ BlackBeltの資料内ではETLと書かれていますが、AsteriaやDataspiderのようなデータのマッピングツールを兼ね備えているわけではありま

はじめに 少し前まで業務でSeasar2 FWを使っていたためコネクションプールはSeasar2のものを利用していました。S2のコネクションプールの実装はシンプルだったし業務で利用していても特にそこがボトルネックになることはありませんでした。 別のプロジェクトに移ってDBCPを触っていたのですが、実装になんとなく疑問を感じたので調べてみました。 tomcat jdbc connection poolとは？ tomcatで実装したConnectionPoolの実装です。（DBCPとは異なります。） tomcat 7.0.19から利用できます。 tomat-jdbc.jarに含まれています。 DBCPからの切り替えはfactoryを変更するだけです。 tomcatのdefaultではDBCPが選択されていますので明示的に変更が必要です。 どこに違いがあるのか。 パフォーマンス DBCPよりパフ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに EC2上のtomcatにデプロイされたウェブアプリケーションのセッション情報をどうやって永続化するかを考えてまずはそれをまとめてみました。 次に、DynamoDBとAWSが提供しているTomcatSessionManagerを使ってSpringBootからDynamoDBにセッションを永続化する方法をご紹介します。 SpringBoot内ではEmbeddedTomcatを使っており初期化処理時にSessionManagerを差し替えれば実現できます。EmbeddedではないTomcat上のウェブアプリケーションであればcont

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに 今更ながらかもしれませんが、EFK(ElasticSearch+Fluentd+Kibana)を試してみてます。 ちょっと試したいだけなのに一杯インストールせねばならんのですね。。。ということでEFK構成を構築するansibleのplaybookを作ってみました。良ければ使ってください。 Forwarder - https://github.com/uzresk/ansible-td-agent.git EFK - https://github.com/uzresk/ansible-efk.git 3分で構築する前提事項 ansibleが使えること gitが使えること(yum -y install gitとかで突っ込んでおいてください） サーバを2台（sshで接続できればなんでもいいです） こんな環境を作ります。 左側はfluentdのforwarder。右側はログを集積するag

はじめに 相変わらずツマラナイサンプルですが、社内の人に向けて書いてみました。 quartz APIについての情報が少ないのでまとめておきます。 基本的なこと quartzにはJOBとTriggerという概念があります。 JOB実行したい処理を書きます。JOBインタフェースをimplementsすればなんでもかけます。 Triggerはスケジュールを表現するクラスです。cron expressionが使えますが、cronexpressionを使わずともAPIを使って同じことはできます。（今回は割愛） 上記のJOBとTriggerをScheduleインタフェースを使って操作します。 JOBとTriggerをまとめて登録 Scheduler scheduler = StdSchedulerFactory.getDefaultScheduler(); JobDetail job = JobBui

はじめに S3のWebホスティングを使った場合のあるある設定をまとめてみます。 書き途中ですがちびちび公開します。 ステージング環境の限定公開 ステージング環境を用意した時に公開前のコンテンツはもちろん公開したくありませんが、S3ではBasic認証はサポートされていないため、別の手段でなんらかのアクセス制御を行う必要があります。 ここではそのやり方について紹介します。 ここで紹介していないリファラを使ったアクセス制御などは下記を参照してください。 http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/AccessPolicyLanguage_UseCases_s3_a.html IPアドレスで制限 開発者ガイドでも紹介されていますが、IPアドレスを使って制限するのが一番簡単で且つ詐称しにくいのでお勧めです。 ポリシーはこんな感じで書きます

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?