Apache Kafka Meetup Japan #2 https://kafka-apache-jp.connpass.com/event/45923/ 発表資料

ネット通販大手のアマゾンジャパンは6日、全国の書店からの注文に応じて自社が仕入れた本を卸すサービス「仲間卸」を今月中にも開始すると発表した。購買力の弱い地方の小規模な書店にベストセラーなど売れ筋の本を卸すことで、消費者のニーズに幅広く応えるのが狙いだ。ただ、事実上の「取り次ぎ」業務への参入ともいえ、これまでの出版流通のあり方に影響が出る可能性もある。 現在の出版流通は、出版社が取次店に卸し、取次店が書店に卸す方式が一般的。しかし以前から、地方の小規模な書店に対し、売れ筋の本を取次店がなかなか卸さないことが問題になっていた。同社はこうした問題を解消しようと、「仲間卸」の導入を決めたという。同社の担当者は記者会見で「書店向けの取引を開始し、より多くの読者に本を届けていきたい」と語った。

はじめに デプロイ手順 1.サインアップ 2.appの設定 3.profileの設定 4.デプロイ 修正箇所 package.jsonをリポジトリにあげる requirements.txtを作成する python3.6→3.7に変更 オプションの渡し方を変更 おわり はじめに serverlessからCI/CDの一般提供がアナウンスされました！ 自分は簡単なバッチ処理などをlambdaで動かしており、lamdbaの構成管理やリリースにserverlessを利用していたので、早速CI/CDから実行してみました！ serverless.com デプロイ手順 1.サインアップ ダッシュボード画面にアクセス GitHubのアカウントでSIGN UP GitHubOAuthでの認証を許可 「next」をクリック ユーザー名（デフォルトだとGitHubユーザー名）を設定し、「next」をクリック アプ

Dockerで立ち上げたKafkaを、ホスト環境でビルドしたJavaアプリケーションから叩こうとしたのだが、なぜかエラーになって叩けず。 java.lang.IllegalStateException: No entry found for connection 21729123512 よく調べてみると、advertised_listenerの設定を忘れていたことに気がついた。 advertised_listenerとは KafkaのコアであるKafka brokerはListenerを持っている。クライアントからListenerに接続があると、そのListenerは自身がアクセスできるIPアドレスまたはホスト名を返し、それを使ってその後の処理が行われる。 しかし、Kafkaとアプリケーションが同じ環境にあれば全く問題ないが、Dockerを使っているとこれが問題になりうる。Listener

今回は前回構築した１コンテナでのKafkaを複数コンテナにしてみる。 複数コンテナを構成するには、docker-composeを利用すると便利らしい。 ということでdocker-composeを使ってみる。 １．Docker-composeのインストール # curl -L https://github.com/docker/compose/releases/download/1.7.1/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose # chmod +x /usr/local/bin/docker-compose ２．Docker-composeのyamlファイルを作成する。 今回は４つコンテナを起動し、各々にBrokerが起動するようにする。 以下の様なyamlを作成した。 version: '2

This tutorial provides a step-by-step instruction on how to deploy a Kafka broker with Docker containers when a Kafka producer and consumer sit on different networks. As a part of our recent Kaa enhancement we needed to deploy one of our newly created Kaa services together with a Kafka server in Docker containers and test it from a host machine. The service played the role of a Kafka producer and

$ vim ~/.aws/credentials [default] aws_access_key_id = hoge aws_secret_access_key = huga cloudfront=true [private] aws_access_key_id = hogehoge aws_secret_access_key = hugahuga service: go-hatena provider: name: aws runtime: go1.x stage: ${opt:stage, self:custom.defaultStage} #profileオプション追加 profile: ${opt:profile, self:custom.defaultProfile} #regionオプション追加 region: ${opt:region, self:custom.defaul

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

新年一発目のエントリは少々新しいことに挑戦しようということにしました。かたりぃなです。 今回はElasticsearchとC#でのログ分析基盤の作成をやってみます。 まだ実践的なことは何もできていない状態ですが、できたことを少しずつブログに残していこうと思います。 (完成してからとかやっていると、昨年末みたいに更新頻度が下がってしまいますので。) 今回利用するパッケージや技術要素はこんな感じです。 Elasticsearch kibana logstash docker .Net core(C#) なぜログ分析が重要か ログというのは、何が起きたかを分析するのに重要です。 特に問題が起きた場合にはログから分析する場合がほとんどで、これは分野を問わず同じだと思っています。(WebならApacheログ、組み込みならカーネルログとか) ログ分析で得た結果は、エンジニア・経営どちらにも波及していく

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Docker-composeでECS上にコンテナを起動してログ収集・分析基盤(ELK)を構築する はじめに 公開しているWebアプリケーションのアクセスログを収集したく、ログの収集・分析基盤としてELK環境を構築しました。自前でサーバを立てるのも面倒だったので、AWSとDockerのお勉強がてら、Docker-composeファイルを用意して、ECS上でコンテナを起動し、システムを構築しました。なお、構築時のエラー・トラブルについては別記事でまとめたいと思います。 この記事の対象者 Elasticsearch, Logstash, Kibana環境をDockerで構築するのが初めて ECSを使ったことがなく、docker-compose.ymlからECS上でコンテナを建てたい人 この記事を見てできること ECS上でdocker-composeを使って、コンテナを起動できる EC2上にELK

同情するならサーバーをおくれ お金も無くサーバーを借りるのも一苦労な日々を送っております。RubyなんてVMだけで50MBとかかかるから、512MBの借りてるサーバーだともう大変なんです。Apacheとかも動かしているからメモリが無いんです。四畳半でつつましく暮らしている感じです。 Amazon さんとかサーバー無料チケットとかくれないかなー |ω・`）チラ 動画をディプラして楽しめる仕組みが出来上がったら使わせてあげるから、AWSの無料クーポン1年分とかくれないかなー |ω・）チラ |ω・）チラ Ubuntu はスワップが割り当てられて無いの Rubyにするなよって言われそうなんですが、みんながつくったライブラリーとかそういうエコシステム的なものを活用させていただけることがありがたくて、ほんとみんなありがとう。 つくった処理をcronでまわしてたら、途中で止まってて、コマンドラインで実行

先日、Windows 10 PCの中に構築した、Ubuntu 18.04環境。 NVIDIA SDK ManagerからJetPack 4.2をインストールしようとしたところ、(仮想)ストレージの空き容量不足で失敗してしまいました。 ストレージの拡張は、Vagrantのプラグインで行えそうです。 Vagrantプラグインについて情報源の覚書と、ストレージの拡張手順を記録したいと思います。 Vagrantのストレージ拡張手順 VirtualBox向け Vagrantのプラグイン一覧 Vagrantを便利に使用させて頂くとき、様々な機能を提供して下さる各種プラグインは必須かと思いますが。 そのプラグインの一覧は、このあたりにまとめられているようです。 Available Vagrant Plugins · hashicorp-vagrant Wiki · GitHub こちらを拝見致しますと。

Ubuntu Server 18.04 LTS でのスワップファイル設定を備忘録としてまとめておきたいと思います。 スワップファイル設定 #スワップ設定を確認 $ sudo cat /proc/swaps #スワップファイルを作成するディレクトリを作成 $ sudo mkdir /var/swap/ #スワップファイルとして、2Mのブロックサイズのものを2048個作る $ sudo dd if=/dev/zero of=/var/swap/swap0 bs=2M count=2048 #パーミッション変更 $ sudo chmod 600 /var/swap/swap0 #スワップファイルをスワップに割り当てる $ sudo mkswap /var/swap/swap0 $ sudo swapon /var/swap/swap0 #起動時に自動的に設定されるようにする $ sudo nan

# set size to absolute value, leaving empty (default) then uses computed value # you most likely don't want this, unless you have an special disk situation # CONF_SWAPSIZE=100 CONF_SWAPSIZE=1024

この記事を書く理由 単純に情報量が少ないのと、公式メンバーによるミスリードがあったから。 公式メンバーのミスリードって言うのが下記URL先のDiscussionでの公式メンバーの返答内容！ 「Parsing csv file with dynamic headers/columns」(ヘッダー/カラムを動的に取得してCSVファイルを解析する) ↓問題の返信内容 仕事上、初めてLogstashを使うことになって調べていたときにこのコメント！ 俺、信じたからね！冗談抜きで信じて打ち合わせのときに言っちゃったからね！！ 「LogstsashだとCSVファイルのカラム名とか動的に変更できない」って！！！ けど、公式ドキュメントとか読みながら色々と試したら、Column名を動的にできちゃったときにどれだけ公式メンバーのこのコメントにムカついたか！！！！ そんなこんなでやり方について書こうという気にな

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに O`REILLY発行の マイクロサービスアーキテクチャ を読みました。 非常に興味深く、これまで主に企業向けエンタープライズ開発に関わってきた自分にとっては、今後のソフトウェアエンジニアとしてのキャリアを作っていくには、考え方の転換が必要だと気付かされる内容でした。 本書の内容は広範囲に渡りますが、特に重要と感じた要点を整理(かなり長いですが)しておきたいと思います。（後編 との2部構成です） 要点 はじめに マイクロサービスを取り巻く技術の進歩は早く、マイクロサービスを実現する特定の技術を習得することよりも、その本質的な考え

New Relic Now Dream of innovating more? Start living the dream in October.

【コンテナのデプロイを簡単にしませんか？】ECSのデプロイツールである「ecspresso」を触ってみた こんにちわ、札幌のヨシエです。 先日のAWS DevDay Tokyo 2019は自分も参加出来て本当に勉強になりました。 今回は発表された複数セッションで度々登場した「ecspresso」が気になったので使用感を知りたく触ってみました。 ecspressoとは？ 面白法人カヤック様から提供されているGo製のECSデプロイツールです。 kayac/ecspresso 読み方は「エスプレッソ」というようです。 インストール方法(macOSのみ) brew install kayac/tap/ecspresso 確認バージョン % ecspresso version ecspresso v0.11.1 ECSサービスのコードエクスポート 最初にやることとしてecspressoで管理出来る設

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

REST APIによる設計 最近のシステムは様々なデバイスやスケーラビリティを重視するため、各システムを分割し軽量なAPIで連携するマイクロサービス的なアーキテクチャスタイルが増えてきています。 そして、そのAPI連携で広く採用されているのが、REST APIです。 しかし、こうした設計を行っていくには、適切に考慮、選択しなければならないことも多くあります。 URL、パラメータ、エラーなどの設計 各言語ごとのライブラリや、サーバ、クライアントの選定、設計 認証、認可 ドキュメント管理 ユニットテスト、インテグレーションテスト、モック、Consumer-Driven Contracts 開発用ツール 絶対的スタンダードがない状況下で、こういった問題はシステムやメンバーが増えるにつれ複雑化していき、設計や管理、その仕組み作りに時間を取られ、本来の目的となるべき機能開発の時間を失っていくことにな