2020/08/31開催の、Infra Study Meetup #5「企業に必要とされているインフラ技術とこれから」のLTでお話した内容です。 https://forkwell.connpass.com/event/183909/

例外はたくさんあるのでこちらの表はあくまでも参考です。 バッチ更新の場合はcrontabやAirflow、Rundeckなどのワークフローエンジンが使えます。 一方、リアルタイム更新ではAWS KinesisやGCP pub/sub等を活用したり、Apache Beamなどを用いたりしてデータパイプラインを構築することがあります。 アイテムの特性と検索時のクエリ 検索対象となるアイテムの特性と検索する際にどのようなクエリが想定されるかを考えます。 全文検索エンジンを使っているので、基本的にはテキストにより表現されているとは思いますが、どのようなフィールドが存在するか、テキスト以外の検索項目などを洗い出します。 クエリに関しても基本は「キーワード」ですが、整理したアイテム情報に対してどのようなクエリで問い合わせが可能かを考えます。 システムとして「誰」が検索結果を取得するか、検索結果をどの程

マイクロサービスについて考えていたら疲弊したので、少し技術者らしく形式的に見てダメのものを思考から削ぎ落としたいと思った。 グラフ理論などコンピュータサイエンスの基礎を交えて話をするが、基本的には当たり前のことしか言わないと思うのでここに書くことを意識せずとも暗黙的に実践している人も多いだろう。 なお、個人の意見でしかないのであっているか間違っているかはわからないし、筆者にこの記述に反した実装を否定する意図はない。 今回は適当に書き散らかすのでかなりテイストが違うが他のブログと同一人物が書いている。乗っ取り等ではないです。 TL;DR マイクロサービスはDAGとすると考えやすいしデプロイしやすい 閉路があるなら設計を見直した方がいい DAGかどうかはサブシステムレベルでそれぞれ考えると簡単 デプロイに関係するリポジトリでは閉路がないことを意識させる設計にするといい マイクロサービスと疲弊

自動運転レベル3の法整備が進んだ 2019年12月1日から施行となった道路交通法改正で、運転中の携帯電話使用、いわゆる「ながらスマホ」（ながら運転）の厳罰化が話題になっている。しかその横で、レベル3の自動運転技術実用化のための改正も用意されていた。 それが「自動車の自動運転の技術の実用化に対応するための規定の整備」だ。こちらの施行は2020年5月下旬までの施行が予定されている。 ちなみにレベル3の自動運転とは、高速道路などの限定エリアでクルマのシステムが運転手に代わってクルマの運転操作を行なう。そのときに運転手は、周囲の状況を監視する必要はない。レベル3の自動運転中は、運転手はハンドル操作から解放されるのだ。ただし、何か問題が発生したり、もともとの走行条件から外れたときは、運転操作をシステムから運転手に引き継ぐというもの。 だが、こうしたレベル3の自動運転は、実際のところ実用化に至っていな

2019.4.10に行われたAWSのイベント"ML@Loft" での登壇スライドです。 https://awsmlatloft20190410tokyo.splashthat.com/ こちらのスライド↓で話しきれなかった部分をまとめた内容です。 https://speakerdeck.com/ysdyt/to-incorporate-deep-learning-into-actual-operation-system

一度聞いたら忘れられないような印象深いバグというものがある。僕は数値のオーバーフローと聞くと必ずこの2つのバグを思い出してしまう。どちらも面白いエピソードなのでちょっと紹介してみよう。 一つ目は、初代Civilizationにあったバグである。Civilizationは文明間で戦う戦略シミュレーションゲームで、チンギスハンとかエリザベス女王みたいなプレイヤーを選んで、世界制覇か宇宙開発競争での勝利を目指すというゲームだ。 初代Civilizationにあったバグは、非暴力主義のガンジーが突然核攻撃してくるというものだった。原因は文明が民主主義を採用すると攻撃性が2下がるというロジックだった。初代Civではガンジーの攻撃性は全プレイヤー中で最小の1なのだが、ゲームが進んでインド文明が民主主義を採用すると、攻撃性がマイナス2されてオーバーフローで255になり、ガンジーがゲーム中で突如、極度に攻

がちがちのエンタープライズ系で既存システムのマイクロサービス化に取り組むときに注意したいこと。 儲かる機能をマイクロサービス化する マイクロサービスの最大の目標は「サービス化された機能のリリースサイクルを、その機能を管理するチームが独自に決定できるようにする」ことです。つまり、システム内の他の機能や他システムとの調整をしないで、いつでも好きなようにリリース可能であることが大事です。もちろん、日中に。 それは何のためかというと「機能をどんどん改善して儲けたい」からです。これまでは、儲かる機能を改善をしようとしても、その他の機能や他システムとの調整や影響範囲調査やリグレッションテストに時間がかかってリリーススピードをあげることができませんでした。この問題が解決できればウハウハできるはずです。 マイクロサービスのサービス分割点について聞かれることが多いですが、それは「ビジネス部門が『早くリリース

If you were looking for MSDN or TechNet blogs, please know that MSDN and TechNet blog sites have been retired, and blog content has been migrated and archived here. How to use this site Archived blogs are grouped alphabetically by the initial letter of the blog name. Select the initial letter from the TOC to see the full list of the blogs. You can also type the name of the blog or the title of the

Java VMで監視すべき4つのポイント 前回は、システム運用者がJava VM（JVM⁠）⁠、アプリケーションサーバ、Javaアプリケーションから、ログ、JMXとMBean、ダンプを使用して情報を取得する方法を紹介しました。今回と次回では、JVMからどのような情報を最低限取得するべきか、詳細を紹介します。 システム運用者は、JVMが滞りなくアプリケーションを支援できているか、アプリケーションが動いているかを確認する必要があります。JVMは内部で管理しているさまざまなリソースに関する情報を持っていますが、システム運用者がそれらをすべてを監視することは不可能です。そこで、たくさんある情報の中から、次の4つのポイントに絞ってJVMの動きを監視します。 JVMがアプリケーションを中断することなく実行できているか JVMがアプリケーションのリソースを奪っていないか OSのリソースが十分に割り当てら

負荷試験対策ミーティング ここでは、チームメンバーを集めて、システム要件の再確認と、バックエンドのアーキテクチャを再確認をまず行います。すなわち、「求められているもの=要件」と、「提供できるもの=アーキテクチャ」の確認です。ここの認識が揃っていないと、的はずれな負荷試験を実施してしまうことになりかねません。立場や役割にかかわらず、サービス全体として考えるべきです。 負荷試験の目的 負荷試験を行うことによって、何を示したいのか決めます。今回は、以下の目的を定めます。 サービスリリース後、想定されるピーク時のリクエストを受けた場合でも、問題なく稼働を続けられることを確認する システムのスループット限界値を確認する 負荷試験の観点 たいていのWebシステムの場合、昼夜を問わず稼働し続けるものとなるでしょう。今回例にとったシステムも24時間365日、リクエストを受け付けるものとします。この場合、観

4. 4プロジェクトにおける失敗例 ! 十分なテスト期間を設けられず、本番後も障害多発 ! プログラマに仕様が間違って伝わり手戻りが発生 ! リリース前のチェック不十分で本番公開してから修正するのが常態化 ! 仕様をドキュメント化しておらず、人が抜けると誰も分からない状態に ! 受注後にお客様からの要望が膨らみ、工数が大幅に超過 ! 要件通りに実装したが「そんな事言ってない」と言われた ! リリース直前になってお客様の上司の鶴の一声で仕様変更が発生 ! 進 管理がうまく機能せず、リリース前は深夜残業が常態化 5. 5 ! メンバーのスキルの問題？ ! メンバーのマインドの問題？ ! 十分な時間がないから？ ! 予算が少ないから？ ! 人が足りないから？ ! お客様が無茶を言うから？ ! お客様の社内事情のせい？ 失敗の原因は何なのか？

先日、社内で開発・利用しているソフトウェア群をOSSとして公開させていただきました。その背景や経緯については、こちらをご参照ください。 こちらのblogでは主に、利用方法や技術的な点について記述していきます。 このソフトウェアで何が出来るようになるのか? このソフトウェアで出来ることはたった3つです。 リクエスト-レスポンス クライアント、もしくはサーバからメッセージの送信とそれに対する返信が可能となります。 イベント通知 クライアント、もしくはサーバから何らかのイベントを他方に任意のタイミングで通知することが可能となります。 グループへの配信 サーバもしくはクライアントを任意のグループとしてまとめ、そのグループに対して同じイベントを通知することが可能となります。 目指したところは、様々な機器間での(IP上で出来る限りの)リアルタイム・オブジェクト伝送です。現時点でリリースさせていただいて

Scalaの型システムが先進的であることは、皆さんもご存じのことかと思います。この投稿では、Scalaの型システムのみを使った クイックソート アルゴリズムの実装方法をご紹介したいと思います。なお、ここで紹介するデモの完全なコードは こちら をご覧ください。 自然数 まずは準備から。ソートアルゴリズムを実装するには、ソートする対象が必要ですよね。ここでは自然数を用います。もちろん、Scalaの型システムには利用可能な自然数はありません。そんなわけで、全ての自然数の型を作る必要があります。 型を無限に作るというのは、恐らく時間の浪費になるでしょうから、ここはもう少し賢い手を考えます。そう、数学を使いましょう。 ペアノの公理 ペアノの公理とは、自然数を形式的に定義するためのシンプルな方法のことです。 0 は特別なものとする。 0 は自然数である。 全ての自然数 n には、それに続くもう1つ別の

性能測定コマンド sar ：システム稼動状況 mpstat：CPU稼働状況 vmstat：仮想メモリ稼働状況 free ：メモリ情報 iostat：ハードディスク,CPU使用状況 ps ：プロセス情報 top ：プロセス情報 目安 CPU CPU使用率：90%以上 CPU待ちプロセス数：2より大きい(1CPUあたり) メモリ メモリ使用量：ページングの発生回数 ディスク ディスク使用率：80%以上 ネットワーク ネットワーク使用率：80%以上 パケット衝突回数：送信パケットの10%以上 sarコマンド # sar [オプション] [-o ファイル名] 取得間隔 取得回数 -u：CPU：CPU使用状況 -q：CPU：プロセスキュー、システム稼動負荷 -r：メモリ：メモリ,スワップ領域使用状況 -R：メモリ：メモリ動作状況 -B：メモリ：ページング統計値 -W：メモリ：スワッピング統計値 -b

2. Most of our systems are big “Future transformers” - Marius Eriksen 3. predictable performance is difficult to achieve. In a predictable system, worst-case performance is crucial; average performance not so much. ... predictable performance is difficult to achieve. In a predictable system, worst-case performance is crucial; average performance not so much. - Peter Schuller 4. predictable perform