Hyperscan is a high performance regular expression matching library from Intel that runs on x86 platforms and offers support for Perl Compatible Regular Expressions (PCRE) syntax, simultaneous matching of groups of regular expressions, and streaming operations. It is released as open source software under a BSD license. Hyperscan presents a flexible C API and a number of different modes of operati

OSC 2019 Osakaの登壇資料です。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 弊社で某テック・リーダーの遺産として「PostgreSQL 運用管理トレーニング」が1月に実施されたのはまだ記憶に新しいところ。 あのときのリーダーの言葉、憶えているうちに書き留めておこう。 「Managed Service で RDB を使う時代になっても、この研修で扱う知識はDBAもApplication Engineerも持っておくべきだと信じて、企画し実現しました」 （この記憶はほんとうか？　意訳や美化が入っているかもしれない） 事例の1つを共有しましょう。 担当プロダクトの背景事情 担当プロダクトで使っているPostgreSQ

Amazon Web Services ブログ 新機能 – FreeRTOS カーネルでの RISC-V のサポート FreeRTOS は、マイクロコントローラと呼ばれる小型でシンプルなプロセッサ用に設計された定評のあるオペレーティングシステムです。MIT オープンソースライセンスの下で利用可能であり、多くの異なる命令セットアーキテクチャ (ISA) で動作します。Amazon FreeRTOS は、Bluetooth Low Energy、Over-the-Air Updates (無線によるアップデート)、Wi-Fi のサポートを含む追加のネットワーキングおよびセキュリティ機能を提供する IoT 指向のライブラリのコレクションにより FreeRTOS を拡張します。 RISC-V は、シンプルで拡張性があり、実装が容易であるように設計された、無料でオープンな ISA です。RISC-V

米Rancher Labsは2月26日、エッジコンピューティング向けの軽量Kubernetesディストリビューション「k3s」を発表した。軽量でインストールが容易といった特徴があるという。 Rancher Labsは「Kubernetes as a Service」としてマルチクラスタ環境のKubernetes管理などを提供している。k3sは同社が2018年に開始したサーバーレスやサービスメッシュの実験プロジェクト「Rio」の組み込みコンポーネントだったものを、独立したプロジェクトにしたもの。ARM64/ARM v7向けに最適化されており、サイズは40MB以下と軽量（RAMの使用は512MB）、Raspberry Piのような小型コンピュータで動かすことができる。エッジコンピューティングやIoTなどに適しているという。 k3sはKubernetesの公式認定を受けたディストリビューションで

アプリケーションとサービス さくらのクラウドと併せて利用できる様々なアプリケーションやサービスです。

This blog was originally published in February 2019 and was updated in September 2023. Web applications rely on databases to run the internet, powering everything from e-commerce platforms to social media networks to streaming services. MySQL is one of the most popular database management systems, playing a pivotal role in the functionality and performance of web applications. In today’s blog, I’l

アイコンやロゴ、見出しやイラストなど、写真以外の画像ではSVGを使うことが多くなりました。 PNGのように荒れたりしないし、使い方によってはCSSで変更することができるので便利です。 ただ、PNGと違ってSVGは汎用性が高い分、作り方や使い方で気をつけることがたくさんあります。正直まだ把握しきれていないところもあるんですが、社内への共有も含めてドキュメント化しています。 もし、「ここが間違ってるよ」とか「こうしたほうがいいよ」みたいなことがあれば、Qiitaのコメント欄やGitHubのIssueをいただけたらとても嬉しいです。 SVGの作成時に注意すること サイズ削減のためにすること 「オブジェクト」→「パス」→「単純化」でアンカーポイントの数を最小化する（見た目を損なわない程度に留めます） 非表示にしているレイヤーを削除する（非表示レイヤーも書き出されます） 1回しか使わないシンボル図形

セキュリティ企業の米Eclypsiumによると、クラウド各社が提供する「ベアメタルクラウド」の弱点と、以前から指摘されていたBMCファームウェアの脆弱性を組み合わせれば、DoS攻撃を仕掛けられたり、情報を盗まれたりする恐れがあるという。 ITインフラをクラウドに移行させる企業が増える中で、セキュリティ企業の米Eclypsiumは2月26日、クラウド各社が提供する「ベアメタルクラウド」のオプションに関するセキュリティ問題を指摘した。以前から報告されていた脆弱性と、ベアメタルクラウドのプロセスに存在する弱点を組み合わせれば、サービス妨害（DoS）攻撃を仕掛けられたり、情報を盗まれたりする恐れがあるとしている。 Eclypsiumによると、クラウドサービス事業者は、価値の高いアプリケーションを運用する顧客のために専用の物理サーバを割り当てる「ベアメタルクラウド」のオプションを提供している。 だが

Googleの「Go」プログラミング言語開発チームは2月25日、最新版となる「Go 1.12」を公開した。TLS 1.3のオプトインサポート、モジュールのサポート強化など、次期1.13に向けた強化が加わった。 GoはGoogleが開発するプログラミング言語。コンパイル型の言語で、Pythonのようなプログラミングの容易性や速度とC/C++の安全性の両方を備えることを目指す。 Go 1.12は、2018年8月に公開されたGo 1.11に続く最新版。本バージョンではcrypto/tlsパッケージにRFC8446で定義されているTLS 1.3のサポートが加わっている。GODEBUG環境変数に「tls13=1」を追加することで有効になり、ConnectionStateのTLSUniqueなど一部を除くすべてのTLS 1.2の機能がTLS 1.3で利用できるという。TLS 1.3は次期1.13ではデ

最近のWebフレームワークには、セキュリティ面で優れたものもあり、セキュリティの知識を持っていなくてもある程度の対策ができてしまいます。 例えば、DjangoなんかはORマッパーを使っておけばSQLインジェクションも防げますし、CSRF対策もさくっとできます。 しかし、アプリケーションレベルでの対策をいくらやっても、サーバー自体のセキュリティがあまければ元も子もありません。個人開発で運用しているようなサービスであっても攻撃されたためにサーバーの停止、もしくはレンタルサーバーを解約することになったなんて話もあります。 DDoS攻撃を喰らったらConoHaを解約する羽目になった話 http://www2.gyafuuuun.com/2015/04/ddos%E6%94%BB%E6%92%83%E3%82%92%E5%96%B0%E3%82%89%E3%81%A3%E3%81%9F%E3%82%

こんにちは。サイオステクノロジー OSS サポート担当 山本 です。 唐突ですが、Zabbix を使っていて直面する問題は概ね 3種類に分けられるのではないか、と考えています。「思った通りに設定できない」「Zabbix を使っていたら disk full になってしまった！！」「その他諸々」。この3つです。 今回は Zabbix が要求するディスク容量について、考えてみます。 ■Zabbix の housekeeper と RDB 「Zabbix がどれだけディスク容量を要求するのか」について確認する前に、Zabbix の housekeeper 機能についてと、RDB のある性質を確認しておかなければなりません。 housekeeper は Zabbix のプロセスの一つで、デフォルトでは 1時間に 1度 DB 上の保存期間の過ぎたデータを 5000レコードまで削除してくれます。この h

こんにちは。メルペイで、決済・振込申請のバックエンドソフトウェアエンジニアをしている id:koemu です。 今日は、バッチ処理を行う理由について、考察を深めて設計に活かしていく話をしたいと思います。 はじめに バッチ処理とは、ある決まったタイミングで1つのプログラムが複数のデータを 一括処理 することを指します。この反対の言葉として、オンライン処理があります。オンライン処理とは、お客様の操作を初めとしたイベントをもとに 逐次処理 されるものです。OLTP(Online Transaction Processing)とも言います。 本エントリでは、バッチ処理を採用するにあたり、どういったユースケースが適切なのかを整理して、今後のソフトウェアの設計の指針にできることを目指しています。今回は、「バッチ処理を採用するとき」と「バッチ処理の設計」の2つについて取り上げます。 バッチ処理を採用する

参考までに、Kubernetes単体の要件としては、API Serverを動かすのには1GB以上のRAMがあって、x86_64のCPUを使っているのが「望ましい」とドキュメントにはそれとなく書かれていたりします。ですが、実際にはもっと高スペックなマシンを利用するケースが多いはずです（無論、規模によります）。 それと比べ、k3sは非常に小さな環境でも動作します。どうしてなのでしょうか？ いくつか、特徴的な部分をピックアップしてみることにします。 Kubernetesの中で利用シーンの少ない機能を削っている Kubernetesには、後方互換性のために残しているレガシーな機能やAPIや、新たに追加されようとしているAlphaやBetaの機能が多数存在します。 k3sでは、軽量化のためにそれらの機能を削っています。 デフォルトのetcdをsqlite3にしている etcdは非常に高い信頼性を誇る

グリー開発本部 Meetup #3 モニタリング ( https://gree.connpass.com/event/119923/ )でお話しした、「入門 監視」を翻訳するに至った理由と、「監視の目的とは何か？」を問いかければ「入門 監視」の内容が当たり前に思えてくるという話 入門 監視 htt…

2. Copyright © GREE, Inc. All Rights Reserved. 自己紹介 ● わりとMySQLのひと ● 3.23.58 から使ってる ● むかしは Resource Monitoring も力入れてやってた ● ganglia & rrdcached の（たぶん）ヘビーユーザ ● 2010年くらいから使い始めた ● gmond は素のまま使ってる ● gmetad は欲しい機能がなかったので patch 書いた ● webfrontend はほぼ書き直した ● あとはひたすら python module 書いた ● ganglia じゃなくても良かったんだけど、とにかく rrdcached を使いたかった ● というわけで、自分は Monitoring を大事にする ● 一時期は Flare という OSS の bugfix などもやってた ● むかしあげた

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

※この投稿は米国時間 2019 年 2 月 1 日に Google Cloud blog に投稿されたものの抄訳です。 アプリケーション開発の潮流がインフラストラクチャ管理からサーバーレスへと移りつつある中、私たちはサーバーレスの NoSQL ドキュメント データベースである Cloud Firestore の一般提供を開始しました。データベースのロケーションとして従来の 3 つに 10 の新ロケーションを追加したほか、リージョン インスタンスの料金を大幅に値下げし、Stackdriver と連携したモニタリングにも対応しています。 Cloud Firestore は、ウェブ、モバイル、IoT の各アプリケーションでデータの格納や同期、クエリを簡単に行えるようにするフルマネージドのクラウドネイティブ データベースです。ライブ同期、オフライン サポート、数百ものドキュメントとコレクション全体

Amazon Web Services ブログ AWS CloudFormation を使用して、推奨されるベストプラクティスによって Amazon Aurora PostgreSQL DB クラスターをデプロイする このブログ記事では、Amazon Aurora PostgreSQL クラスターのクイックスタートリファレンスデプロイメントを構築する方法について説明します。クラスターはセキュリティと高可用性のための AWS のベストプラクティスに基づいており、AWS CloudFormation を使用して速やかに作成できます。必要に応じてカスタマイズできる CloudFormation の一連のサンプルテンプレートを見ていきます。 Amazon Aurora は、クラウド用に構築された MySQL および PostgreSQL 互換のリレーショナルデータベースです。Aurora は、ハイ

Git開発チームは2月24日、バージョン管理システムGitの最新版「Git 2.21.0」を公開した。新しい日付フォーマットの導入、パフォーマンス改善などが特徴となる。 Git 2.21は、2018年12月に公開されたGit 2.20に続く最新版。 cURLライブラリでフェッチングとプッシュの際のHTTPバージョンを強制できる「http.version」環境変数が加わった。また、「fast-export」および「fast-import」で小規模な修正や機能強化が加わった。 新しい日付フォーマット「–date=human」を導入した。「x日前」のような「–date=relative」形式とは異なり、日時を正確に示すことができるうえ「–date=default」よりも読みやすいとしている。出力先に応じて自動でフォーマットを変更する「–date=auto:human」オプションも導入した。 リト

Amazon Relational Database Service (RDS) for MySQL および Amazon RDS for MariaDB を使用する際に、R5 インスタンスタイプを起動できるようになりました。Amazon EC2 R5 インスタンスは、Amazon EC2 の次世代メモリ最適化インスタンスです。R5 インスタンスは、専用ハードウェアと軽量ハイパーバイザーを組み合わせた Amazon EC2 Nitro System 上に構築されます。このシステムでは、実質的にホストハードウェアのすべてのコンピューティングリソースとメモリリソースがお客様のデータベースインスタンスに提供されます。 1:8 の vCPU 対メモリ比を提供する R5 インスタンスは、トランザクション処理、データウェアハウジング、分析などのメモリ負荷の高いデータベースワークロードに最適です。R5

GA technologies SREチームの永冶です。 弊社のオフィスが2019年2月25日から六本木に移転するため、IPアドレス制限の設定変更などに追われていました。。 今回はIPアドレス制限の設定変更と関連して、 送信元 IPアドレスに基づいて AWS へのアクセスを拒否する上でハマったことを書き、何が問題でどう対処すれば良いのかを書きます。 AWSを利用していて、今後同じ状況に立った人が、迅速に対応できることを目的にしています。 「送信元 IPアドレスに基づいて AWS へのアクセスを拒否する」とは 発生した問題 1. Secrets Managerのクレデンシャルが作成できません。 2. Lambdaの環境変数の値が取得できません。 3. SSMパラメータストアの一覧を取得できません。 解決方法 Secrets Manager、Lambdaの問題に対する解決方法 SSMの問題に対

Pinterest executives got a surprise during last year’s holiday season. Consumers were spending so much time using the online scrapbook that Pinterest’s computing bills on Amazon Web Services—the internet retailer’s cloud offering—had shot past their expectations. Pinterest, which had paid in advance for AWS’s services, had to buy additional capacity at a higher price. That contributed to Pinterest

Mongo-Shake is developed and maintained by Nosql Team in Alibaba-Cloud. Mongo-Shake is a universal platform for services based on MongoDB's oplog. It fetches oplog from source mongo database, and replays in the target mongo database or sends to other ends in different tunnels. If the target side is mongo database which means replay oplog directly, it's like a syncing tool that used to copy data fr

フローチャート ※依存関係・フローチャートはJavaScriptのみです。 対応言語は、下記の通り。 JavaScript TypeScript Python PHP Java C++ 望む言語が他にあればIssueにどうぞ、とのことです。 Code Crumbsのデモ デモでは、JavaScriptのコードでその動作を確認できます。 デモページ 依存関係はDependenciesをオンに、フローチャートはFlowChartタブをクリックします。 Code Crumbsの使い方 セットアップ codecrumbをインストールします（yarn global add codecrumbs）。 codecrumbs -d project-src-dir -e project-src-dir/index.jsを実行し、プロジェクトに合わせてパラメータを変更します。-dはソースコードを含むディレクト

ビットコイン／ブロックチェーン本も既にたくさん出ているが、Python で Bitcoin ライブラリのプログラミングを解説する Programming Bitcoin という本が出る。こういう本を出すのは、やはりオライリーだよな。 Programming Bitcoin: Learn How to Program Bitcoin from Scratch 作者: Jimmy Song出版社/メーカー: O'Reilly Media発売日: 2019/03/15メディア: ペーパーバックこの商品を含むブログを見る Programming Bitcoin: Learn How to Program Bitcoin from Scratch (English Edition) 作者: Jimmy Song出版社/メーカー: O'Reilly Media発売日: 2019/02/11メディア:

ChatGPT関連情報の追い方、個人・業務での使い方、サービスへの組み込み方、 ABEJAでの取り組み4例、ここ2週間のトピックなど行けるところまで

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 新進気鋭のプログラミング言語である「Julia」は、同言語の開発者らによると、プログラマーの間で勢いを増しているという。 マサチューセッツ工科大学（MIT）の研究者らによって2009年に開発されたJuliaは、2012年に公開され、この1年の間に最も人気のある言語の1つとしてランクインするまで急成長を遂げている。 まだ「Python」ほどの人気はないが、それでもプログラミング言語の人気を順位付けしたTIOBE Indexでトップ50の中に入っており、開発者向けアナリスト企業のRedMonkは注目すべき言語と見なしている。 Juliaの開発者ら4人を含むチームが創業したJulia Computingによると、オープンソースのJuliaは「

TimeTree の SRE が海外展開においてやったこと＆やってないこと by【TimeTree × みてね勉強会】 グローバル対応への挑戦 〜SRE/インフラ編〜

JAWS DAYS 2019 Aトラック https://jawsdays2019.jaws-ug.jp/session/1918/

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? initはもはや昔のしくみで、OS起動・停止時の制御はsystemdが行う。initよりも並列度を高める設計思想なので、HWの進化ともあいまって最近のOS起動はとにかく速い。 操作には冪等性があるし、Pre/Postといったライフサイクルフックな仕組みもあるので、応用の幅は旧式のinitと比べるとかなり広がっている。独自にシェルを組まずとも、ユニットファイルと呼ばれる定義ファイルをsystemdに食わせてやるだけでよい。 やはりなによりも__統一されたインタフェースでサービスを操作可能__というのがいい。起動・停止はsystemctlコ

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

PS課、佐竹です。 セキュリティグループにて驚きのリリースがありましたのでご連絡いたします。 セキュリティグループにて、最大1,000のルールが記載可能になりました セキュリティグループの250ルールとは セキュリティグループの300ルールとは EC2の「制限」一覧から確認するセキュリティグループのルール数 セキュリティグループの上限緩和申請を行う 申請完了時 2019年2月25日 追記事項 (詳細な申請理由の必要性) まとめ セキュリティグループにて、最大1,000のルールが記載可能になりました Announcement: Now add upto 1000 security group rules per network interface https://forums.aws.amazon.com/ann.jspa?annID=6599 今朝、上記のアナウンスが発表されました。 これ

はじめに 貧乏IoTには100均が欠かせませんよね。 さて、以前から「もしかしたらな〜」と思っていて試していなかったこと。 USBで電源供給できるIoTセンサー類のバッテリーに100均のやつが使えないか？ まあいつか試そうと思っていて機会がなかったが、昨日ダイソーに行ったときに思い出したので108円(税込）の電池式モバイルバッテリーを買ってやってみました。 やってみた 結論から言うと、うまくいきました。 オムロン環境センサ USB型（2JCIE-BU)をダイソーの電池式モバイルバッテリーにつけてみた。電源が入ってデータが送信され、途中で切れることがなかった。 1時間ほど環境センサのデータをAmbientに送ってみたらちゃんと送信されつづけていました。うむ、これはコスパがいい！ なにがうれしいのか？ それ、なにがうれしいの？という方もおられると思うので、うれしいことを説明しておきます。要点は

As I wrote a few weeks ago in my post about Gnocchi 3.1 being released, one of the new feature available in this version it the S3 driver. Today I would like to show you how easy it is to use it and store millions of metrics into the simple, durable and massively scalable object storage provided by Amazon Web Services. Installation The installation of Gnocchi for this use case is not different tha

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Modern CPU models have a huge number of cores. For many years, applications have been sending queries in parallel to databases. Where there are reporting queries that deal with many table rows, the ability for a query to use multiple CPUs helps us with a faster execution. Parallel queries in PostgreSQL allow us to utilize many CPUs to finish report queries faster. The parallel queries feature was

F5 Sites DevCentral Connect & learn in our hosted community F5 Labs The latest threat intel and research to help protect your apps MyF5 Your key to everything F5, including support, registration keys, and subscriptions Partner Central Research and support for partners LearnF5 Guidance, insights, and how to use F5 products Contact F5 Contact F5 Sales Talk to an F5 sales representative Contact F5 Su

オープンソースのインメモリデータストア「Redis」を開発する米Redis Labsは2月21日、Redisのアドオンモジュールで採用するライセンスを再変更したことを発表した。新しいライセンスは「Redis Source Available License（RSAL）」となる。 Redis Labsは2018年8月、パブリッククラウド事業者がオープンソース技術に貢献することなくマネージドサービスを提供しているとして、「Redis Modules」とするアドオンの一部のライセンスをAGPLから「Commons Clause」で修正したApache License 2.0に変更していた。 今回、前回の変更後に寄せられたフィードバックや、Apache License 2.0のみに縛られるという誤解が生まれたこと、Common Clauseの「サポート」に関する制限がRedis Modulesのエ

Kubernetes Meetup Tokyo #16 Kubernetes on AWS after EKS & Recommendations on production EKS clusters ~ EKS以後の世界とeksctlの話 ~ https://k8sjp.connpass.c…

はじめに 以前の記事DNS over HTTPSの必要性についてで触れたEncrypted SNIについて、その有効性と現在韓国で行われているSNIフィールドを利用したブロッキングを回避する方法についての説明です。 Encrypted SNIとは Encrypted SNIは、現在広く使われているTLS1.2以下のハンドシェイク時、接続したいドメインが「平文」で流れ、盗聴による接続先の推測やブロッキングが行われてしまうという問題を解決するための手法です。Encrypted SNIの手法については当初の案と現在Cloudflare社がサービスを運用している案で大きく異なるため、簡単に説明します。 トンネリング方式 TLS接続時に、まず中継サーバへTLS接続し、そのTLSコネクションの中で目的のドメインまでTLS接続を行う方式です。"TLS in TLS"と呼ばれています。 TLS 1.3 E

I was asked recently on Twitter to better explain Podman and Buildah for someone familiar with Docker.  Though there are many blogs and tutorials out there, which I will list later, we in the community have not centralized an explanation of how Docker users move from Docker to Podman and Buildah.  Also what role does Buildah play? Is Podman deficient in some way that we need both Podman and Builda