タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Summary of the Amazon Kinesis Event in the Northern Virginia (US-EAST-1) Region
November, 25th 2020 We wanted to provide you with some additional information about the service disruption that occurred in the Northern Virginia (US-EAST-1) Region on November 25th, 2020. Amazon Kinesis enables real-time processing of streaming data. In addition to its direct use by customers, Kinesis is used by several other AWS services. These services also saw impact during the event. The trig
Amazon Kinesis Data Firehose now supports data delivery to HTTP endpoints
Amazon Kinesis Data Firehose now supports streaming data delivery to a generic HTTP endpoint. This feature enables you to use a fully managed service to stream data to an HTTP endpoint without building custom applications or worrying about operating and managing the data delivery infrastructure. Amazon Kinesis Data Firehose incorporates error handling, auto-scaling, transformation, conversion, agg
はじめに 2019年のre:Inventで、Amazon Kinesis Video Streams （以後KVSと表記) に WebRTCを使ったリアルタイム通信が加わりました。 ブラウザ(JavaScript)向けのSDKだけでなく、組み込み用途のC言語SDKや、iOS/Androidといったモバイルアプリ向けのSDKがあるのが特徴です。 Web用SDK ... https://github.com/awslabs/amazon-kinesis-video-streams-webrtc-sdk-js 組み込みC用SDK ... https://github.com/awslabs/amazon-kinesis-video-streams-webrtc-sdk-c iOS用SDK ... https://github.com/awslabs/amazon-kinesis-video-st
Amazon Kinesis Data Streams On-Demand – Stream Data at Scale Without Managing Capacity | Amazon Web Services
AWS News Blog Amazon Kinesis Data Streams On-Demand – Stream Data at Scale Without Managing Capacity Today we are launching Amazon Kinesis Data Streams On-demand, a new capacity mode. This capacity mode eliminates capacity provisioning and management for streaming workloads. Kinesis Data Streams is a fully-managed, serverless service for real-time processing of streamed data at a massive scale. Ki
Introducing Dynamic Partitioning in Amazon Kinesis Data Firehose
Today we announced Dynamic Partitioning in Amazon Kinesis Data Firehose. With Dynamic Partitioning, you can continuously partition streaming data in Kinesis Data Firehose using keys within data like “customer_id” or “transaction_id” and deliver data grouped by these keys into corresponding Amazon Simple Storage Service (Amazon S3) prefixes, making it easier for you to run high performance, cost-ef
Amazon Kinesis Data Streams On-Demand – キャパシティーを管理せずに大規模にデータをストリーミング | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Data Streams On-Demand – キャパシティーを管理せずに大規模にデータをストリーミング 2021 年 11 月 30 日（米国時間）、新しいキャパシティーモードである Amazon Kinesis Data Streams On-demand をローンチしました。このキャパシティーモードでは、ストリーミングワークロードのキャパシティーのプロビジョニングと管理が不要になります Kinesis Data Streams はフルマネージド型のサーバーレスサービスであり、ストリーミングされたデータを大規模にリアルタイムに処理します。Kinesis Data Streams は、任意の数のソースから任意の量のデータを取得し、必要に応じてスケールアップおよびスケールダウンできます。2013 年 11 月に
Amazon Kinesis Data Streams + Protocol Buffersで実現するイベント駆動アーキテクチャー
アソビュー！ Advent Calendar 2020 の18日目です。 初めまして、アソビュー！SREのkirimaruです。 最近Amazon Kinesis Data Streams用の社内向けライブラリ「Pelican」を開発したのでその話を書こう！と思ったのですが、Amazon Kinesis Data Streamsの活用事例と合わせて、そもそもこのライブラリを開発する経緯をまず書こうと思います。 余談ですが僕のアイコンはこのライブラリ用のアイコンとして作ったのものです。 アソビュー！ Advent Calendar 2020 の2日目に上記の記事が投稿されています。 その中で今回の主題のひとつであるProtocol Buffersについて下記のように触れています。 🆕 Protocol Buffers / gRPC 以前の記事の時点では、RESTfulなAPIを利用するケー
AWS IoT 再入門ブログリレー Amazon Kinesis Video Streams編 | DevelopersIO
1 はじめに CX事業本部平内（SIN）です。 本企画は、弊社チームIoTメンバーが初心に返ってIoTサービスについて学びなおし、解説してみようというものです。 本エントリーでは、AWSへ動画をライブで簡単かつ安全にストリーミングできる「Amazon Kinesis Video Streams（以下、Kinesis Video Streams）」について紹介します。 Kinesis Video Streamsの主要な機能は、以下のとおりです。 数百万ものデバイスからのストリーミングデータを取り込むために必要な、すべてのインフラストラクチャ扱うマネージドサービス ストリーム内の動画データの耐久性に優れた保存、暗号化、インデックス作成 APIを介したデータへのアクセスが可能 ライブやオンデマンド視聴用の動画再生が可能 コンピュータビジョンと動画分析を活用するアプリケーションを迅速に構築可能 ビ
Audioデータをクラウドに送ってみました。 MQTT(basic ingest) + Amazon Kinesis Data Streams + Amazon Kinesis Data Firehose + S3 (バイナリ) | DevelopersIO
1 はじめに CX事業本部の平内（SIN）です。 ここまで、エッジ側のAudioデータをクラウドへ送信する要領をいくつか試してみました。 上記のうち、最後だけは、バイナリ型式でデータを送ってみたのですが、実は、AWS IoT SDKのMQTTクライアントのPublishもpayloadは、bufferとなってます。 https://awslabs.github.io/aws-crt-python/api/mqtt.html?#awscrt.mqtt.Connection.publish 今回は、AudioデータをJSON化せず、バイナリ形式のまま送信する要領を確認してみました。 2 構成 構成は、前回とほぼ同じです。 デバイスからは、500msec単位で、Audioデータ（バイナリ形式）とタイムスタンプ（バイナリ形式）を結合したものをPayloadとしてMQTTで送信します。 Amazon
Jetson nanoで撮影した動画をAmazon Kinesis Video Streamsに配信してみる
はじめに このブログではJetson nanoを用いて4K動画を撮影する記事をいくつか掲載していますが、今回はJetson nanoで撮影した動画をAmazon Kinesis Videoに配信する方法をまとめます。 前回の記事で、Jetson nanoではGPUをフルに使っても、4K動画のライブキャリブレーション（魚眼レンズのリアルタイム画像補正）ができない事を書きましたが、Jetson nanoでダメであれば動画をクラウドに上げて高速なGPUを使って、処理しようという作戦です。 用意するもの ①ボードコンピュータ 今回の主役Jetson nanoです。Jetson nanoは安価な2GBモデルが発表になりましたが、今回は従来からある４Gモデルを利用します。 ・Jetson Nano 開発者キットは、最新の画像分類、物体検出、セグメンテーション、音声処理などのアプリケーションを小型サイズ
Amazon Kinesis Video Streamsを使ってストリーム映像をAWS上に流してみる【Windows(MSVC)】 | DevelopersIO
Amazon Kinesis Video Streamsを使ってストリーム映像をAWS上に流してみる【Windows(MSVC)】 1 はじめに CX事業本部の平内（SIN）です。 AWS Kinesis Video Streams(以下、Kinesis Video Streams)では、C++,Java,Android用の プロデューサーライブラリが提供されています。 この中で、C++では、各種OS用のものをコンパイルすることで、GStreamer用のエレメント（シンク）を構築することが出来ます。 ここDevelopers.IOでもMacや、RaspberryPI上でこれを試している記事が公開されています。 Amazon Kinesis Video Streamsを使ってストリーム映像をAWS上に流してみる【MacBook Pro】– ClassmethodサーバーレスAdvent Ca
Building a real-time notification system with Amazon Kinesis Data Streams for Amazon DynamoDB and Amazon Kinesis Data Analytics for Apache Flink | Amazon Web Services
AWS Big Data Blog Building a real-time notification system with Amazon Kinesis Data Streams for Amazon DynamoDB and Amazon Kinesis Data Analytics for Apache Flink August 30, 2023: Amazon Kinesis Data Analytics has been renamed to Amazon Managed Service for Apache Flink. Read the announcement in the AWS News Blog and learn more. Amazon DynamoDB helps you capture high-velocity data such as clickstre
New Relic drinks straight from the Firehose: Consuming Amazon Kinesis data | Amazon Web Services
AWS Big Data Blog New Relic drinks straight from the Firehose: Consuming Amazon Kinesis data February 9, 2024: Amazon Kinesis Data Firehose has been renamed to Amazon Data Firehose. Read the AWS What’s New post to learn more. New Relic can now ingest data directly from Amazon Kinesis Data Firehose, expanding the insights New Relic can give you into your cloud stacks so you can deliver more perfect
【速報】Amazon Kinesis Data Streams のデータ保持期間が最大1年に拡張されました #reinvent | DevelopersIO
日本時間2020年12月10日深夜のAWS re:Invent 2020のAnalyticsのリーダーシップセッションにて、Amazon Kinesis Data Streamsのデータ保持期間が最大1年に拡張されたことが発表されました。 データ保持期間 とは Amazon Kinesis Data Streamsは、ストリームデータの保持期間デフォルトの24時間のみでしたが、re:Invent2015のタイミングにレコードの有効期間を24時間から最大168時間（7日）まで延長できるようになりました。 それからはや5年、re:Invent2020では、レコードの有効期間を最大8760時間（１年）まで延長できるようになりました。 データ保持期間の背景 この５年間の間に、Kinesis関連サービスも拡充され、今では誰もが普通のサービスとして利用されるぐらい一般的になりました。 データ保持期間が
Amazon Kinesis Video Streamsを使ってストリーム映像をAWS上に流してみる【RaspberryPi】 min-install-script編 | DevelopersIO
Amazon Kinesis Video Streamsを使ってストリーム映像をAWS上に流してみる【RaspberryPi】 min-install-script編 はじめに CX事業本部の平内（SIN）です。 AWS Kinesis Video Streams(以下、Kinesis Video Streams)では、C++,Java,Android用の プロデューサーライブラリが提供されています。 この中で、C++では、各種OS用のものをコンパイルすることで、GStreamer用のエレメント（シンク）を構築することが出来ます。 ここDevelopers.IOでもMacや、RaspberryPI上でこれを試している記事が公開されています。 Amazon Kinesis Video Streamsを使ってストリーム映像をAWS上に流してみる【MacBook Pro】– Classmetho
Introducing Amazon Kinesis Data Analytics Studio – Quickly Interact with Streaming Data Using SQL, Python, or Scala | Amazon Web Services
AWS News Blog Introducing Amazon Kinesis Data Analytics Studio – Quickly Interact with Streaming Data Using SQL, Python, or Scala The best way to get timely insights and react quickly to new information you receive from your business and your applications is to analyze streaming data. This is data that must usually be processed sequentially and incrementally on a record-by-record basis or over sli
Amazon Kinesis 向けストリーミングデータソリューション | AWS ソリューション | AWS ソリューションライブラリ
Amazon Kinesis 向けストリーミングデータソリューションには、4 つのデプロイオプションと付属の AWS CloudFormation テンプレートが含まれています。これらのテンプレートは、ダッシュボードやアラームによるデータモニタリングやデータセキュリティなど、ストリーミングデータのベストプラクティスを適用するように設定されています。 ストリーミングデータは、データプロデューサーから送り込まれる大量のデータを処理できる、規模の大きいスケーラブルなストレージによって永続的にキャプチャされる必要があります。プロデューサーは数千のデータソースであり、それぞれが継続的にストリーミングデータを生成し、通常は、同時に小さなサイズ (キロバイト単位) でレコードを送信します。この AWS ソリューションを使用すると、モバイルまたはウェブアプリケーションを使用して顧客が生成したログファイルな
Amazon Kinesis Video Streams を用いた機械学習のためのパイプラインの構築 | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Video Streams を用いた機械学習のためのパイプラインの構築 この記事は Building machine learning pipelines with Amazon Kinesis Video Streams を翻訳したものです。 はじめに Amazon Kinesis Video Streams (KVS) は、コネクテッドデバイスから AWS にビデオを安全にストリーミングし、分析、機械学習 (ML) 、再生、その他の処理を簡単に行うことができるようにします。KVS は、数百万台のデバイスからストリーミングビデオデータを取り込むために必要なすべてのインフラを自動的に準備し、柔軟にスケールします。KVS は、ストリームのビデオデータを耐久性をもって保存、暗号化、インデックス化し、使いやすい API
AWS Lambda launches checkpointing for Amazon Kinesis and Amazon DynamoDB Streams
AWS Lambda now allows customers to automatically checkpoint records that have been successfully processed for Amazon Kinesis and Amazon DynamoDB Streams, using a new parameter, FunctionResponseType. When customers set this parameter to “Report Batch Item Failure”, if a batch fails to process, only records after the last successful message are retried. This reduces duplicate processing, and gives c
Amazon Kinesis Video Streams ハンズオンを公開 – カメラデバイスからの動画の収集、ストリーミング再生、分析方法を学ぶことができます | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Video Streams ハンズオンを公開 – カメラデバイスからの動画の収集、ストリーミング再生、分析方法を学ぶことができます こんにちは、IoT Specialist ソリューションアーキテクトの三平です。この記事では、Amazon Kinesis Video Streams ハンズオンをご紹介します。 Amazon Kinesis Video Streams は、分析、機械学習 (ML)、再生、およびその他の処理のために、接続されたデバイスから AWS へ動画を簡単かつ安全にストリーミングできるマネージドサービスです。数百万のデバイスからの動画をセキュアに取り込み、時系列でインデックスして保存、再生や分析のために容易に取り出すためのインフラストラクチャを、自動的にプロビジョンして、伸縮自在にスケールします
Amazon CloudWatch を活用した Amazon Kinesis Data Firehose 配信ストリームの状態の把握 | Amazon Web Services
Amazon Web Services ブログ Amazon CloudWatch を活用した Amazon Kinesis Data Firehose 配信ストリームの状態の把握 本記事は Amazon Web Services, Startup Solutions Architect Manager である Alon Gendler によって投稿されたものです。 世界中で生成されるデータの量の増加がますます加速しています。データは、IoT、広告、ゲーム、セキュリティ監視、機械学習 (ML) など、増え続けるユースケースをサポートするために生成されています。これらのユースケースの発展がストリーミングデータの量と速度の両方を駆動させた結果、企業はデータをニアリアルタイムで取得、処理、変換、分析、さまざまなデータストアに取り込む必要が出てきています。 Amazon Kinesis Data
Building an ad-to-order conversion engine with Amazon Kinesis, AWS Glue, and Amazon QuickSight | Amazon Web Services
AWS Big Data Blog Building an ad-to-order conversion engine with Amazon Kinesis, AWS Glue, and Amazon QuickSight August 30, 2023: Amazon Kinesis Data Analytics has been renamed to Amazon Managed Service for Apache Flink. Read the announcement in the AWS News Blog and learn more. Businesses in ecommerce have the challenge of measuring their ad-to-order conversion ratio for ads or promotional campai
AWS Lambda now supports event filtering for Amazon SQS, Amazon DynamoDB, and Amazon Kinesis as event sources
AWS Lambda now provides content filtering options for SQS, DynamoDB and Kinesis as event sources. With event pattern content filtering, customers can write complex rules so that their Lambda function is only triggered by SQS, DynamoDB, or Kinesis under filtering criteria you specify. This helps reduce traffic to customers’ Lambda functions, simplifies code, and reduces overall cost. Customers can
AWS Lambda now makes it easier to build analytics for Amazon Kinesis and Amazon DynamoDB Streams
Customers can now use AWS Lambda to build analytics workloads for their Amazon Kinesis or Amazon DynamoDB Streams. For no additional cost, customers can build sum, average, count, and other simple analytics functions over a contiguous, non-overlapping time windows (tumbling window) of up to 15 minutes per shard. Customers can consolidate their business and analytics logic into a single Lambda func
Kinesis Data Streamsの作成 ストリーム名とシャード数を決定するだけです。 シャードは 「各シャードは最大で 1 MiB/秒および 1000 レコード/秒を取得し、最大 2 MiB/秒を出力します。」 ということですので、1レコード1kbなさそうなレコードを最大100件送信するのでシャードは1つで足りそうです。 シャードエスティメーターで確認しても問題なさそうです。 作成されました。 シャードの数、タグ以外の設定は、サーバー側の暗号化、データ保持期間、シャードレベルメトリクスでした。 デフォルトの24時間、暗号化なし、シャードレベルの追加メトリクスなしにしました。 AWS CLI を使用した基本的な Kinesis Data Stream オペレーションの実行の手順でレコードの送信、受信をやってみました。 送信 $ aws kinesis put-record --str
Amazon Kinesis Data Firehose が汎用 HTTP エンドポイントへのストリーミングデータ配信をサポートするようになりました。この機能では、完全マネージドサービスを利用して HTTP エンドポイントにデータをストリーミングできるため、カスタムアプリケーションの構築やデータ配信インフラストラクチャの操作と管理を心配する必要がなくなります。Amazon Kinesis Data Firehose には、エラー処理、自動スケーリング、変換、集計、圧縮が組み込まれており、組織全体でのデータストリームのデプロイを加速できます。 Amazon Kinesis Data Firehose は、ストリーミングデータをデータレイクやデータストア、分析ツールに確実にロードする最も簡単な方法を提供するサービスです。ストリーミングデータを取り込んで変換し、Amazon S3、Amazon
Migrate from Amazon Kinesis Data Analytics for SQL to Amazon Managed Service for Apache Flink and Amazon Managed Service for Apache Flink Studio | Amazon Web Services
AWS Big Data Blog Migrate from Amazon Kinesis Data Analytics for SQL to Amazon Managed Service for Apache Flink and Amazon Managed Service for Apache Flink Studio Amazon Kinesis Data Analytics for SQL is a data stream processing engine that helps you run your own SQL code against streaming sources to perform time series analytics, feed real-time dashboards, and create real-time metrics. AWS has ma
Amazon Kinesis Data FirehoseでDynamic Partitioningによる出力データの動的パーティショニングを試してみた（AWS CDK） | DevelopersIO
Amazon Kinesis Data FirehoseでDynamic Partitioningによる出力データの動的パーティショニングを試してみた（AWS CDK） こんにちは、CX事業本部 IoT事業部の若槻です。 Amazon Kinesis Data Firehoseでは、S3 Bucketに出力されるデータのnamespace（プレフィックス）として、Timestampに加えて、レコード毎に指定のキー値を使用したプレフィクスを付与できるDynamic Partitioning（動的パーティショニング）という機能が利用できます。 Dynamic Partitioning in Kinesis Data Firehose - Amazon Kinesis Data Firehose 今回は、Amazon Kinesis Data FirehoseでのDynamic Partitio
Amazon Kinesis Data Firehose により、VPC のプライバシー内で Amazon Elasticsearch Service にストリーミングデータを取り込む | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Data Firehose により、VPC のプライバシー内で Amazon Elasticsearch Service にストリーミングデータを取り込む 今日、新しい Amazon Kinesis Data Firehose 機能を追加します。これにより、Kinesis Data Firehose から Amazon Elasticsearch Service ドメインへの VPC 配信をセットアップできます。Amazon Kinesis Data Streams でカスタムアプリケーションを管理してトラフィックを非公開にしている場合は、Kinesis Data Firehose を使用して、VPC 内の Amazon Elasticsearch Service エンドポイントにデータをロードすることができ
【小ネタ】[Amazon Kinesis Data Firehose] Transform source records with AWS Lambda でレコード毎に改行を追加する | DevelopersIO
【小ネタ】[Amazon Kinesis Data Firehose] Transform source records with AWS Lambda でレコード毎に改行を追加する 1 はじめに IoT事業部の平内（SIN）です。 ストリームに流れるレコードを、そのままS3へ保存するような場合、Amazon Kinesis Data Firehoseが非常に便利に利用されると思います。そして、レコードが、JSONのようなテキスト形式だった場合に、レコード毎の区切りが分かるように改行等を入れて保存すると、利用しやすいかも知れません。 このことから、IoT Coreのルールでは、Amazon Kinesis Data Firehoseへ送る際、改行等のセパレータが指定可能になっています。 今回は、Amazon Kinesis Data Streamsを入力ソースとしたAmazon Kines
KCL 1.x KCL と 2.x の両方で、使用状況に応じて、最新の KCL 1.x バージョンまたは 2.x KCL バージョンにアップグレードすることをお勧めします。KCL 1.x と KCL 2.x はどちらも、最新の依存関係パッチとセキュリティパッチ、バグ修正、下位互換の新機能を含む新しいリリースで定期的に更新されます。詳細については、https://github.com/awslabs/amazon-kinesis-client/releases を参照してください。 について KCL (以前のバージョン） KCL は、分散コンピューティングに関連する多くの複雑なタスクを処理することで、Kinesis データストリームからのデータを消費して処理するのに役立ちます。これには、複数のコンシューマーアプリケーションインスタンス間での負荷分散、コンシューマーアプリケーションインスタンス
ストリーミングデータを Amazon Kinesis Data Streams に最大 1 年間保存できるようになりました。ストリーミングデータを長期間保持すると、Amazon Kinesis Data Streams に保持されているリアルタイムデータと古いデータの両方で同じプラットフォームを使用できます。例えば、データを別のデータストアに移動したり、新しいアプリケーションを作成したりすることなく、金融取引、マーケティングのパーソナライズ、レコメンデーションモデル向けの機械学習アルゴリズムをトレーニングできます。また、長期保存を使用して、HIPAA や FedRAMP などの特定のデータ保存規制を満たすこともできます。追加のストレージやコンピューティングリソースをプロビジョニングせずに、保存および取得したデータに対してのみ料金を支払います。 Amazon Kinesis Data Str
Audioデータをクラウドに送ってみました。 MQTT + Amazon Kinesis Data Firehose + S3 (JSON) | DevelopersIO
Audioデータをクラウドに送ってみました。 MQTT + Amazon Kinesis Data Firehose + S3 (JSON) 1 はじめに CX事業本部の平内（SIN）です。 今回は、エッジ側のAudioデータをクラウドへ送信する要領を確認してみました。 送信の方法や、保存先は色々考えられますが、手始めにMQTTで送信し、Amazon Kinesis Data Firehose経由で、S3に保存する形を試してみました。 また、保存されたAudioデータから時間を指定して、wavファイルを生成するLambda関数も書いてみました。 確認が容易なように、とりあえず、Audioデータをターゲットとしていますが、連続するストリームを扱うという意味では、Audioに限らず応用ができるのではと考えています。 2 Audio入力 エッジ側は、RaspberryPiとしたのですが、デフォル
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Kinesis Video Streams WebRTC を動かしてみた - Qiita
Amazon Kinesis Data StreamsにTwitter検索データを送信する - ヤマムギ
Amazon Kinesis Data Firehose が HTTP エンドポイントへのデータ配信のサポートを開始
KCL 1.x および 2.x 情報 - Amazon Kinesis Data Streams
Amazon Kinesis Data Streams は、最大 1 年間のデータストリームの保持が可能に
www.plantx.co.jp
kicks-blog.com
tadasumi.hatenablog.com
mikawanoyasou.org
nordot.app
gigazine.net