前回まで、Amazon Redshiftの機能や特徴について説明を行いました。今回からは実践編として、Amazon Redshiftクラスタを起動するところから、データのロード、SQLの実行やクラスタの操作まで説明していきます。今回は、Redshiftクラスタの起動と、自分のマシンからのRedshiftクラスタへの接続までを説明します。 今回のチュートリアルでは、最小構成（XLタイプのシングルノード／2TB）のRedshiftクラスタを起動しますが、この場合一時間あたり$0.85の費用（2013/5/3時点）が発生し、EC2の最小インスタンスの料金に比べてかなり高くなります。試される場合には、完了後にRedshiftクラスタをシャットダウンさせるなど管理にご注意ください[1]⁠。 なお、Amazon Redshiftを使用するには、AWSのアカウントを事前に準備しておく必要がありますが、ア

Design and tuning of data analysis infrastructure for Amazon Redshift.Read less

最終回はAWS上でRDB（リレーショナルデータベース）をフルマネージドサービスとして提供しているRDS（Relational Database Service）のつまずきポイントについて解説する。RDSとはMySQLをはじめ、MS SQL ServerやOracle DatabaseなどのRDBを、OSやRDBをインストールすることなくすぐに利用できるサービスである。 必要なパラメーターをRDS起動時に設定し、起動したRDSは各RDBクライアントから接続して利用する。また、フルマネージドサービスなのでOSやRDBのパッチングについてはユーザーが意識する必要がない。オプションも豊富で、複数のアベイラビリティーゾーンでActive-Standby構成を実現する「Multi-AZ」機能や、参照用RDSを作成する「Read Replica」機能も簡単に設定できる。 このように便利なサービスなのだが

AWS re:Invent 2014に、残念ながら参加できなかった方向けに275のBreakout Sessionsをまとめてみました 。セッションごとの日本語タイトル(超訳)、公式Webページ、スライド、動画と関連するブログ記事を1ページにまとめています。量が多いので、ページ内検索などでキーワード検索をかけていただくのがオススメです。SlideShare / YouTube / MP3とも徐々に公開されているので、順次追加していきます！ 2014/11/24 22:30 SlideShare / YouTubeのリンクを追加しました！ 公式Webページ(英語) AWS re:Invent 2014 公式現地レポート(日本語) AWS re:Invent 2014 現地レポート Part 1.（11/12） AWS re:Invent 2014 現地レポート Part 2.（11/13）

7. AWS Rapid Pace of Innovation +48 E lastic Load Balancing Auto Scaling Amazon VPC Amazon RDS 2009 +61 Amazon SNS AWS Identity & Access Management Amazon Route 53 2010 +82 Amazon SES AWS Elastic Beanstalk AWS CloudFormation Amazon ElastiCache AWS Direct Connect GovCloud 2011 +280 Amazon Elastic Transcoder AWS OpsWorks Amazon CloudHSM Amazon AppStream Amazon CloudTrail Amazon WorkSpaces Amazon Kin

2. Amazon Redshift took 155 seconds to run our queries for 1.2TB data Hadoop + Hive took 1491 seconds to run our queries for 1.2TB data Amazon Redshift was 10X faster Amazon Redshift cost $20 to run a query every 30 minutes Hadoop + Hive took $210 to run a query every 30 minutes Amazon Redshift was 10X cost effective www.flydata.com 3. Amazon Redshift is a new data warehouse for big data on the cl

用語の意味が分からない！ Amazon Machine Learningを始めてみようとナビゲーションに沿ってサンプルを触ってみると、なんとなくできてしまう簡単さではありますが、実際のところ用語の意味がよく分かりません。そこで、この記事では、Amazon Machine Learningを学ぶ上で必要になるであろう単語の意味や、機械学習の勘所になりそうな部分についてご紹介したいと思います。 どんなタイプの機械学習なのか？ Amazon Machine Learningは、「教師あり学習」をすることができます。その中でも、「二項分類」、「多項分類」、「回帰分析」を行うことができます。 学習方法 教師あり学習（Supervised Learning） 事前に与えられた教師データ（訓練データ）を使って学習します。教師データに基づいて一般化（モデル化）し、未知のデータに対する出力を予測します。 教

The National Democratic Alliance (NDA) has emerged victorious in India’s 2024 general election, but with a smaller majority compared to 2019. According to post-election analysis by Goldman Sachs, JP Morgan,… The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to i

Amazon Redshiftデータウェアハウスは、エンタープライズクラスのリレーショナル・データベースクエリと管理システムです。 Amazon Redshiftはビジネス・インテリジェンス(BI)、レポート、データ、分析ツール等を含む多くの種類・タイプのアプリケーションを用いてのクライアント接続をサポートしています。分析クエリを実行する際は、取得や比較、及び最終結果を生成する為に複数段階操作で大量のデータを評価しています。 Amazon Redshiftは、効率的なストレージと超並列処理、柱状データストレージ、及び非常に効率的な、ターゲットを絞ったデータの圧縮符号化方式の組み合わせにより、最適なクエリのパフォーマンスを実現します。このセクションでは、Amazon Redshiftのシステムアーキテクチャの概要を提示し、データベースの設計、パフォーマンスを最大化するためのアーキテクチャを活

Amazon Redshiftに於いて『パフォーマンスチューニング』は重要なトピックの1つです。Redshiftクラスタを立ち上げて、データを投入して、実際使ってみたものの思ったような速度・レスポンスが返って来ない...という状況も時折遭遇する事と思います。 AWS公式ドキュメント(英語版)を漁ってみると、まさにその『パフォーマンスチューニング』に焦点を当てたチュートリアルが公開されているではありませんか！当エントリではそのドキュメントを参考にひと通り実践してみた内容をまとめてみました。各種手順を1エントリに集約したので超長いエントリとなってしまいましたが、その辺りは目を瞑りつつ実践内容を順を追ってご覧頂ければと思います。 Tutorial: Tuning Table Design - Amazon Redshift: 目次 1.テスト用データセットの作成 2.ベースラインを作るためのシス

何万ものお客様が Amazon Redshift を毎日使用して、データ分析ワークロードを最新化し、ビジネスに役立つインサイトを提供しています。Amazon Redshift は、フルマネージド型で AI を活用した超並列処理 (MPP) アーキテクチャにより、ビジネス上の意思決定を迅速かつコスト効率よく行えます。AWS のゼロ ETL アプローチは、すべてのデータを統合して、強力な分析、ほぼリアルタイムのユースケース、AI/ML アプリケーションを実現します。最先端のセキュリティ機能ときめ細かなガバナンスに支えられて、組織、AWS リージョン、さらにはサードパーティのデータプロバイダー内および組織間で、データを簡単かつ安全に共有および共同編集できます。

サーバーを監視するためのツールにはさまざまなものがあるが、その1つに「Zabbix」がある。Zabbixはオープンソースで開発されている多機能な監視ツールで、設定を容易に行えるテンプレート機能やWebブラウザ上で操作できるGUIが特徴だ。本記事ではZabbixの概要と、ZabbixによるLinuxサーバーの監視方法について紹介する。 テンプレート機能や豊富な監視設定が特徴のZabbix サーバー運用において重要なのが、サーバーやそこで動作しているアプリケーションが正常に動作しているかを監視することだ。監視方法としてはさまざまなものがあるが、多くの場合専用の監視用ツールを利用するのが一般的である。監視用ツールとしては「Nagios」や「MRTG」などが有名であるが、今回は豊富な監視機能を持つ「Zabbix」という統合監視ツールを使ってLinuxサーバーを監視する方法について紹介しよう。 Za