Solutions All end-to-end solutions Opinionated solutions that help you get there easier and faster

Apache Software Foundation（ASF）は1月10日（米国時間）、分散処理ツール「Apache Beam」がトップレベルプロジェクト（TLP）となったことを発表した。 Apache Beamは、バッチとストリーミング処理の両方を任意の実行エンジンで動かすことができるユニファイドプログラミングモデルを提供するソフトウェア。Apache SparkやApex、Apache Flink、Google Cloud Dataflowなどの実行環境を利用でき、PythonとJavaでデータ処理パイプラインを定義できるSDKを含む。拡張性にも優れるとしている。 当初はGoogleでMapReduceシステムの流れを汲むデータ処理の取り組みの一部として開発されたもので、2016年1月にApache Software Foundation（ASF）に寄贈された。 GoogleはApac

最新のAWS Schema Conversion Tool（SCT）は、Netezza のスキーマを Redshift のスキーマに変換・生成できるようになりましたので、この機能を試してみたいと思います。検証のポイントは、ズバリ２つの異なるDWHのスキーマ定義をどのように解釈して、どのように変換するかです。 AWS Schema Conversion Tool Adds Netezza and Greenplum Sources AWS Schema Conversion Tool（SCT）とは AWS Schema Conversion Tool（以降、SCTと略す）はソースデータベースのスキーマ、ビュー、ストアドプロシージャ、関数といったカスタムコードの大部分を自動的にターゲットデータベース互換フォーマットへと変換することにより、異種データベース間の移行を容易にするツールです。 構成

CRIUを利用することで、DockerでCheckpoint & Restoreが可能だった。試してみたのでメモ。 基本的には以下に書いてあることを実施したのみ。 https://github.com/docker/docker/blob/master/experimental/checkpoint-restore.md チェックポイント・リストアとは チェックポイント機能により、コンテナ状態（メモリ情報など）をdumpして、ディスク上に書き出すことができる。 リストア機能では、書き出した情報を読み込んでコンテナを実行することができる。この機能を活用することにより、 高速なアプリケーション起動が可能 予め起動済のアプリケーションコンテナのチェックポイントを利用 ライブマイグレーションが実現できる VMのライブマイグレーションも同様の仕組み といったことが可能になる。ライブマイグレーションに

性能をチューニングできるプライベートブロックチェーン プライベートブロックチェーンと呼ぶ技術があります。一言でいえば「情報システムとして運用されるブロックチェーン」です。その大きな特徴の一つは、耐故障性や耐改ざん性というブロックチェーン技術の特徴を保ちながら性能を追求できることです。 「性能を追求すること」は普通のITではわざわざ説明するまでもないことで、すべてのIT関連技術はその価格帯でのベストな性能を追求した成果が世に出たものと考えていいでしょう。ところがブロックチェーン技術では事情が違います。あえて性能が低くなることを承知の上で仕様を決定している側面があるのです。 ビットコインが遅いのは「仕様」 よく、ビットコインの処理性能は7取引/秒（注1）と言われます。情報システムの水準で見ると決して高い数字ではありませんが、この数字はビットコインの仕様です（正確にいうと仕様上の処理性能上限です

IT Cutting Edge ─世界を変えるテクノロジの最前線 第10回AWSもBaiduも採用！ クラウド／データセンター市場に拡がるFPGAブームを牽引するXilinxの強み 2016年11月30日（米国時間⁠）⁠、米ラスベガスで開催されたAWSの年次カンファレンス「AWS re:Invent 2016」のアンディ・ジャシー（Andy Jassy）CEOによる基調講演では、数多くのサービスアップデートが発表されましたが、それらの中でひときわ目を引いたのがAmazon EC2の新インスタンスである「F1」インスタンスでした。現状ではまだプレビュー版ですが、ついにパブリッククラウド上でFPGA（Field Programmable Gate Array）をオンデマンドで利用できる時代がやってきたのです。 F1インスタンスでは単一ノードで最大8個のFPGAをプーリング（仮想的に接続）でき、

Products Docker DesktopContainerize your applicationsDocker HubDiscover and share container imagesDocker ScoutSimplify the software supply chainDocker Build Cloud Speed up your image buildsTestcontainers Desktop Local testing with real dependenciesTestcontainers Cloud Test without limits in the cloud See our product roadmapMORE resources for developers

こんにちは、藤本です。 先日、Amazon Athena のクエリ結果を SPICE にインポートして、 QuickSight で可視化するというブログをエントリしました。その時に得られた知見をもう一つご紹介します。 タイトルが何を言っているのか分かりづらいですが、、、ELB のアクセスログのタイムスタンプはフォーマット上、Athena の Timestamp にも、QuickSight の Date タイプにも適合しません。でも、グラフ表示上、Date として扱いたいです。タイムスタンプの文字列でも、Athena の場合は、timestamp like '2017-01-01T10:%'というようなクエリで、QuickSight の場合は、Start with フィルターである程度の絞り込みはできますが、柔軟なクエリをしたい場合に複雑なクエリや、細かいフィルターの指定が必要となります。何