全てのユーザーはデフォルトで Public ロールに属しています。 ¥l データベースの一覧 「xx00」「xy00」が自分で作成したデータベースです。これらは Public ロールによるアクセスを制限しています。 masterdb=> \l データベース一覧 名前 | 所有者 | エンコーディング | 照合順序 | Ctype(変換演算子) | アクセス権限 -----------+------------+------------------+-------------+-------------------+--------------------------- masterdb | masteruser | UTF8 | en_US.UTF-8 | en_US.UTF-8 | masteruser=CTc/masteruser postgres | masteruser | UTF

こんにちは、平野です。 先日利用可能となりました、Data API for Redshift（以下DataAPI）、 みなさん使いこなしていらっしゃるでしょうか？ [アップデート] API で非同期な SQL クエリが実行できる！Amazon Redshift で Data API が利用可能になりました 今回Lambda関数からDataAPIを利用する機会があり、挑戦してみました。 ちょっとハマったポイントもありつつ、うまくクエリを流すことができたので流れをご紹介します。 検証用Redshift まずは検証用にRedshiftを新しく立てました。 ノードタイプはdc2.largeです。一部のノードタイプではDataAPIに非対応なので、注意が必要です。 DataAPIでは、AWSのIAMによる認証でクラスタにクエリを投げられるというのがウリなので、 出来るだけ外からは接続できない場所にク

はじめに AWSが提供する代表的なDBサービスには、クラウド前提で設計されたRDBのAmazon Aurora、 データ分析特化型RDBのAmazon Redshift、ワイドカラム型DB(NoSQL)のAmazon DynamoDB1があります。AWSの各DBサービスの使い分けについては、一般的には概ね業務系システムのDBにはAuroraやDynamoDB、分析系システムのDBにはRedshiftを利用すれば良いとされていますが2、その根拠について定量的に確かめてみたいと思ったので、実際にOLTP/OLAPワークロード別の負荷をかけて各DBサービスの性能特性の違いについて確認してみました。 ※実際のシステム性能は様々な条件により変動します。あくまでも参考情報の一つとして捉えていただきますようお願いします。 前提知識 まず前提となる考え方として、OLTP/OLAPワークロードについて概説し

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? わ、去年2023-08-26にこの記事書いたんだね。まる1年だね。2024年版機械学習・データ分析の必須10冊+ガチ90冊+Next5冊=105冊書きましたよ。 【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。 本記事作者の青木はバイオインフォマテ

こんにちは。エンジニアの谷井です。 フォルシアでは、Spookと呼んでいる技術基盤を用いて、主に旅行業界やMRO業界に対して、膨大で複雑なデータを高速検索できるアプリケーションを提供しています。 今回はその高速検索のノウハウのうち、特にDBの扱いに関連する部分について、ベテランエンジニアへのインタビューを通してそのエッセンスをまとめてみました。 一般的なベストプラクティスだけでなく、検索性能を高めることに特化しためずらしいアプローチもあるので、ぜひご覧ください。 フォルシアにおける検索DBについて まず前提としてフォルシアで扱うデータについて軽く説明します。 扱うデータの複雑さ たとえば、旅行会社向けのアプリケーションであれば、宿泊素材の情報としては ホテルの情報「〇〇ホテル」（~約2万件） プランの情報「朝食付き・ロングステイ△△プラン」（0~1500件/施設） 客室の情報（~100件/

先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサイエンスのコンペティションサイトに応募したところ、上位6.5%に入ることができたという報告を受け、驚愕しました。 chatGPTを上手く使えば素人がプロに勝つことも十分できるのだなと実感しました。 友人が参加したデータサイエンスのコンペは、SIGNATEの糖尿病予測問題でした。 以下のような進め方をしたとのことでした。 まず、問題の概要を説明して、どのように進めていけば良いかを確認したそうです。 そうすると、chatGPTからデータサイエンスの問題を解くための手順を一覧化してくれて

フリーランスエンジニアをしているrevenue-hackです！ 普段はGo言語でバックエンドを中心にやっています〜 ↓登壇したときの資料です！ より図を入れて詳しく書いております！ 今回はデータベースの特にRDBの仕組み(アーキテクチャ)についてざっくり理解して、なにかに役立てようぜ〜 というような内容になります。 ↓記事はこちらに移しました！↓

概要 本稿は、突然ムシャクシャした筆者が自分の考えるブロックチェーンの定義と、世間で言われているブロックチェーンの特性および応用例を批判するものである。 本稿は筆者の見解であり、所属組織の公式見解ではない。 ブロックチェーンの定義 そもそもブロックチェーンとはなんなのか。狭義には、「ブロック」の「チェーン」であることから、以下の定義をしたい。 データが、当該データ直前のデータの暗号学的ハッシュ値を持つリスト型のデータ構造 ここでは、そのデータの中に何を保持するかは一切考慮しない。 データがハッシュ値で連鎖することによって、リスト中の任意のデータのみを書き換えると、ハッシュチェーンの整合性が失われ、書き換えが行われたことを検知可能なデータ構造であると定義する。 しかし、世間で「ブロックチェーン」に興味を持つ諸氏はこの定義だけではいささか狭すぎると感じるだろう。 そこで、狭義のブロックチェーン

はじめに この記事はNuco Advent Calendar 2022の5日目の記事です 対象読者 Pythonが注目されている理由のひとつは機械学習プロジェクトの主要な開発言語であるからといってもよいでしょう。多くの企業の業務システムのAIの開発言語はPythonです。そんなPythonの学習を始めてある程度文法の理解が進んできて、機械学習に触れてみたい方を対象にしています。 Pythonの基本文法を理解している 機械学習を始めてみたい チュートリアル概要 Pythonは長年機械学習で使用されているので、ライブラリも豊富にあります。本記事では機械学習用ライブラリのscikit-learn(サイキット・ラーン)を使用して教師あり学習を行い住宅価格を予測してみます。 何ができるようになるか 機械学習で使われる基本的な用語を理解し、学習の全体像をつかめるようになります。 機械学習の目的 機械学

ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow（もしくはWhere）の相談. 「Googleのビッグクエリーってやつがいいと聞いたけど何ができるの?」的な個別のサービスに対するご相談. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話. 有り難くもこのようなお話をよくお受けしています. が, （仕事以外の営みにおける）個人としては毎度同じ話をするのはまあまあ疲れるので, データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋 というテーマで, クラウド上でデータ基盤を構築する際のサービスの選び方 （データ基盤に限らず）クラウド料金の基本的な考え方 をGoogle

サムネイルで出してる内容がそのままこのエントリーのテーマです. Pythonアドベントカレンダー2020の9日目です. JX通信社のシニアエンジニアで, 趣味で野球*1とヘルスケア*2なデータを分析してるマンの@shinyorkeと申します. ちょっとしたデータサイエンスでもガチのR&Dでも何でもいいのですが, プレゼンするためのスライド作るとか, デモのアプリを作るのって相当ダルくないっすか? いやまあ大事な仕事なので不可避かつちゃんとやろうぜっていうのは事実*3なのですが, 手を抜くところは手を抜くべきだなというのが持論としてありますし, 「怠惰・傲慢・短気」というプログラマーの三大美徳からするとプレゼンの準備は最も「怠惰」であるべきとまで僕は思っています. そんな中, 今年はStreamlitという, 「データを見せるアプリを雑に作ろうぜ」っていうライブラリがめっちゃ流行りました（っ

先にトレーニングデータ(train.csv)をデータセットに追加しておきます。 モデルのトレーニング 先ほど追加したデータを使ってトレーニングを行います。BQMLならSQLで簡単にトレーニングも実施できますね。 使うモデルはXGBoostでいこうと思います。（ちなみに最初はAutoML Tablesを使う予定でしたが、オンライン予測はまだ対応していませんでした） CREATE OR REPLACE MODEL Titanic.xgboost_model OPTIONS( MODEL_TYPE='boosted_tree_classifier', INPUT_LABEL_COLS=["Survived"] ) AS SELECT * EXCEPT(PassengerId, Name, Ticket, Fare, Cabin) FROM `Titanic.train` モデルのエクスポート モ

【2021年の事例】完全未経験から６ヶ月でAIエンジニアへ転職した独学内容を全公開！ 2021年1月29日 2023年7月9日 未経験からAIエンジニアへ （2023.2.4更新） こんにちは、30代、IT未経験からAIエンジニアになったtakeです（詳しいプロフィールはこちらに）。 空前のAIブームの中、AIエンジニアやデータサイエンティストを目指す方が急増しています。私もこのブームに乗っかった一人で、「30代半ば妻子持ち」「業界・職種未経験」「コロナ禍で採用減」という全く恵まれない条件でしたが、念願のAIエンジニアへ転身（転職）することが出来ました（’21年３月）。勉強を始めた当時は、AIエンジニアやデータサイエンティストになるための体系的な情報が少なく非常に苦労したのを覚えています（私は、現役のAIエンジニア・データサイエンティストとTwitterで交流し、情報を収集していました）。

34テラバイトのデータと格闘して「全国ハザードマップ」を公開した理由 5月下旬に公開を開始したNHKの「全国ハザードマップ」。川の氾濫による洪水リスクを中心に掲載し、多くの方に活用頂いています。 ⇒「NHK全国ハザードマップ」の紹介記事はこちら 一方で、「市町村が出しているハザードマップがあれば十分だ」「リスクを網羅していない不完全なマップの公開は良くない」「NHKではなく国が取り組むべき仕事ではないか」といった意見も頂きました。 今回なぜ、このような取り組みを行ったのか。どうやってデータを収集して地図を作ったのか。詳しく説明します。 2022年のNHKスペシャルなどで紹介された内容です なぜ「デジタルデータ」を集めたのか？ 私たちはこれまで「ハザードマップを見て下さい」という呼びかけを、テレビやラジオのニュースや番組、ネット記事、SNSなどで繰り返してきました。 なぜなら、自分の暮らす場

This document discusses using sliding windows to aggregate streaming data in MapReduce. It proposes buffering input tuples in mappers until a window is full, then emitting the aggregate. Combiners and reducers combine partial aggregates across windows. Window ranges are initialized and updated during merging to remove outdated data and handle late arrivals. This approach allows streaming aggregati

SQL苦手な人全員にBigQueryとかのStandard SQL体験してほしい。 with, ARRAY, Object, to_jsonでほとんどの非構造なデータを扱うこともできるし、ばりくそ早いのでhadoopとはなんだった… https://t.co/VXtlwRxunU