hadoop

先日行われたTreasure Dataのイベントにて登壇させていただきました。タイトルは『Hive Distributed Profiling System in Treasure Data』。

この記事は Distributed computing Advent Calendar 2022 の5日目の記事です1。 qiita.com 今回は、今年の5月にApache Software Foundation (ASF)のTop-Level Project (TLP)2になった Apache YuniKorn について紹介します。 yunikorn.apache.org YuniKornの概要 YuniKornの由来と読み方 なぜYuniKornが必要なのか？ どこが使ってるのか？ リリース状況 YuniKornの特徴 アプリを考慮したスケジューリング 階層型のリソースキュー ジョブオー…

+ 案件でHadoopを扱う事になりそうなので、勉強のためにDockerコンテナでHadoop + Spark環境を構築してみました。擬似分散モードでの起動を想定しています。 ソースコードはgit hubに上げてあります。 github.com Hadoopのインストール 公式サイトからファイルをダウンロードする必要があります。 配布されているHadoopのバージョンは以下URLから確認できます。 ftp.kddilabs.jp Sparkのインストール Sparkも公式サイトからダウンロードします。 ダウンロードするHadoopのバージョンと同じ物をChoose a package type…

はじめに 前提知識（Amazon EMR） Amazon EMR Serverlessとは？ Amazon EMR Serverlessをさわってみた 事前準備 関連AWSリソースの準備 データの準備 クエリの準備 EMR ServerlessでHiveアプリケーションを作成して実行する EMRアプリケーションの作成 ジョブの実行 さいごに はじめに こんにちは！クラウドプラットフォーム部の土井です。 今年6月にAmazon EMR ServerlessがGAとなったので遅ればせながらですが、既存のAmazon EMRサービスとの違いにも簡単に触れつつ触ってみたいと思います。 前提知識（Ama…

PythonでHDFSにファイルアップロードする処理を実装したのでメモ。 単純な処理ならcurlで十分なのですが、色々やりたい時は便利そうです。 事前にKerberos認証済みの想定です。 ⬇️ まだ読めてないです😎 データウェブハウスツールキット―Web+データウェアハウスで最良のe‐ビジネス環境を構築 作者:キンボール,ラルフ,メルツ,リチャード メディア: 単行本 環境 やはりPythonのバージョンは3.7。 $ pip3 install pywebhdfs==0.4.1 requests-kerberos==0.12.0 最初にローカルでテストコードを実行しようとして、インストール出…

qiita.com 1日遅れになってしまいましたが、、、 この記事は MicroAd (マイクロアド) Advent Calendar 2020 - Qiita の20日目の記事です。 昨日は dai08srhg - Qiita のEmbulkの話でした。 （´-`）.｡oO（EmbulkはHiveやHDFS系のプラグインがアップデートあると嬉しいなぁと思う今日この頃） qiita.com さて、本題ですが、今回はHueとDockerを使った話です。 Cloudera Hueは、 CDHに含まれているコンポーネントの一つ ですが、Hueは他のコンポーネントに比べて他のコンポーネントと協調して動…

この記事は Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2020 の11日目の記事です。 qiita.com クラスタ間でHDFSファイルを移動したいというのは割とよくある話です。 そこでHDFSファイルを大量に移動する際は、DistCpを使うことになります。 ただ、移動元も移動先にも所属していないクライアントから通常DistCpは使えません（クラスタの設定情報がないので）。 設定をどうにかして渡せば、多分出来るだろうなぁと思いつつも「まぁ移動先のクラスタクライアントにSSHしたらいいか。」で…

KADOKAWA デジタル戦略局 グループデータマネジメント部（出向）の中野 (takamoto) です。 足掛け2年半の ADR 活用事例紹介 〜 ADR から始める設計ドキュメント改善 - KADOKAWA Connected Engineering Blog などの過去記事から所属は変化していますが、変わらずデータプラットフォーム上のデータパイプラインの開発・運用を主に担当しています。 私の所属しているチームでは データプラットフォーム統合プロジェクトの紹介 - KADOKAWA Connected Engineering Blog で紹介している Snowflake 環境上に構築された…

こんにちは。NTTコミュニケーションズでエバンジェリストをやっている西塚です。今日が10年目の結婚記念日です。 この記事は、NTT Communications Advent Calendar 2024 6日目の記事です。 情報通信白書によると、デジタルデータの活用が企業経営に対して効果があると複数の先行研究で明らかにされています。 ビッグデータを活用している企業はそうでない企業に比べて、イノベーションの創出が統計学的に有意な差で多いと言われています。 私自身もNTTコミュニケーションズにおいて全社データ基盤を立ち上げて、社内システムからデータを収集し、 データサイエンティストと協力しながら、…

【14年連続IT業界人気ランキングNo.1！NTTデータを徹底分析🔍】 こんにちは。メディア事業部です！ IT・通信業界に興味がある学生さんたち必見！！！ 今回は、14年連続IT業界人気ランキングNo.1の企業、NTTデータについての企業研究記事です！ 徹底的に企業研究をして選考に向けて準備を整えていきましょう👀✨ 1．事業内容 〇官公庁・自治体・教育 税務、雇用・労働、貿易、交通など、社会を支える情報システムの開発・運用のほか、安全・便利で豊かな地域社会の実現のためのシステムやサービスを提供。 また、高信頼な情報通信基盤のもと、教育現場の取り組みをさまざまな角度から支援している。 ◆主なシス…

datatech-jp Advent Calendar 2024 3日目の記事を書きます！ 毎週月曜日にデータエンジニア向けのもくもく会をXで（以前は datatech-jp で）実施しており、約1年続けてみてどのような学びがあったかをまとめたいと思います。 データエンジニア向けのもくもく会を始めたきっかけ 下のブログ記事でもくもく会を始めたきっかけを簡単に書いたのですが、今日は当時の気持ちをもう少し深掘りしたいと思います。 bynatures.hatenadiary.jp エンジニア全般だと思うのですが、学び続けないとトレンドに置いて行かれてしまうという危機感はみなさんお持ちだと思います。私…

2日遅れになってしまいましたが、、、 この記事は MicroAd Advent Calendar 2024 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 の1日目の記事です。 注： 執筆現在 2024/12/03 1:14 qiita.com qiita.com 今年もアドカレの季節がやってきました🎄 今回は、DuckDBがIcebergに対応してたり、PyIcebergにDuckDBを見つけたので、どんなもんか試してみた。 はじめに DuckDBについて PyIcebergについ…

データウェアハウスとデータレイクの違い データウェアハウス 加工後のデータのみを格納する ゆえに何のためのデータかが明確に決められた状態で格納される（目的指向） Amazon Redshiftなど 基本的なデータウェアハウスの構成 %%{init:{'theme':'forest'}}%% graph LR DataSources1[Data Source 1] --> ETL DataSources2[Data Source 2] --> ETL DataSources3[Data Source 3] --> ETL ETL --> DataWarehouse DataWarehouse -…

G-genの杉村です。Google Cloud（旧称 GCP）の認定資格である Associate Data Practitioner 資格の試験対策に有用な情報を記載します。 基本的な情報 Associate Data Practitioner とは 難易度 出題傾向 試験対策 ETL と ELT ETL と ELT の基本 オープンソースツールとフルマネージドサービス Cloud Data Fusion イベントドリブンアーキテクチャ データベースの選択 BigQuery BigQuery の基本 ELT と ETL 半構造化データの扱い（JSON 型） パーティションとクラスタリング 外…

自社プロダクトの開発に携わるエンジニア3人が語る、ブレインパッドのプロダクト開発の魅力とは？ 顧客データを統合・分析し、精度の高いパーソナライズを実現する自社プロダクト「Rtoaster（アールトースター）」の開発チームのメンバーに話を聞きました。 師岡 一成 児玉 雅明 津久井 貴正 XaaSユニット イノベーション開発 リード XaaSユニット イノベーション開発グループ エンハンス開発グループ（兼務) XaaSユニットイノベーション開発グループ グループリーダー それぞれが考える、ブレインパッドのエンジニアに感じた魅力 ──今回は、ブレインパッドを代表するSaaSプロダクトの一つ「Rto…

2024年10月18日に、QYResearchは「分散コンピューティング―グローバル市場シェアとランキング、全体の売上と需要予測、2024～2030」の調査資料を発表しました。本レポートは、分散コンピューティングの世界市場について分析し、主な売上、動向、市場規模、主要企業の市場シェアとランキングに焦点を当てています。また、地域別、国別、製品タイプ別、用途別の分析も行っています。分散コンピューティングの市場規模を2019年から2030年までの売上に基づいて推計と予測しています。定量分析と定性分析の両方を提供することで、企業がビジネス成長戦略を策定し、競争環境を評価し、市場位置を分析し、分散コンピ…

GlusterFSは、オープンソースの分散ファイルシステムで、大規模なストレージを効率的に管理・提供するためのソリューションです。GlusterFSは、スケーラブルで高可用性のファイルストレージを実現し、異なるストレージノードにデータを分散して保存します。この特性により、大量のデータを扱う環境やビッグデータアプリケーションでの使用に適しています。 GlusterFSの基本概念 分散ファイルシステム GlusterFSは、データを複数のノードに分散して保存することで、単一障害点を排除します。これにより、データの可用性と耐障害性が向上します。 ボリューム GlusterFSでは、データを保存する単…

ELT（Extract, Load, Transform）は、データ処理の手法の一つで、特にビッグデータやデータウェアハウスにおいて用いられます。ELTはデータを収集して保存した後、必要に応じてデータを変換するというアプローチを取ります。以下にELTの各ステップについて詳しく説明します。 ELTのプロセス Extract（抽出） データをさまざまなソース（データベース、API、ログファイル、スプレッドシートなど）から抽出します。この段階では、データをそのままの状態で取得し、後で使用するために一時的なストレージやデータウェアハウスに保存します。 Load（ロード） 抽出したデータを目的のストレー…

Azure HDInsightは、パブリックネットワークからのアクセス許可を前提とした構成が既定の構成とされています。一方で、実運用では外部からインターネット経由での通信を許可せず、プライベート通信に限定するようなケースも存在するかと思います。今回は、Azure HDInsightへのインバウンド通信をプライベートネットワークに限定する場合の、リソース構成について説明します。 Azure HDInsightの構成 Inboundの場合 Outboundの場合 Outbound選択時の通信について 留意点 検証 事前準備 HDInsightクラスター作成 プライベートDNSゾーン作成 「＜HDI…