In Visual Studio 2022 17.10 Preview 2, we’ve introduced some UX updates and usability improvements to the Connection Manager. With these updates we provide a more seamless experience when connecting to remote systems and/or debugging failed connections. Please install the latest Preview to try it out. Read on to learn what the Connection ...

データを信頼し、AI を信頼する 信頼できるデータ、信頼できるモデル、信頼できる AI を実現するために、これほど多くのクラウドのさまざまなデータタイプを管理でき、オープンデータのイノベーションと大規模展開に対応できるプラットフォームは他にありません。

ついつい CDH4.1 から CDH4.4 にアップグレードしてしまいましたので、手順を省いて注意点などを記しておきます。 機能的には What’s New in CDH4.4.0 まで見てもメリットよりリスク不安の方が高いのですが、Hadoop新担当者の運用鍛錬という名目でゴリッとやってもらって、私はその後ろで煽ってました。 手順について How to upgrade from CDH4.0 to CDH4.1 for Debian | 外道父の匠 と流れは同じで、 ジョブを止めて Hadoopを止めて アップグレードして Hiveメタストアを更新して 再開して動作確認する（ログ保存／ジョブ） だけなので難しいことは特にありません。 QJM HAも特になにもなかったです。 なので、細かいメモだけ書いておきます。 NameNode WARNログ 挙動に支障はないのですが、読み書き両方ともに

ツールとかが公開できれば格好良かったのかもしれませんがそこまで辿り着いて無いので、ブログではコンセプトだけ書きます。 ◯motivation Hive環境において、フレームワーク的な環境で多数の人がHiveQLを使用していると、どうしても同じようなクエリーが多数発行されるような状況になります。 単発のAdHocクエリーならまだ良いのですが、複数の同じようなクエリーがスケジュール実行されていると無駄ですし、データ規模が大きくなればなるほどボディーブロー的にサーバーリソースを食いつぶします。 もちろん目視で、職人的な直感で類似クエリーを抜き出して修正・統合しても良いのですが、似ているクエリーをある程度自動的に抽出する方法が無いか、模索してみました。 ◯AST(Abstract Syntax Tree) 類似クエリーを抽出しようとした際に、HiveQLをもとに解析しようとすると色々ハマります。H

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

CDH4と延々格闘してたが、ようやくひととおり設定が終わったのでまとめ。 特にNameNode HA QJM版はドキュメントもけっこうグチャグチャで何をどうすればいいのかの把握が困難だった。また Auto Failover は設定するとマトモに動かなかったので無効にした。そのうち調べてもいいけど、実運用上も特に要らなそうだし、まあいいかな、と。 で、手順と設定のポイントについていくつか。なおNameNode Federationは使ってないので知らん。使うならクラスタ名の指定とかに影響があるはず。 セットアップ順序 基本的にはこのドキュメントを読む。 Redirecting... が、通常のセットアップとの関係やどういう順序で全体を進行すればいいかがいまいちちゃんと書いてなくて不明なところが多い。簡単に概要をまとめると以下のようになる。パッケージ名はyumでのものなので適当に読み替えを。

ひとことで言うと「通常必要なパーティション階層の更に下にもうひとつパーティションを掘っておけ」だけ。 普通のパーティション設計 仮にWebサーバのアクセスログを投入するためのテーブル accesslog があるとする。このテーブルを、まずサービス名 service カラムでパーティショニングし、さらに日毎にパーティショニングするとしよう。データは外部でタブ区切りにparseしておき、それを毎日LOADする。 このようなテーブルになる。 CREATE TABLE accesslog ( rhost STRING, time STRING, method STRING, path STRING, status SMALLINT, bytes BIGINT, referer STRING, useragent STRING ) PARTITIONED BY (service STRING, yy

Cloudera World Tokyo（2012年11月7日開催） on Zusaar 思えばHadoopの技術イベントってだいぶ久し振りだった。スーツの人向けなのかなーと思いつつなんとなく参加してみたらやっぱりスーツの人が多かったし、内容もそういう話が多くてちょっと辟易……。 しかけてたら、CDH4.1の話に色々思うところがあったので収穫だったのと、Impalaの技術的な詳細がねーなーというのが懇親会でくつがえったのが素晴しかった。懇親会に絶大な価値があった*1 大部分の内容は割と初心者向けの話＆Clouderaの宣伝＆ビッグデータ()＆事例紹介だったのでパス。 CDH4.1 CDH4は色々中途半端だなと思ってたけど、CDH4.1になって良さそうな感じになってた。 Namenode HAが共有ストレージに依存しない形で実現したこと 思ってたよりずっと早くこの状態になった、しばらく来ない

HadoopとMahoutにより、ビッグデータでも機械学習を行うことができます。Mahoutで実装されている手法は、全て分散処理できるアルゴリズムということになります。Mahoutで実装されているアルゴリズムは、ここに列挙されています。論文としても、2006年に「Map-Reduce for Machine Learning on Multicore」としていくつかのアルゴリズムが紹介されています。 そこで今回は、（何番煎じか分かりませんが自分の理解のためにも）この論文で紹介されているアルゴリズムと、どうやって分散処理するのかを簡単にメモしておきたいと思います。計算するべき統計量が、summation form（足し算で表現できる形）になっているかどうかが、重要なポイントです。なってない場合は、”うまく”MapReduceの形にバラす必要があります。 ※例によって、間違いがあった場合は随時

TODAY ONLY! Save HALF on Snowflake Data Engineering and more!

Runaway complexity in Big Data... and a plan to stop it This document discusses sources of complexity in big data systems and proposes a new design approach. Common sources of complexity include a lack of human fault tolerance, conflating data and queries, and schemas done wrong. The author proposes building data systems based on immutability, separating data storage from querying through precompu