どうもどうも、最近国産クラウドの話が盛り上がっていたので、私自身多少クラウドの世界に身をおいていたこともあり少し考える所もあるのでちょっと書いてみましたネ！ 国産クラウドって昔いっぱいあったよね そうですよね、15年前くらいには日本にもいっぱいクラウドがありました。VMWareを使っていたIaaSや、CloudStack、OpenStackなどを使ったIaaS、独自プラットフォームとして作られたクラウドもあったと思います（さくらさんは独自ですよね） 今は殆どなくなってしまいました、、、？ ですが、今はいくつかのクラウドはなくなり、いくつかのクラウドは存在感を失い、と言う結果になっているように思えます。（外から見ている印象なのでそうじゃないよ！という人もいるかと思いますが） その理由はこれが一つあると思っています。 https://twitter.com/kuwa_tw/status/184

がんばった！自分じゃないけど！がんばってた！みんながんばってた！（前回もいってたな） というわけで技術書典17で「はじめてのデータブリックス 〜Databricksではじめるデータ基盤ガイド〜」という本が出ます！ このページ数で1,000円って、かなりお買い得感がある。何冊刷ったかによるが、1冊あたりの製本原価500円近くするだろうし、技術書典の販売手数料20%（200円）を考えると、実質無料！！ 売り切れる前に買おうｗ はじめてのデータブリックスhttps://t.co/ctUFMkTVAX — Takuro SASAKI (@dkfj) October 28, 2024 しかも実質無料らしい！ｗ 前回の本は、データウェアハウスに特化した本になっていました！ 最初の本としてとっつきやすいかなというのもあったりで、まずはデータウェアハウスから、という感じだったのですが、今回の本は決定版！

こんにちわ！Databricksはじめたいけど情報が、、、ない、、、？という方？あるよー！ここにあるよー！ というわけで、Databricks関連情報をまとめていきたいと思います。 書籍 まずはこれ「データブリックス-クイックスタートガイド」Databricksとはなぜ生まれてきたのか、どういうアーキテクチャなのか、といった最初の一歩がうまく書かれている本です。 Unity Catalogなどが入る前の本なので若干古いのですが、アーキテクチャの思想や基本的な部分についてはわかりやすいのでぜひ。僕もここから入りました。 つぎはこれ、「Apache Spark 徹底入門」、Apache Sparkの書籍ですが、Databricksの情報も入っております。まずは基本となるSparkの知識を仕入れつつDatabricksの情報も仕入れていきましょう！ 同人誌 有志の方々が出版されているDatabr

結論からいえば「好きにすればよろしい」なんですよね。 でもなんとなく書いとくか、と思ったので駄文ですがザッと書いていくのである。 技術選定の話 この前燃え上がってましたよね「MySQLを使うと会社が潰れる」のエントリ。その後筆者さんはニュアンスを変えて上げ直してましたけど結局消したみたいです。この流れでいくつかBlogもみましたけど喧々諤々しているイメージです。 なんで燃え上がったかというのは「OSSやプロダクトに敬意を」とかそういう話も目にしましたけど、自分が思うのはこれだけです。「他の人が見たときにネガティブになるような話をしたらネガティブな反応が返ってくるよ」です。 多分この話をミーティングで直接されてもこんな反応帰ってこないと思いますよ。気を使うから。 だけどSNSは匿名で、かつ文字ベースの疎なコミュニケーションです。反応しようと思えばいくらでも正直な反応が返ってくると思う。そんな

こんにちわ！こんにちわ！ 今週末にかけては送っていただいたこの本「マルチクラウドデータベースの教科書」を読んでました！ 今話題のマルチクラウドデータベースの教科書、一部レビュー参加させていただいて、献本いただきました！ 読ませていただきまーす！ pic.twitter.com/99WgWxsbHY — akuwano (@kuwa_tw) August 7, 2024 元々レビューアとしても参加させていただいていたのですが、レビューした内容が取り込まれていてよりよく昇華していました、、、！ ということでこの本を読んだ感想と、読む中で考えていたことなんかを書いていければと思います！ 「マルチクラウドデータベースの教科書」 最初にこの本の紹介をしていければと思います！ まず現代においてマルチクラウドという選択肢は一般化してきていると感じます。AWSを使いつつ、Google Cloudも使うとか

お疲れ様です！ 最近AWSのサービスが終わるの終わらないのがXなどで話題ですね！ Jeff Barrさんは以下のようにおっしゃっています。 I hear you and we are making improvements so this is clearer for customers. The services I'm referring to are: S3 Select, CloudSearch, Cloud9, SimpleDB, Forecast, Data Pipeline, and CodeCommit. — Jeff Barr (@jeffbarr) July 31, 2024 このポストから具体的にはこれらのサービスが対象になるようです。 S3 Select CloudSearch Cloud9 SimpleDB Forecast Data Pipeline CodeC

いや、もうタイトルは迷子だよ。 こんにちは！みなさんお元気ですか！ 職業柄Databricksによく触るわけな… いや、もうタイトルは迷子だよ。 こんにちは！みなさんお元気ですか！ 職業柄Databricksによく触るわけなんですけど（そらそうだ）正直、メチャクチャDatabricks好きなわけです、良いと思ったのでDatabricksに入ったわけだし。 だけどまだまだDatabricksについて知らない方もたくさんいらっしゃるんですよね、なので今日はDatabricksって何がいいのか、とかそれは誤解かもしれないなぁ、とかそういうのを徒然なるままに書いていくよ！ 何がいいんだろうね？ まずいいところを思いつく所から書いていきたいと思いますね！ まずは何を言ってもデータレイクハウスによるクラウドストレージを使いつつトランザクションや、バージョン管理を行えるアーキテクチャを最初からとっている

お疲れ様です、桑野です。 なんとなく思ったことをつれづれなるままに書くしりーず。 これで何かを主張したい、決めたいわけではなくて思考実験です（汗 この議論結構繰り返すんですよ Xとかで定期的にこれやる、「RDBがデータもきれいに持てるし、何よりSQL使えるのがいいよね」「いやいや、用途ごとにユースケースにあったNoSQLを使えるのが良いよやっぱ」「NewSQLはNoSQLのスケーラビリティと、使い慣れたSQLも使えるので最強だ」とか。そういう奴。 悲しいけどそれ戦争なのよね？（違 言ってることはみんな正しい まずいいたいのは、みんな間違ってるわけじゃないってこと。なぜかというとみんなバックグラウンドが違っていてそのバックグラウンドで何かを選択するしかないわけだし。 でも戦って決めないといけないわけじゃない Xとかだとなんか舌戦になってて、戦うべきことなのだろうか？って思う。（Xの性な気はす

おはようございます。やっぱヒノキっぽいんだよなぁ、、、（花粉 ということで鼻ズルズルマンです。 Dropboxはオンプレ回帰した？ 最近良く聞きます、Dropboxはオンプレ回帰した、クラウドはコストが高いから最近オンプレに戻る企業が増えている、とか。 一つ一つの記事やツイートをイチイチピックアップはしないですが、とにかくよく聞くわけです。 でも思うんですよね、「そんなわけないのでは？」だってよく考えてみてください、テックが強い組織であればあるほど適材適所でクラウドを使ったほうがいい所も見えてきます。 現代のアーキテクチャでクラウドがハマる部分が全くないシステムはありません。一時的なリソース確保と開放、管理のいらないインフラ、様々なサービス。これを利用しないなんてことあるのかな？ってことなわけです。無理にオンプレのみで頑張るのが論理的か？という話かもしれません Dropboxがオンプレに移

こちらの記事はDatabricks Advent Calendar 2023の23日目の記事です！ 何年ぶりにかくねん、、、8年ぶり！！！！！？？？？ 嘘やろ、、、、😨 という衝撃はおいておいて、8年ぶりともなると色々変わっているわけで、一番大きいのは僕は会社をAmazon Web Services JapanからDatabricks Japanに変わりました。 転職の理由というのはポジティブな理由もネガティブな理由もあると思いますが、そういう細かいことはおいておいて（おくんかい）決め手になったのはこれです。 「Databricksというサービスに技術的なアドバンテージを感じたから」 SAとしていえばこういえるかもしれません、 「SAとして働いてる自分を想像して、Databricksをお客さまにオススメするときのイメージが付いたから」 でもあります。 とにもかくにもDatabricksと

文章生成AIや画像生成AIが2022年に登場すると、たちまち世界中で話題が沸騰しました。中でもChatGPTは、実際に記事を書かせる出版社が現れる、人類社会への危機だとして使用禁止を訴える人々が出るなど、さまざまな熱狂と混乱を引き起こしています。 その技術は非常に便利で有効なものであり、今後急速に広がっていくことは間違いありません。ならば、AIについて学び、積極的に利用し、共存するための知識を身につける私たちの姿勢こそが、これからの時代に必要なはずです。 オンライン学習プラットフォーム「Udemy」には、既にそうした新しい技術やサービスに関するノウハウが詰まった各種講座がそろっています。最新のAIで何ができるのか、今すぐその手で実際に学び始めましょう。 Udemyでは、2023年5月16日（火）～2023年5月24日（水）の間、初夏のビッグセールを開催します！ セールの対象となる講座は1,

というわけでやります。 connpass.com まだ詳細は決まってないけど良かったら来てね。 今回はこのイベントにまつわる話です。ダラダラと書いたので長いです。 はじめに 2023年の6月21日から22日にAWSの開発者向けイベントであるAWS DevDayが開催される。このAWS DevDayではCall for Proposal（CFP）という形でセッションが公募されている。 細かいルールとかはこちらを見ていただくとして、採択されるかどうかには一般の人からのリアクションの数も参考にするという。 さて、転職してからはめっぽう外部で登壇するってことは減っている。 これは今の僕は有限である時間の割り当て先としてそういった活動ではなくプロダクト開発に直接的に関係することにあてたいからだ。 とはいいつつもたまにはそういうこともして世の中にアピールしておかないとなってことで僕もCFPを出した。以

2021年9月30日AWS Dev Day Online Japanの登壇資料 動画はこちら: https://www.youtube.com/watch?v=0IQ4IScqQws

3. システム構成 • Node数：97台 • サーバスペック 機器：Dell R410、R420 メモリ：64GB CPU:16コア、24コア HDD：600GBx4 (RAID-10) 600GBx2(RAID-1)+SSD 512GB(RAID-0) • クラスタ数：1 • Cassandraのバージョン：1.1.5-2(独自バージョン) • KeySpace数：8 • ColumnFamily数：156 4. 運用状況とか Cluseter Writes Request: 32000/sec Cluseter Reads Request : 58000/sec 1 nodeあたりのデータロードサイズ 約200～230GB

大学や大学院で論文の書き方を鍛え上げた人たちには遠く遠く及ばないが、僕の様なはぐれもの1でも最近は Amazon 社内で文書の質が高いと評価してもらえるまでにはなった。Software Engineer として、コードでのアウトプットはもちろん大事だけど、文書のアウトプット(およびそれによって得られた実際のアウトプット)は同じだけ重要である2。今回は自分が最近どういうところに気をつけて技術文書を書いているのか、ということについて数年後の自分が忘れてないことを確かめられる様にまとめておく。 そもそも文書とは？ 英語だと document。ここで指す(技術)文書とは、人間が読む文体で書かれた技術に関連する情報、といったものだ。具体的に言うと以下の様なものを想定している: 新しいプロジェクトの骨子を説明する資料 会議の叩き台となる 1 枚ペラ 本番環境に変更を加えるにあたっての包括的な情報や具体

こんにちは！店舗開発チームの滝口です。 ぐるなびでは、認証・認可のプラットフォーム開発に携わったのち、現在はレストランデータの運用をしつつ、ぐるなび掲載ページや、店舗向け管理画面の開発をしています。 はじめに このたび、オンプレで稼働していた「非構造化データストレージ（通称：UDS）」をAWSに移行しました。 UDS は NAS に保存されているファイルを REST API を介して CRUD 操作できるシステムで、ぐるなびで掲載している店舗の画像や CSS 、Javascript 等の保存に利用されています。 この記事では NAS に保存されたファイルをどのようにして AWS に移行したのか、その移行方式や AWS アーキテクチャを紹介します。 目次 はじめに 目次 UDS 基本情報 今回使った主な AWS AWS を活用して実現したいこと AWS 導入におけるアーキテクチャ AWS へ

Amazon Web Services ブログ 面白法人カヤックにおけるビルディングブロックとしてのAmazon ECSの活用とサービス間連携の工夫 開発者がアプリケーションを開発・パッケージング・デプロイするための強力な手法として、コンテナ技術はその代表的な1つに挙げられます。そしてそのようなコンテナ技術における様々なユースケースをサポートすべく、AWS では Amazon Elastic Container Service (Amazon ECS) に代表される多様なサービスを提供しています。 Amazon ECS はコンテナの運用管理を容易にするマネージドサービスです。他の AWS サービスとの組み合わせにより多様なワークロードをサポートするシステムを素早く構築可能です。一例として、 AWS Secrets Manager を利用した秘匿情報の連携が挙げられます。これにより、IDやパ

それに対して以下のようにはてぶでコメントしてツイートしたところ、意外と反応があったのでもう少し僕なりの思いを。 これわかるなー. 同様に土日祝は基本的に勉強会とかカンファレンスに行かない. ライブ行ったりとかの個人の予定も. 仕事の登壇もなるべく断ってる. 子どもなんてそろそろ大きくなって嫌でも離れてくしね. それまでは. / “休日の時間の使い方を考える - つばろぐ” https://t.co/zOZ7RnwCAO — Keisuke Nishitani (@Keisuke69) January 14, 2020 きっと家庭を持つ、特に子どもがいるエンジニアは多かれ少なかれ同じような悩みを持っている人が多いのではないかと思う。もちろん、「全然理解できない、意識低すぎるんちゃうか！」というような人もいるだろうけど。 さて、まず最初に断っておくと僕はエンジニアといっても現在はマネージャであ

｜DMM inside