サクサク読めて、アプリ限定の機能も多数！
トップへ戻る
今年の「#文学」
kazunori279.hatenablog.com
Googleに入ってもうすぐ4年になります。過去2年半はGoogle Cloud Platform (GCP)のSolutions Architectとしてお仕事してきましたが、12/1をもってGCP担当のDeveloper Advocateとなりました。 これまでのSolutions Architectとしては、ソリューションペーパーやサンプルを書いたりAPAC地域の大手顧客への技術コンサルティングがメインのお仕事で、ブログを書いたり勉強会を開いたり発表したりといったコミュニティ支援や#マ活動は個人的な20%プロジェクトでした。しかし最近はGCPの利用が急速に広がり国内やAPAC地域のコミュニティも立ち上がりつつある中で、デベロッパーやコミュニティの支援にフルタイムで専念したいなーと思い、SolutionsチームからDeveloper Relationsチームへの移籍を決めました。 今後
gcp ja night #28 、今回はフリークアウトさんのおしゃれ会場をお借りして開催、200名ほどの参加がありました。これまでで最大規模ですね。。GCP来てる感あります。 皆さんのまとめ 当日のようすを知るにはyukotanさんが速攻upされてたtogetterまとめがベストですね〜。 togetterまとめ gcp ja night #28 #gcpja by @yukotanさん gcp ja night #28 Hangout on Air動画 gcp ja night #28 に参加してきたので色々まとめるよ by @a_knowさん # @a_knowさん、BQの一時テーブルにはコストはかからないはずですが、確認しますー！ →かかりませんでした。 今回のおしながき Managed VMのDocker対応とKubernetes最新動向 by Brian Dorsey, Dev
FPGAエクストリーム・コンピューティング第5回、今回もニフティでの開催でした。 イーツリーズ・ジャパン 船田悟史さん：FPGAにネットワーク処理を実装してきた話と、これからの話 @marsee101さん：ラプラシアンフィルタをZedBoardで実装（ソフトウェアからハードウェアにオフロード） @shtaxxxさん：PyCoRAM: Python-Verilog高位合成とメモリ抽象化によるFPGAアクセラレータ向けIPコア開発フレームワーク テクノロジージョイント 鈴木さん：Solarflare Application Onload Engine (AOE) 製品概要と開発キット(FDK)の紹介 イーツリーズ船田さんのFPGAによるTCP/IP実装の話、そのルーツはアマ無線のTCP通信とは！ TCPの動きを音で理解したってエピソードはたいへんうらやましく思いました。TCP実装の詳細のところ
男子たるもの一度は自分でCPUを作ってみたいものだけど、ICでLEDをピカピカさせた程度の経験しかないハード素人な俺だったので、CPUを自作してる東大生などを遠くから見て憧れてるだけだった。しかしおよそ一年前のこと、「MIPSなんて簡単に作れますよ！」とKさん（←FPGAでLispマシンを自作するような人）に言われて、お、おぅ。。そりゃKさんはそうでしょうよ。。あれ、もしかして俺にもできるかな。。？ と思った。この一言がなければ32bitのCPUを自作しようなんて考えなかっただろう。 それから一年ちょい、とくに今年の正月休みやFPGA温泉でがっつりがんばって、なんとかMIPS Iサブセットの自作CPUが動いた。これはフィボナッチを計算してるところ。 ちなみに、これはこんな感じのフィボナッチのコードをCで書いて、 void main() { int i, *r = (int *)0x7f00
Google Cloud SolutionsチームにSolutions Architectとして入って1年半くらいが経ちました。仕事の4割くらいは国内外のお客さんへの技術コンサルティング（Platinumサポート）、次の4割はホワイトペーパーの執筆やサンプルコードの実装、そして残り2割はApp Engineのトレーニング教材作成や講師のお仕事をやってきました。 年末ということもあるので、ここではこれまで私が書いたホワイトペーパーやサンプルをまとめてみたいと思います。気に入ったものがあればぜひ+1してくださいね！ するとKazもっとその調子で書けとマネージャから指令が来ますｗ いまのところすべて英語ですが、もしかするといくつか日本語化されるかもです。 An Inside Look at Google BigQuery Solutionsチームが一番最初に出したペーパー。Dremelのペーパー
FPGAエクストリーム・コンピューティングの第4回はニフティで開催されました。今回はこんな内容： @yukitaketakeさん：GPU設計者から見たFPGA GPU設計者の方がFPGAとGPUを比較するというとても貴重な発表でした。均質な浮動小数点演算を大量にこなすという用途においては、GPUの独擅場なのかなという印象です。開発コストも低いですし。JP MorganのFPGAによるHPC事例ではGPUとFPGAを比べた上で両者を併用しているそうですが、どういった点でその違いが現れるのかが知りたいところです。それを理解するには数学とハード両方を知る必要があるわけですが。。また、HPCではなくビッグデータ処理では非均質かつ整数中心の演算や、たくさんの同期を必要とする処理、I/O直結したい処理などが主体となるので、Netezza等がなぜGPUではなくFPGAを使っているのか？ という理由はこの
appengine ja night #26はGoogleオフィスでの開催でした。今回は日本に一時帰国している松尾さんがひさびさにajnに登場、同じくdeveloper program engineerのBrian Dorseyさんと二人でのセッションとなりました。 Brian Dorseyさん：Compute Engine について Google Compute Engine 担当 Developer Programs Engineer の Brian Dorsey が Compute Engine の最新情報をお伝えします。 松尾さん：VM-based backends （VM Runtime） について VM-based backends という新しいタイプの App Engine Runtime は、今まで Google App Engine が持っていた制約のほとんどを取り除いて
金融系でFPGAというとHFTへの応用が知られてるけど、この事例はリアルタイムトレードの話ではない。金融業務で必要とされるバッチ処理やHPC（High Performance Computing）でもFPGAが本格的に使われ始めてるという話だ。 元ネタは、2011年にJP Morgan Chaseの人がスタンフォード大学で講演した内容。このビデオを見ていたらとっっっても面白かったので、 #fpgax 第3回で使う資料として要点を訳し、俺のコメントや補足を追加してみた。 http://www.youtube.com/watch?v=9NqX1ETADn0 （スライドはこちら） なお、FPGAも金融も素人なので、勘違いや誤訳があるかもしれない。FPGAとは何かよく知らない人はこちらをどうぞ。 リーマン・ショック対策のスパコン開発 JP Morgan Chaseは、社債やモーゲージ（不動産を担保
FPGAエクストリーム・コンピューティング第3回は大阪で開催でした。ハードウェアは西日本が熱いのか、いつも大阪や京都や福岡から来ていただいてる方が多く、これは大阪でやらねば！ と思いまして。。大阪市と共催で、大阪イノベーションハブの会場をお借りして開催しました。この会場のあるグランフロントという大阪駅となりの新しいショッピングモール＋オフィス施設がでかすぎて、会場にたどり着くまで相当迷いました。。グランフロントなめてました。 今回の内容 鈴木圭介さん：FPGAのUIにAndroidを使う Android上で作ったUIからFPGA上で組んだ回路と通信する方法の解説。私も前に音源作ったときはUIをFPGAで実装するのが面倒で、ChromeのJSで作ったUIとFPGAをシリアル通信で連携させたりしてました。これはUARTを使ったごく単純なしくみでしたが、鈴木さんの方法はFPGA上でAvalonバ
先日6/4、FPGAエクストリームコンピューティング第2回をニフティさんの会場で開催しました。今回もかなり濃ゆい内容でした： ・BBR/PIAX Inc.の吉田さん：異形の論理型言語システムをFPGAで!! ・本庄さん：MapReduce(Hadoop)のハードウェアオフロード ・アックスの浜田さん：FPGAでエクストリームなレトロコンピューティング ・@natsutanさん：速いぜ速いぜFPGA ・三好さん：FPGAでSSDの話 ・@nishioさん：FPGA体験記(ライフゲームを作った話) ・きしだなおきさん：コンピューターサイエンスはオワコン ・安田豊さん：AristaのFPGAスイッチの話 ・栗元さん：（次回の予告を簡単にお話いただきました） しかし今回も時間が足りなくなってしまい、発表者の皆さんにご迷惑をお掛けしてしまいました。申し訳ありません！m(__)m 栗元さんには第3回で
appengine ja night #24がリクルートMTLで開催されました。今回はGoogleでAPAC地域のCloudセールスを統括するCory Frantzmeierがたまたま東京に来ててぜひ皆さんに挨拶したいというので簡単なキーノートをお願いしました。そこで「年内には台湾、香港、シンガポールにApp Engineのデータセンターを設置したい」っていう情報も飛び出してました（正式なところは私もよく分からないのですが...）。これが実現すると、いまよりぐっとレイテンシが短くなるはずで、App Engineエンジニアには嬉しいニュースですね。 今回のおしながきは以下のとおり。 セッション1：「Google Cloud Endpoints & BigQuery」 発表者：Ryo Yamasaki @vierjpさん 資料：こちら セッション2 「Datastoreへのアクセスを楽してMe
（まとめを書くのがすっかり遅くなってしまいました。。）今回のappengine ja night #23はひさびさにGoogleオフィスで開催されました。今回はGoogle米国本社からProppyとBrianを招いてApp EngineとCompute Engineのセッションを開催しました。 App Engine アプリの最適化と Appstats Johan Euphrosine （proppy）, Developer Programs Engineer, Google Inc. App Engine アプリ設計や Datastore 利用におけるアンチパターンとベストプラクティスをはじめ、Appstats による最適化の方法を紹介します。 資料はこちら Google Compute Engine 最新動向と App Engine 連携 Brian Dorsey, Developer
ストリームやデータベースにおけるジョインやマージやソートのFPGA実装って、いまどこまで研究が進んでいるんだろう…と気になってて、その道の専門家である筑波大の川島さんに参考になるpaperをいくつか教えてもらった。これからゆっくり読む。 How Soccer Players Would do Stream Joins ストリームデータ同士を高速にwindow joinするhandshake joinという手法。これをベースに、三好さん＋オゲさん＋川島さんが世界最速のFPGA実装を作成されたとのこと。 Sorting Networks on FPGAs ハードウェアでソート！ FPGAs: A New Point in the Database Design Space FPGAでデータベースまわりの処理、あまり本文がないのでリンク集って感じ。 FPGA: What’s in it for
ここのところ重度のFPGA中二病にかかってしまい、冬休み中もDE0ざんまいな日々。気になっていた金融のHFT（high frequency trading：大手投資銀行等がμ秒単位の超高速で株式等を売り買いしてる恐ろしい市場）におけるFPGA利用状況について、HFT Reviewにこってりしたレポート（HFT業界のベンダー各社にインタビューしたもの）が載っていたので、勢い余って面白かった部分を超訳してしまった。 元ネタはこちら： FPGA & Hardware Accelerated Trading, Part One - Who, What, Where and Why? FPGA & Hardware Accelerated Trading, Part Two - Alternative Approaches FPGA & Hardware Accelerated Trading, P
これはWeb Music Developers JP Advent Calendar 2012の12月19日分のエントリです。Web Musicとちょっと違う話題ですが :) これまでのまとめ 2〜3か月前にFPGAの入門用ボードDE0を買ったのがはじまり。 Terasic - FPGA Main Boards - Cyclone III - Altera DE0 Board via kwout これでなに作ろうか？自作CPUもいいのだけど、中学のころ連日ヤマハ仙台店に通っては（鍵盤弾けないのに）PolysixやDX7やJUNOに何時間もぶらさがって店員さんに煙たがられていた程度にはアナログシンセ好きの俺としては、まずは音！FPGAを使ったデジタル回路設計の練習がてらにDE0で音を出してみたかった。デジタル回路も電子工作もデジタル信号処理も素人なんだけど。。 ここまでやってきたこと： DE
前回のDE0で正弦波を出してみた。の続き。音は鳴ったものの、440Hzしか出ない。つまらない。しょぼい正弦波のみの音源ではあるが、やっぱりキーボードで鳴らしてみたいなぁ。。その野望を叶えるためには、まずMIDIでつなげるようにせねば。 DE0にMIDIをつなぐ もちろんDE0にはMIDIインタフェースなどないので、どうやってつなぐか考えた。USB経由の方向はプロトコルとか面倒そうな気がしたので調べてない。RS-232Cが付いてるので、MIDIから232Cへのコンバーターかなぁ、、いやしかし、MIDI信号について調べてみると、フォトカプラを入れるだけで割と簡単に信号読めそうだな、、パーツ屋でフォトカプラ買ってくればいいのかな？いや、フォトカプラやコネクタ等ひととおりボードに載ってるArduino用のMIDIインタフェースがあるな！これ流用しよう。 ということで届いた。それっぽい端子をテスター
（アカデミアの状況とか追ってないし専門外なので、もしかしてかなり既知／的外れなこと書いてる可能性あり） 15年くらい前にIP Switchって製品が登場して画期的だった。これってZynqサーバー（Xilinx Zynqを搭載したサーバー機器。そんなものが実際にあるのか俺は知らないがいずれ出てくるだろう）におけるARMとFPGAの使い分け方法を示唆してるのではないかなという思いつきをメモっておく。 IPスイッチ＝Linux IPルータ＋ATMスイッチ 当時、IPルータやATMスイッチはあったけど、IPスイッチはなかった。IPルーティングにはBGPやらOSPFやら複雑なアルゴリズム使った経路制御が必要でCPU処理が不可欠。CPU使わずハードだけでスイッチングは難しかった。するとどうしてもCPUがボトルネックになる。 そこで、53バイトの固定長セルを定義し、そのヘッダのアドレスを見てCPUなし（
ディスクI/Oの並列度が1000超えてないDremelクローンって… Apache DrillやCloudera ImpalaといったDremelインスパイア系のリアルタイム低遅延でカラム型なデータストア的何かがいくつか出てきて、最初はちょっと身構えた（Amazon RedshiftはRDBクラスタって感じでDremel系とは違うかも）。Dremelの立場危うし！ しかし、よくよく話を聞いてみるとどれも並列度が数十って規模らしく、ちょっとガッカリ＋安心した次第。オープンソースでDremel的なものを作るなら、俺ならこうするぜ！ってアイディアを今朝思いついたので、自分で実装する気はないけど書き残しておきたい。 ビッグデータの最大のボトルネックはディスクドライブ 先日公開されたBigQueryのホワイトペーパー、英語だし基本はDremelペーパーを読みやすくした程度の内容なのであまりまじめに読
前からFPGAでHDLを書いてみたかったので、２か月ほど前にDE0っていう入門用ボードを買って遊んでる。デジタル回路といえば中学のころにフリップフロップでLEDをピカピカさせた程度の経験しかないため、入門書を読みながら勉強し直し。デジタル時計くらいは作れるようになった。 つづいては4bit CPUを作ってみたいのだけど、その前にDE0で音を出してみたいなぁと思ってた。画像処理とか敷居高いけど音声処理ならFPGAでわりと簡単にいじれるかな？と思ったのと、G+でとよしまさんに教えてもらったWeb Music Developers JP Advent Calendar 2012にも何かエントリしてみたかったし。。 標準のDE0にはUSBやボタンやSDスロットは付いてるけど音関連のインターフェースはまったくなくて、FPGAで音を出したいときどうすればいいんだろ。。このあたりの電子工作的発想とか経験
すっかり半年に1回ペースになってしまったappengine ja night、22回目がニフティさんの会場で先日開かれました。今回はこんな内容： Google Cloud Endpointsでかなりラクするモバイルアプリ開発 by @kazunori_279 Google Cloud Platformの海外エンタープライズ事例紹介 by グーグル株式会社エンタープライズチーム 福田潔さん 世界有数規模のApp Engine事例の開発ノウハウとBigQueryによるログ解析 by 株式会社アプリボット 永井友之さん （いずれも公開資料は残念ながらありません。。代わりに @thorikiri さんの超詳細なまとめブログをご覧ください） 私の方からはGoogle Cloud Endpointsのご紹介。これはGoogle I/O 2012で発表された、Android/iOS/JSクライアント向け
Spannerお勉強メモです。かなり久々の技術系エントリだ。。 朝起きてTwitterみてたら@ichiro_satoh先生のこんなつぶやきが。 現時点ではGoogle Spannerの一番詳しい資料かも。berlinbuzzwords.de/sites/berlinbu…— ICHIRO SATOHさん (@ichiro_satoh) 6月 6, 2012 。。やっぱりGoogleのインフラ情報は学会発表で流れてくるケースが多いなぁと思いつつ、先日公開されたF1（Google規模でスケールするRDB。AdWords用に使われてる）でもSpannerが重要なカギを握っているので、ついカッとなってスライドの要点を訳してみました。 原文はこれです：Building Spanner - Better clocks → stronger semantics（セッションのビデオ） 一行に要約すると、
先週の金曜日にappengine ja night #20が終わりました。今回はニフティさんが西新宿にお引越しされてから初めての開催で、用意した80席がびっしり埋まる盛況でした。以下はおしながき。 @superelmer（清野）さんのセッション：App Engineアプリ作成をブラウザのJavaScriptだけで行うgaedirect 資料はこちら @shin1ogawaさんのセッション：Full-text Search APIの紹介 私が会場についたのが8:30ごろだったので、残念ながら@superelmerさんのセッションは見逃してしまいました。。しかしtogetterまとめ等を拝見すると、gaedirectはjsonengineと同じBaaS的ツールのようですね。こうした方向性のツールがいろいろ出始めているということは、BaaSのブレークスルーも近いのかもしれません。セキュリティの確
昨年1月にGoogleに入社して以来ほとんどApp Engineとは関係のない仕事をしてきましたが、4/23よりCloud PlatformチームのSolutions Architectという職につくことになりました。GoogleのCloud products（App Engineをはじめ、Google Cloud SQL、Google Cloud Storage、BigQuery、Prediction APIなど）を導入するパートナー企業に対して技術コンサルティングを提供したり、実開発におけるノウハウやデザインパターンの蓄積と共有などを担当するお仕事です。松尾さんのお仕事（Developer Advocate）と重なりますが、もうちょっと実案件に深く関わる立場で、扱う案件も日本に限らずUSやAPACの案件が中心となります。 かねてからの目標であった「GoogleでApp Engineのお
最近すっかり３か月に１回ペースのappengine ja night、今回はリクルートMTLにて以下のような内容で開催されました。 @najeiraさんのセッション：PythonのDatastore APIの新モジュール “ndb” の紹介と、非同期プログラミングのすすめ @najeiraさんのブログ記事と資料 @sue445さんのBT：AZusaar!でのappengine活用事例 @sue445さんのブログ記事と資料 @webooさんのBT：PicoTubeでのApp Engine活用事例 @webooさんのブログ記事と資料 @hanasooさんのBT：HRD移行したけど何か質問ある？ @hanasooさんの資料 @najeiraさんが解説されていたPythonのyieldを使ったtaskletsによるndb非同期処理、いいですね。継続っぽい。私もjava.nioやAS3で非同期なコー
appengine ja night #14、今回の会場はいつものリクルートMTLでした。 おしながき セッション1 「App Engine上の大量データ処理について」 発表者：@int128さん 内容：App Engineで大量のデータを処理する方法とappengine mapreduceの仕組みについて説明します。 @int128さんによる、Task Queueを利用した大量データ処理のデザインパターンや、それらを活用したフレームワークElShard、そしてappengine mapreduceの設計に関する詳細解説。タスクチェーンやクエリチェーンでのシャード分割手法や、appengine mapreduceのScatterプロパティによるシャード分割の違いなど、実測値に基づいてわかりやすく解説いただきました。appengine mapreduceってこんなことやってるだ〜と大変勉強に
ajn13は初めてニフティさんの会場をお借りしての開催でした！電源＋無線LAN付きで勉強会には理想的な環境でした。 おしながき 今回のメインディッシュはバスキュールさんの2つの事例。いずれもインスタンス数が400〜500という国内最大規模の導入事例です。 セッション1 「mixiアプリ『Xmas 2010』開発トピック」 発表者：バスキュール 田中さん・北島さん、あゆた 毛利さん 参考URL： こちら 内容：12月の公開以来250万人ものユーザーを集めたmixiアプリ「mixi Xmas2010」の開発を担当されたバスキュールさんとあゆたさんによるセッションです。App EngineとSlim3による大規模ソーシャルアプリ開発のノウハウをご紹介いただきます。 セッション2 「mixiアプリ『the Actress』運用にあたっての課題へのチャレンジ」 発表者：バスキュール 田中さん、ビープ
これはappengine ja night #12のプレゼン資料です。 Channel APIとは Channel APIは、App Engineで動作するプッシュ通信サービスです。詳しくはこちら： #appengine でComet！ Channel APIでpushできるぞ Channel API on Google App Engine Matcher APIとは Matcher APIとは、「スケーラブルなリアルタイムマッチングサービス」です。 マッチングの条件を独自のクエリ構文で記述して登録 エンティティやdictの内容が条件に合致すると、タスクで通知 数千、数万件の条件を数秒でチェックし通知できます Matcher APIとは 簡単に言うと。。 DB/Datastoreのクエリは「過去に対するクエリ」 Matcherのクエリは「未来に対するクエリ」 例えばこんなdb.Model
#appengine ja night #12 が終わりました。今回はグリーさんが六本木ヒルズに引越してから初の開催でした。MJのScreamみたいなエントランス！ おしながき セッション1 「フレームワークahaとcoreblog3のご紹介」 発表者：@atsさん 参考URL： Aha - framework for Google App Engine 内容：App Engine用のPythonベースフレームワークahaと事例、その上で動くBlog/CMSアプリケーションcoreblog3について紹介します。 ２ヶ月くらい前の「クラウドごった煮飲み会」でshin1さんといっしょに@atsさんをナンパして、ついにajnでご発表いただける運びとなりました^^ 前半はPythonのWebフレームワークの歴史振り返りで、Python初心者な私にとってはこれまでの経緯と現状をさくっと理解できて嬉し
9/28に開催される予定のGoogle Developer Day 2010 JapanにおけるApp Engine関連セッション、そろそろ内容が固まったようです。 Google App Engineについての最新情報／松尾貴史 Google App Engine で最近リリースされた機能 1) Task Queue の強化 2) Multitenancy 3) 高速イメージ配信 4)カスタムエラーページ 等について紹介します。 “Google松尾さん”の初登場ですね！ 最近の新機能についてのまとめのようです。 Part 1: Google App Engine for Business の概要 Part 2: 新しい Google Cloud サービスの概要: Google Storage for Developers, Prediction API and BigQuery／フレッド・
次のページ
このページを最初にブックマークしてみませんか？
『スティルハウスの書庫の書庫』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
