サークルのSlackの匿名投稿チャンネルで質問されていた。普段こうしてるつもりだけどあまり意識してないので違うこともやってるかもしれない。 ブラウザで開いてるwebページ上の情報を処理する 開発者ツールのconsoleにJSを書いて実行している。この要素のtextContentを列挙して copy() して貼り付ける、というのをたまにやる。JSでうまく書けないなと思ったら文字列をコピペするなどして ↓ に持ち込む。 ターミナルで処理する 本当に単純な文字列置換ならsedを使う。最近はPerlを書くことが多いのでPerlでサッとやりがち。昔はこういうときよくPythonを使ってたと思う。ISUCON10予選でアクセスログを解析するときはPerlを書いた。

CX事業本部＠大阪の岩田です。 この記事はAWS LambdaとServerless Advent Calendar 2020の6日目 です。 先日のブログでご紹介したように、Lambdaのパッケージフォーマットとしてコンテナイメージがサポートされるようになりました。 従来のZIP形式と比較したメリットの１つとして、イメージサイズの上限が10Gまで許容されるという点があります。ZIP形式の上限はレイヤーと関数コードを合わせて250Mであり、サイズの大きなライブラリや機械学習モデルを利用する場合、この上限に抵触することもあったのではないでしょうか？パッケージフォーマットとしてコンテナイメージを選択することで、こういったユースケースにも対応できるようになりました。 ここで1つ疑問が浮かびます。イメージサイズの上限が10GBとのことですが、10GBの巨大イメージからLambdaがコールドスタート

構築してみるAWSサーバレス PARONYM Advent Calendar 2020 - Qiita の7日目です。 はじめに 昨今注目を浴びているサーバレスアーキテクチャ。うまく使えばサーバの構築・運用・保守の手間が省けエンジニアはサービスの実装に注力することができます。 しかし便利な反面新たに学ばなくてはならないことが沢山あり、学びはじめのエンジニアは何からはじめたらいいか悩ましいところです。 本記事では、AWS公式で作成されたサンプルプロジェクトを使用してサーバレスアーキテクチャを構築し、サーバレスの学習のきっかけになることを目的としています。 注意 サンプルプロジェクトをAWSにデプロイすると料金が発生する場合があります。デプロイは自己責任でお願いします。 本記事で使用するサンプルプロジェクト AWSには公式から提供される便利なサンプルプロジェクトがあります。今回はその一つを使用

AWS Lambdaがコンテナイメージをサポートしたので、Detectron2 を使って画像認識(Object Detection)を行うAPI を作るAWSDockerlambdaPyTorch この記事はFusic Advent Calenderの5日目の記事です。 昨日は @ayasamind さんの PHP8+ Laravel8 + laravel-generatorで簡単CRUD作成からユニットテストまで書く でした。 @ayasamind さんといえば、先日大いにバズった Geeks Bar Tenjin を企画した偉大なお方です。 月イチで開催されるらしいので、福岡にお立ち寄りの際は、ぜひ開催日を確認してみてください！ やったこと AWS Lambda 上でDetectron2 を実行し、画像にバウンディングボックスを付けます。 はじめに 現在絶賛開催中の、AWS Re:In

Cosmos DB は RDB のようにインデックスを個別で付ける必要がなく、デフォルトのままでも十分なパフォーマンスが出るようになっていますが、最適化を行うとスループットの向上やコスト削減に繋がります。 特に最近は大量データの処理基盤として Cosmos DB を使うことが多くなってきたのですが、こういった大量データを処理するケースではインデックスポリシーの最適化はかなり効果が出ます。 例によって Cosmos DB の公式ドキュメントは充実しているので、基本から読んでおくと安心です。 ちなみにインデックスポリシーの最適化のを行う目的は、書き込みのコストとレイテンシを下げるためです。 読み込みに関しては不足しているインデックスを追加した場合には効果が出ますが、必要となる場面は限定的でしょう。最近だと複雑なクエリが必要なら Change Feed か Synapse Analytics を

はじめに 少し前に、ネタと時間がありそうだったので、勢いで 12/24 のアドベント カレンダーに登録してしまいました。その記事の準備のため、Windows のページ テーブル周りの動きを調べていたところ分量が増えてきたので、アドベント カレンダーの記事を分けることにしました。どうせ Windows カテゴリ人気ないし。貸し切り状態ですわ。 第一回目の記事は、ページングについてです。何を今更、って感じですかね。OS 小学校の一年生ぐらいで習う内容かもしれませんが、私の頭と指のリハビリにお付き合いください。最近文章を書いていないので筆が進まないんですよ。 環境は以下の通りです。Windows 10 のバージョン表記はどうするのが正しいんですかね。 OS: Windows 10, version 20H2 + KB4594440 (OS Build: 19042.631) Debugger:

本記事はトレタアドベントカレンダーの6日目の記事です。 始めに 皆さま、こんにちは！ 『劇場版ヴァイオレット・エヴァーガーデン』で映画館にいる誰よりも号泣していたトレタのエンジニア兼北条加蓮ちゃんのプロデューサーの@hiroki_tanakaです。 先日、API Gateway~Lambda構成のサーバレスシステムをterraform+Lambrollで構築しました。 本記事ではterraformを用いてのAPI Gatewayの構築とAPI Keyでの認証設定に関してお話します。 ※Lambrollに関しては昨日投稿された下記の記事を参考にしてください(o*｡_｡)oﾍﾟｺｯ tech.toreta.in システム構成 今回は下記のサーバレスアーキテクチャの基本型のようなシステム構成です。 アプリケーションからAPI Gatewayをキックして、キックしたパスに応じて対応するLambda

業務で NestJS を用いて Azure Functions の開発を行った際の知見を含めた形で、開発環境構築の手順についてまとめた薄い本となっております。 本に記載されている実際のソースコード群は GitHub 上にプロジェクトごと全てアップしております。https://github.com/nikaera/azure-nestjs-sample

こんにちは！今日は Azure Advent Calendar 2020 - Qiita の6日目の記事として、サービス正常性アラート(Service Health Alert) をSlackに通知させてみた話をしたいと思います。 はじめに サービス正常性アラート(Service Health Alert)とは、Azure内のサービスに障害が起こったときに通知してくれる仕組みで、メール通知やWebHookなど、いろいろな通知方法が選べます。 今回、アラートはSlackに集約させたかったので、Slackに通知するようにしたのですが、情報をわかり易く加工して表示させたかったので LogicApps を通すことにしました。 なんとこれ、公式ドキュメントにやり方がそのまま載ってるんですよね！ docs.microsoft.com これでいいじゃん！ってやってみたんですけど、結果こんな感じ。 Bef

はじめに この記事は BeeX Advent Calendar 2020 の12/6の記事です。 == 今年のre:InventでLambdaがコンテナイメージをサポートしたと発表がありました。 AWS Lambdaがコンテナイメージのサポート 前に以下の記事で書きましたが、Lambdaで外部ライブラリを使用したい場合はLambda Layerに別途アップロードが必要でした。 今回発表されたコンテナを使うことで、その部分が簡略化できないか試してみます。 Lambda Layerに外部のライブラリをアップロードする 尚、Dockerはほとんど使ったことないので初心者レベルです。 環境 PC：Windows 10 Docker：Docker version 19.03.13, build 4484c46d9d 前提 Dockerの初期設定は完了済み Python3はインストール済み(Lambd

この記事はRust 2 Advent Calendar 2020 - Qiitaの6日目の記事です。 AWS re:Invent 2020、初のオンライン開催ですが盛り上がってますねー 毎日ありえなくらいのアップデートが発表されて興奮の日々を送っています。 しかし、さすがクラウドのシェアNo.1のAWS、王者の貫禄というか凄みを感じます。 さて今回はその盛り上がりの勢いを借りて私の大好きなRustを盛り上げたいと思い筆を執りました。RustとLambdaは相性抜群という話を書いてみたいと思います。 RustとLambda まずはRustとLambdaの簡単な紹介です。 Rustは2020年のStack Overflowの調査で 5年連続で開発者から最も愛されているプログラミング言語 になりました。GCを採用しない等の工夫でメモリ効率が高く、豊かな型システムと所有権モデルでメモリ安全性を保証

こんにちは、虎の穴ラボ Advent Calendar 2020 - Qiita 6日目の記事です。 5日目はHYさんがiPhoneの気圧センサーとSwiftに関する記事を書かれています。 7日目ははっとりさんがFargate環境構築についての記事を書かれる予定です。 はじめに みなさんFirebaseはお使いでしょうか。 今回はその代替となる(かもしれない)ツールを一つ紹介いたします。 Firebase自体初耳という方のために、まずは「Firebaseとはなんぞや？」から軽く触れていこうと思います。 Firebaseとは FirebaseとはGoogle社が提供するクラウドサービスで、データのリアルタイム同期を得意とします。 例えばタスク管理のアプリを作る場合「Aさんがレコードを追加するとBさんの画面にも自動的にその情報が反映される」といった使い方ができます。 また「包括的なアプリ開発プ

はじめに これはServerless Advent Calendar 2020に12月6日分になります。 https://qiita.com/advent-calendar/2020/serverless 内容手にはServerless MeetupやJAZUGで登壇した内容を記事化したものになります。 どうやって動かすか 現状、Azure FunctionsをAzure以外で動作させる方法としてはKnativeがありますが、今回はKEDAで動作させる方法になります。 実際にAWS上でAzure Functionsを動作させることも可能で動作報告もあります。 https://medium.com/@raduvunvulea/how-to-run-azure-functions-on-aws-and-on-premises-4bba4ba392ec 余談：KnativeでKnative La

凄惨度：低 またやらかす確率：中 俺TUEEE系エンジニアとは ※ ここの章は独断と偏見がかなり入ってるのでネタとして読んでください 俺TUEEE系エンジニアとは、 「まあどんなセキュリティもオレには全然関係ないけど」(出典：BLOODY MONDAY) ウィザード級ハッカー(出典：ne0;lation) 等に代表されるようなある種の厨二的価値観を捨てきれずに社会人になってしまったエンジニアです。 俺TUEEE系エンジニアは基本的に虚栄心があって傲慢です。だいたい自分の開発環境に酔いしれてます。生産性を高めて、作業のスピードを上げ、他の人に一目置かれることを生きがいとしています。 まあざっくりいうと俺TUEEE系エンジニアとは、なんとなくハッカーを気取りたい、人と同じものを使いたくないエンジニアのことです。 俺TUEEE系エンジニアは、だいたい自分の作業用PC（クライアントPC）を完全にL

この記事は 自作OS Advent Calendar 2020 の 6 日目の記事です。 セキュリティ・キャンプ とは毎年夏に開催される，合宿形式の勉強会です。 情報セキュリティ分野で活躍する講師が受講生にみっちりと講義や演習を実施します。 2020 年は新型コロナウイルスの影響によりオンライン開催となり，従来の合宿形式ではなく 2 か月の週末を使って少しずつ進める形式となりました。 セキュリティ・キャンプ全国大会 2020 オンラインの修了式が本日（2020 年 12 月 6 日）ありましたので，OS 開発ゼミで何をやったかを振り返ります。 OS 開発ゼミの立ち上げ 今年の OS 開発ゼミは講師 2 名体制で臨みました。私と，Resea OS を開発している 怒田さん です。 10 月 18 日にセキュリティ・キャンプ全体の開講式がありました。 セキュリティ・キャンプ全国大会 2020

はじめに2020年はCOVID-19に振り回された散々な年でしたよね。 阪神大震災やオウム事件のあった1995年、東日本大震災の2011年がけっこう個人的なターニングポイントだったのですが、これらにまさるとも劣らない日々を過ごしています。 歴史の諸先輩たちが経験したおおきな戦争中の心境ってこんなのだったのでのではないかと時々思ったり…あ、でも、わたしは元気ですよ、ご心配なく。 …ということで、2020年はシビックテック的には北海道版コロナまとめサイト構築の経緯にかかわるお話もよいのですが、それはこのすばらしい北海道新聞さん記事あたりなどなどにおまかせして、わたしにとってもうひとつの大きな出来事、台湾のIT担当大臣であるオードリー・タンさんと9月末に対話させて頂いた際の経緯と内容のふりかえりを書きたいと思います。 この記事は、急きょ「台湾IT担当大臣と来月対談して」と電話で言われた方向け…だ

はじめに この記事は terraform Advent Calendar 2020 6日目です。 Qiita に知見がないプロバイダの使ってみた系記事です 自宅サーバのようなオンプレかつ低コストに、かつ Terraform を使って ESXi の VM を管理したい人向けです この記事を書いている人は Terraform 素振り歴が累計1年あるかないかぐらいです （初参加です、よろしくお願いします） terraform { required_version = ">= 0.13" } にてお送りします。 terraform-provider-esxi とは github.com/josenk/terraform-provider-esxi これは、Terraform から ESXi 仮想マシンを直接デプロイできるプロバイダです。 何をしてくれるのかと言うと: VMware ESXi を導入