202012_smooz.md Smoozサービス終了に寄せて 前置き この文章と、それに含まれる考察や各サービスへの脆弱性報告などはmala個人の活動であり、所属している企業とは関係ありません。 一方で私は、企業が閲覧履歴を収集して何をしたいのか、所属してる企業や他社事例について、ある程度詳しい当事者でもあります。 一般論として書けることは書けるが、(業務上知り得た知識で開示されてないものなど)個別具体的なことは書けないこともあり、また観測範囲に偏りがある可能性もあります。 Smoozに報告した脆弱性2件 最近、Smoozというスマホ向けのブラウザアプリに2件脆弱性の報告をした。 この記事を書いている時点で、Smoozの配布が停止されていて、修正バージョンの入手が出来ない。 2件目についてはまだ返事が来ていない。 脆弱性情報の開示にあたって特段の許可は得ていないが、開発元からも利用停止す

by ライブドアニュース編集部 ざっくり言うと 菅首相との大人数会食に参加したみのもんたが、東スポの独占取材に応じた 二階俊博氏と昔から付き合いがある人で食事をしよう、との会だったと説明 首相主催ではなく、首相に対しても二階氏が声をかけたと明かした 提供社の都合により、削除されました。 概要のみ掲載しております。 関連ニュース ランキング 総合 国内 政治 海外 経済 IT スポーツ 芸能 女子

Merpay Advant Calendar 2020、23日目の記事は、趣味で認証認可をやっている @nerocrux が送りいたします。 最近 GNAP という認可プロトコルのワーキンググループドラフトが出ていて頑張って細かく読みましたので、（次回はいい加減に仕事でやってることについてお話しますが）今回はその GNAP について紹介させてください。 GNAP とはなにか？ GNAP は Grant Negotiation and Authorization Protocol の略で、認可のプロトコルです。Justin Richerさんという方を中心に策定しています。作者によると、GNAP の発音は げなっぷ になります。 認可（Authorization）プロトコルと言えば、OAuth 2.0 (RFC6749) が広く知られ、運用されています。GNAP は OAuth 2 の後継とし

Terraform の provider を試しにつくってみたときのTipsと苦労話をまとめてみました。 前提 今回つくったのは deploygate provider です。 まだまだ、作成途中ですが、アプリへのテスターの招待と削除の機能は実装しました。 https://github.com/fnaoto/terraform-provider-deploygate これを作るにあたって、 APIクライアントとしてこちらを使わせていただきました。 https://github.com/recruit-mp/go-deploygate 参考にさせていただいたサイト https://learn.hashicorp.com/tutorials/terraform/provider-setup https://github.com/hashicorp/terraform-provider-aws

決済送金アプリKyash（キャッシュ）は便利です。 物理カードがあるのでオンラインショッピングだけでなく実店舗でも可能。 クレジットカードを紐付けしてチャージやリンクすると、Kyashポイントとクレジットカードのポイントが2重取り、3重取りできてお得なんです。 使用履歴がアプリからしか参照できないのは不満ながらも、定期契約以外の支払いのほとんどに利用しています。 ところが今回、Kyashを使って海外サイト（請求書データの所在地が海外）で購入したら、海外サービス手数料3％請求されることが判明。知っていましたか？ 海外サイトはEpic gamesで商品は円決済の日本購入。ドルやユーロ決済じゃなかったので驚きました。 「全ての円表記に海外サービス手数料がかかる」・・という訳ではないのも難しいポイントです。 Kyashの海外サービス手数料3％加算の詳細について、サポートに問い合わせして分かった事を

The Terraform Playground 普段 Terraform を書いていると、ちょっと関数の挙動を確かめたり新しいバージョンで使えるようになった機能を試したりしたくなる場面がよくありますよね。 そんなときでもわざわざ tfenv install で目的のバージョンを入れて tf ファイルを書いて terraform init && terraform apply する必要があるので少し不便だなと感じていました。 The Go Playground のようにブラウザで気軽に試せる環境が理想なのですが、探してもいい感じのものは見つけられず…。 Katakoda Terraform Playground -- v0.8.4 はさすがに触ったことなかった… 折角の機会なのでアドベントカレンダー駆動開発で作り始めましたが、見事に間に合いませんでした。ただ最低限形にはなったかなというとこ

海外ベンダーの資料にAWSはIaaSでAzureはPaaSって書いてて面白いなと思うと同時に、妙に腑に落ちる分類だなと思いました。それをツイートしたところ、どういうことか書けよとばかりに拡散されたので書きました。 もちろんそんなにバッサリ区分けできるものじゃないし、AWSにはlambdaとかRDSとかPaaSの人気サービスがたくさんあります。逆にAzureにだってIaaSはあります。 でも、そういう区分けをしていることに納得できる理由。それは、設計思想が違うからです。 なお、本記事は私の偏見のみで構成されております。 2020/12/23追記 lambdaは2010年ではなく2014年開始との指摘を多数いただいたので修正いたします。調べもせずに適当に書いてすみませんでした。また他にも「GCPこそPaaSでは？」「GCPはSaaS」などGCPを比較する声がものすごくたくさんありましたが、私の

クックパッドでデータにまつわるあれやこれやをずっとやってる佐藤です。分析・調査に仮説検証にデータパイプラインにと色々やってました。ちなみに先日はCyberpunk2077休暇をとるなどという呑気なことをしていたら、この記事でやりたかったことがほぼできそうなサービスがAWSから発表されて頭を抱えながら書いています。 そのログはどこまで信頼できるのか クックパッドではサービス改善のためにWebサイトやアプリからログを収集して開発を行っています。これらのログは集計された後、ダッシュボードの形で可視化されてサービス開発者たちの意思決定を支えています。 クックパッドのログ基盤はログ送信側（クライアントサイド）もログ格納側（DWHサイド）も十分に整っており、いつでも必要であれば簡単にログを送信・集計するだけの仕組みができあがっています。 アプリログにおける大雑把なログ収集の図 （注:例として上図を載せ

この記事は『ドワンゴ AdventCalendar 2020』の17日目の記事です。 今回はMenthasというニュースキュレーションアプリを運用して得られた知見について書こうと思います。Menthasは5年前のアドベントカレンダーで話題になった後も定期的にリニューアルを行っており、現在月に約4000人ほどのユーザが安定的に使っている状況のようです1。数年ごとの大きなリニューアル以外はあまり手を入れることはしていないので、ここまでの人に使ってもらえるのはありがたい限りです。 これまで何年もニュースアプリを作り続けてきたのもあって、それなりにニュースアプリで重要となる要素を把握できたように思います。この記事では、前半は今月の上旬に行った三度目のリニューアルの内容を解説し、後半ではこれまでの内容を振り返りつつ自分なりのニュースアプリの哲学についてまとめていきます。 コンテンツを考慮する~プログ

前置き CSSって思ったより凄いよって記事です。 高校生の分際で一丁前にCSSを語るなと有識者諸兄に怒られそうなので先にお詫びしておきます。大変申し訳ございませんでした。 本題 謝ったので好きな事言えます。 CSSアニメーション まずは広く知られてるであろう所から。 CSSでアニメーションが記述できる。それだけの代物。 See the Pen ExgWJJY by HATO (@hatopoppo) on CodePen. 最近だとハンバーガーメニューとかで見かける。( transitionで実装してる物の方が多いけど ) これを頑張れば、 See the Pen mdrWZXY by HATO (@hatopoppo) on CodePen. こういう事もできる。 因みにコードはtransform-originでrotationの原点を関節の位置に変えて回してるだけ。 コードの行数と比例

イントロ 日立製作所 研究開発グループの中田です。普段、エッジコンピューティングや分散システムの研究開発、またシステムアーキテクトをやっています。 公私ともにQiitaは初投稿です。 今回は、Rayを紹介します。 Rayは、分散処理を含むアプリを開発するためのライブラリおよび実行環境です。まだ日本では情報が少ないのですが、海外では有名企業や大学がこぞって活用しており、かなりホットなライブラリだと思います。今年2020年10月1日にバージョン1.0がリリースされました。また同じタイミングにRay Summitが開催され、50本程のセッションで多数の活用事例が紹介されました。 Rayは、通常の手続き型言語を容易に分散処理化できるものであり、データ分析やエッジ/IoTの分野で有用に思えるので、日本でも広まって欲しいと思っている次第です。 本記事では、そもそもここでの分散処理とは何か、から始めて、

本記事はハンズラボ Advent Calendar 2020の17日目です。 はじめに！ こんにちは。AWS絶賛勉強中の@bassaaaaaです。 業務でDynamoDBテーブルを全件取得し、ゴニョゴニョする必要がありました。 RDBなら普通にExportできますが、DynamoDBは最近までできなかったみたいです。 というわけで、最近出たDynamoDB Export1をaws-cliからやってみたいと思います。 前置きはいいから！という人はaws-cliでDynamoDB Exportをやってみるへ 昔は大変だった！ DynamoDB Exportは2020/11/9から使えるようになりました。 それまでは以下のような方法でExportを行う必要がありました。2 AWS Data Pipelineを使う Amazon EMRを使う AWS Glueを使う 全件取得クエリ 1~3はなんと

はじめに PHP Advent Calendar 2020 の17日目を担当します平田です。よろしくおねがいします。 最後にQiitaの記事をまともに書いてから、気づけば3年半が経っていました。光陰矢の如しとはこのことです。 しかし、それ以上に驚いたことがあります。それは、PHP4のリリースから20年が経ったということです。 主流だったPerlを押しのけて、バックエンド開発言語の頂点を目指したPHP４。 ZendEngineの搭載によりPHPのパフォーマンス改善ロードの端緒を開いたPHP4。 私をWebエンジニアの道に導いたPHP４。 そんな伝説のPHP4時代のエンジニアがPHP8のリリースされた現代にきたら、どうなるのでしょうか？ 今回はPHP8のリリースに心を踊らせている私のもとに、PHP4.0のリリースに心を踊らせていたAさんが突然現れました。 時代の違い Aさん「あれ？ここは・・・

TAG : Advent Calendar | GCP | GitHub | GitHub Actions | Tech & Science | Terraform | クラウドサービス | データ基盤 AUTHOR :   ギックス POSTED :  2020.12.17 08:18 この記事は GiXo アドベントカレンダー の 17 日目の記事です。 昨日は、Firestore のデータを TypeScript と Security Rules で安全に扱う話 でした。 Technology Div. の奥田です。前職ではC++を使ってCADを開発しており、GiXoには去年2019年9月に入社しました。クラウド開発歴は1年ほどです。今回は、そんなクラウド初心者の僕がとあるプロジェクトで開発・検証しているデータ基盤についてご紹介したいと思います。 本記事は以下の技術要素を含みます。

自己紹介 こんにちは、enzaプラットフォーム事業本部でエンジニアをやっている橘田です。 業務ではSREチームとして、インフラの面倒をみたり、アプリケーションのアップデート、監視などを行っております。 今回のAdvent Calendarでは、Continuous Integration(CI)、Continuous Delivery(CD)、そしてその先について記載していきたいと思います。 Continuous Integration と Continuous Delivery Continuous Integration(CI) は日本語では継続的インテグレーションと呼ばれています。 CI では、コミット、ビルド、テスト、結合の小さなフィードバックループを高速に何回も回すことにより、問題を小さいうちに発見し、気づくことができるようにすることです。 問題に気づくのが早ければ早いほどに修正

2020/12/17開催のイベント「AWSとReactで始めるShopifyアプリ開発」で話したセッション資料です。

この記事はMLOps Advent Calendar 2020の17日目の記事です。 もともとはGoogle Cloudからもうすぐ出てくる予定のFeature Storeの紹介でも書こうかと思ったのですが、まだ出てこないな...と思ってたら、Google Cloud ソリューションアーキテクトの中井さん（@enakai00）がいい感じのサーバレスMLOpsソリューションをタイミングよく公開されてたので、紹介させていただくことにしました。 できた。https://t.co/COMDamTMQb This example shows how you can use Cloud Run and Cloud Workflows to create a simple ML pipeline. The ML usecase is based on the babyweight model examp

この記事は、Microsoft Azure Tech Advent Calendar 2020 の 17 日目の記事です。 qiita.com KEDA を使って、Azure Functions を動かしてみました。 KEDA KEDA (Kubernetes Event-Driven Autoscaling) は、Kubernetes をベースに、処理すべきイベント量に応じて自動でスケーリングしてくれる仕組みです (ほぼ名前を直訳) 。 keda.sh 名前の通り、Kubernetes が必要なようです。 Kubernetes によるコンテナー オーケストレーションを、イベント ベースにやってくれる、というのが雑な理解。 Kubernetes 自体、名前くらいしか知らないんですが。 Azure Functions ご存じ、Azure が提供する FaaS (Functions as a

Azureでマイクラ鯖をデプロイ 技術構成やプラン 今回の記事ですが、クラウドデベロッパーチャンネル(通称くらでべ)のこの動画が元ネタだったりします。 ということでまずはこの動画について少し説明します。 動画では、りおさんというつよつよエンジニアの方が作ったこちらのデプロイスクリプトを使ってコンテナのデプロイを行っていました。 実際このスクリプトを動かせば今回紹介する内容はすべて実現できるわけですが、正直何が起こってるのかよくわからず実行するのが怖いです。 ということで、スクリプトから作業手順を読み解き、Azure Portal で手を動かしながらやってみようと思いました。 スクリプトの主要部分を引用します。 # ... echo "Creating Resource Group..." res=$(az group create -l $ACI_RES_LOC -g $ACI_RES_G

WebAssemblyWebAssemblyFFmpegtechこの記事は別アカウント(mryhryki)に移行しました。 Discussion

アソビュー！ Advent Calendar 2020 の18日目です。 初めまして、アソビュー！SREのkirimaruです。 最近Amazon Kinesis Data Streams用の社内向けライブラリ「Pelican」を開発したのでその話を書こう！と思ったのですが、Amazon Kinesis Data Streamsの活用事例と合わせて、そもそもこのライブラリを開発する経緯をまず書こうと思います。 余談ですが僕のアイコンはこのライブラリ用のアイコンとして作ったのものです。 アソビュー！ Advent Calendar 2020 の2日目に上記の記事が投稿されています。 その中で今回の主題のひとつであるProtocol Buffersについて下記のように触れています。 🆕 Protocol Buffers / gRPC 以前の記事の時点では、RESTfulなAPIを利用するケー

イベント駆動マイクロサービスアーキテクチャ / Event-Driven Microservices Architecture

はじめに 先日、PulumiからAutomation API がリリースされました。 Pulumiはこれまでも汎用プログラミング言語で宣言的な環境構成の定義ができていました（TerraformをHCLではなく汎用プログラミング言語で書けるイメージです）が、構成定義だけでなく、ステートの管理や環境への変更適用などこれまでCLIを使って実施していたタスクもプログラム言語内で完結させて実施できるようになりました。 これによって、Pulumiで行っていた環境構成の定義から、定義した構成の実環境への適用まですべてをバックエンドサーバと統合できるようになりました。こうした機能をAPIなどを通じて公開することで、開発者や運用者が簡単に利用できるようになります（PulumiではこのユースケースをPlatform APIと言う名前で呼んでいます）。 今回これを活用して、外部からAPIや簡単なGUIを使って、

今回はこの中で「SQL/Core API」と「Table API」について、調査とPHP(laravel環境)でのお試し実装にトライしました。 SQL/Core API 概要 全てのデータエントリはjson形式で保存され、極めて自由度が高い非構造データをRDBライクなSQLで取り扱うことができます。 イメージしやすくするため、下記にデータとクエリの例を記載します。 [data] { "id": "1608223603", "value": 1.25, "device": { "type": "drone", "name": "SENSYN DRONE 1GO" }, "_rid": "I9pmAKenR8NHFwAAAAAAAA==", "_self": "dbs/I9pmAA==/colls/I9pmAKenR8M=/docs/I9pmAKenR8NHFwAAAAAAAA==/", "_

<これまでのあらすじ> API開発を終えたサラリマンエンジニアであるタロウは、しめやかにテストを開始した。しかし、そこに待ち受けたのはジェーソン(訳注: JSONのことだと思われる)の複雑怪奇極まりない組み合わせだった。納期を守らないエンジニアは実際シツレイにあたりセプクものだ。このままではジリー・プアー（訳注:徐々に不利）であるタロウの前に恩師であるカラテ・マスターが現れる。 TL;DR APIのユニットテスト、E2Eテストには Karateが便利。 使い方はクセがあるけど、使えば使うほどよく馴染んでくる。 <>で囲まれたタイトル内は茶番なので無視していいよ。 この記事は ただの集団 Advent Calendar 2020 - Adventarの18日目の記事です。 <インストラクション・ワン> 「ここに1つのAPIがある」「おヌシはこのAPIのテストを全て終わらせなければならん。おヌ

Bullet Group Advent Calendar 2020 19日目の記事です。 こんにちは！SREチームたかはしです！ 栄えあるアドベントカレンダーの19日目、どんな記事を書かせて頂こうか悩みましたが「terraformで s3 + cloudfront を構築し、静的サイトを公開する方法」をご紹介したいと思います！ こちら以前自分が業務上で行ったことなのですが、とてもとても楽に環境構築 & サイト公開までできて感動しました。 簡単なポートフォリオサイトの公開などで使用することもあるかと思いますので、皆さんにもお試しいただければと思います。 前提 pcにterraformがインストール済み(もしまだインストールされていない場合はこちらの記事を参考にインストールをお願いします) AWSアカウントは作成済み 以上を前提に手順を説明していきます！ 手順 AWSコンソールにて IAMユー

ごきげんよう、@An_nAです！ この記事はハンズラボ Advent Calendar 2020 19日目の記事です。 この記事について 今回は、 AWS上に存在している既存リソースをスタックに取り込んでAWS CloudFormationで管理しちゃおうぜ！ という内容でお送りします。 みなさん、AWS CloudFormation(以降、CloudFormationと表記します)は活用していますか？ ここで、突然ですが2020年03月末時点のわたしのCloudFormationに対するつぶやきを見てみましょう。 たとえば、 初対面では「なんだかあんまり好きじゃないなあ」って人を、 付き合ってるうちに深く理解して大好きになったり 逆に「なんだかこの人いいなあ」と思ってた人が、 その人を知るにつれ「ナンダコイツ」になったりすることって ままあると思うんですよね 今のわたしとCloudFor

この記事はロコガイド Advent Calendar 2020の19日目です。 こんにちは。ITシステム部の鈴木です。 ロコガイドでは個人情報保護事務局も担当しています。 今回はPマーク認定にチャレンジしたお話をしたいと思います。前職でも10年くらい前にPマーク認定を受けて運用していたのですが、初回認定時にはコンサルタントに丸投げしていました。今回はコンサルタントの力を借りずに自力で認定までされたので、やったことや苦労した点などをお話しします。 Pマークとは？ プライバシーマークの略です。 JIPDEC（一般財団法人日本情報経済社会推進協会）が運営する制度で、適切な個人情報保護の仕組みを構築し、運用している事業者を認めるものです。 日本工業規格「JIS Q 15001:2017 個人情報保護マネジメントシステム－要求事項」に準拠することで認定されます。 何故Pマークを取るの？ 当社では以下

こんにちは。 初登場になります、普段はフロントエンドの開発をしている長野です。 本記事は、Azure Advent Calendar 2020の19日目の記事になります。 最近、Angular+FastAPIでアプリを実装したのですが、 そのアプリを、仮想マシンではなく、サーバレス・コンテナを使ったWebアプリとして構築してみたくなりました。 調べている中で、Azure Container Instances（以下、ACI）を見つけ、実際に試してみたところ、 少し工夫が必要だったものの、全体としてはとても簡単に動かすことができました。 この記事では、私が実際にACIを使ってみた中で学んだ、ACI上でのWebアプリの動かし方について、 特にフロントエンドとバックエンドの連携の際に注意するべき点を中心に、まとめました。 この記事を見ながら、皆さんも実際にこの手軽さを体験していただきたいと思いま

計測対象が増えた場合にカラムやアトリビュートが横に増えていくのか、レコードが縦に増えていくのかという違いがあります。 ストレージ Timestreamはメモリストアとマグネティックストアという2種類のストレージを持ちます。それぞれ以下のような役割を持ちます。 メモリストア 新しいデータを保存するためのストレージ ある時点のデータを高速に抽出するようなクエリに最適化されている マグネティックストア データを長期間保存するためのストレージ 分析クエリをサポートするように最適化されている 各ストレージにはデータの保持期間が設定でき、設定したデータ保持期間とレコードのタイムスタンプに応じてレコードの保存先がメモリストア　→　マグネティックストアと遷移し、マグネティックストアのデータ保持期間を超過したレコードは削除されます。 現在はメモリストアとマグネティックストアの2種類でストレージが構成されてい

この記事はWanoグループ Advent Calendar 2020１9日目の記事になります。19ったら19です。 AWSでInfrastructure as Code、やってるでしょうか。 やるにしても辛いことも多いですね。 最近やってるものの構成や困ったところをメモしておきます。 今やってる構成 現行プロダクトでは、 s3やrdsなどステートフルなものや、ライフサイクル上いろんなアプリから参照されるものは「コンポーネント目線で水平分割」(terraform) インフラという以上にアプリ寄りのコンポーネントや最悪消えてもいいものは「サービス目線で自由に垂直分割」(ツール自由) くらいでふわふわやってます。 以下のような構成です。 v2 ├── data_id │   ├── 01_emulated_resources.tf │   ├── 02_existed_resources.tf

はじめに ※ この記事はLIFULL AdventCalendar 2020の19日目の記事として投稿されている可能性があります。 最近AWS re:Inventが開催されましたね。 エンジニアのみなさんが注目されているのがわかるほどにツイッターでも多くの情報がタイムライン上に飛び交っていました。 そんな中わたしも情報を追っていてすごくワクワクしながらみておりました。 その中でも私自身が一番アツいと思ったのはAWSLambdaのコンテナサポートですね。 AWSLambdaはサーバーについて気にすることなくコードをアップロードして実行できるため、とても使い勝手が良く非常に小さなソースコードの実行に向いているので使用される頻度は多いAWSサービスの一つだと思います。 その反面でソースコードは直接コードをGUI上で変更したりデプロイ時にzip化したファイルをアップロードするなどしてちょっと手間だ

2020年は、突如Playwrightが現れ、Seleniumを置き換えるほどの勢いでいろいろなツールが現れました。 Puppeteerは、Playwrightが出てからもTypeScript化をしたりカスタムクエリハンドラ機能が実装されたりと、Chrome DevToolsプロトコルを利用するライブラリとして改善が続いています。 今年１年の Puppeteerのリリースページ https://github.com/puppeteer/puppeteer/releases Playwrightのリリースページ https://github.com/microsoft/playwright/releases を時系列にまとめてみます。 2020年1月。 PuppeteerとPlaywrightの15日間の演劇 https://speakerdeck.com/taminif/relation-