はじめに Read/Writeともに高速で，様々なデータの持ち方が可能なことでキャッシュDBとして人気のあるRedisですが，何も考えずに実運用システムで使用しているとデータが肥大化してしまい非常に扱いにくくなることがあります． 今回は，データの肥大化とともに顕在化する問題と，データの肥大化に対する戦略についてまとめたいと思います． データの肥大化時に顕在化する問題 何のキーが入っているか分からなくなる Redisはオンメモリ型のKVSであるため，データがある程度増えてくるとサーバのメモリ容量を圧迫し始めます． このような状態で，プロダクション環境に対して keys * などをやってしまうと，一時的にメモリ使用量が跳ね上がり，メモリ使用量を抑えるためにRedisがキーを削除したり，OOM KILLERにRedis Serverごと殺されてしまう可能性があるため，そういったコマンドはうてなく

年末ですね。更新がおろそかになっていたので、たまにはちゃんとした話をしたいなと思い、前々から書こうと思っていたRedisの話を書いてみました。 検証に使用したRedisは3.2ですので、新しくバージョンが変わると以下の話は変わってくるかもしれませんが今のところそのようなことはしばらくなさそうです。 以下長々とRedisを本当に使えるように設定したり調べたり検証したりした内容を書いていきます。 いまさらですが Redisは構造データを持てるオンメモリデータベースサーバで、RDBとは違いますがHashやListなどのデータ構造を記録することができる高速なストレージサーバです。 オンメモリDBでHashを持つことができるので、KVSのように扱われることもあるのですが、memcachedと比較すると機能は多く、レプリケーションやAtomicなデータ処理なども可能です。 導入の前に Redisに限っ

回答 (19件中の1件目) 僕の息子は中学二年生でStratastudio proでモデリング・インバースキネマティクス・モーションブラーなどを駆使して3Dアニメーションを製作し、 Director の専門プログラミング言語「Lingo」をわずか三ヶ月でマスター。シューティングやRPGを次々と製作しました。音源は僕のKurzweil K1200とMTRを駆使して作り上げました（作曲方法は僕が教授。対位法と和声法の構造など）つまり中学二年生で将来の方向性を決めてしまったのです。 彼の最終目標はゲーム・デザイナーでしたので、週に二日は美大受験専門の予備校に通わせました。講評は僕が行い出来の...

あるエンジニアが「Kibela」というサービスを考え、リリースするまでのフローを全部教える エンジニアがサービスのアイデアを思いつき、それをリリースするまでにはどのような過程があるのでしょうか。情報共有ツール「Kibela」が世に出るまでのフローを、起業した井原正博さんが詳細に振り返ります。 ヤフーやクックパッドでの開発を経て、ビットジャーニーで代表を務める井原正博（いはら・まさひろ／@ihara2525）です。プライベートで超長距離のランを楽しむかたわら、情報共有ツール「Kibela」の開発・運営を手がけています。 Kibela - 個人の発信を組織の力にする情報共有ツール 「Kibela」は僕自身が2015年に起業して立ち上げたサービスですが、この記事では、僕がサービスをいかに開発したか、その方法からリリースまでの過程を振り返りつつ、サービスの現在の状況までお伝えします。 「自分でもサ

When building a large scale, highly available and distributed system, what architecture concepts do you need to use, in practice? In this post, I am summarizing ones I have found essential to learn and apply when building the payments system that powers Uber. This is a system with a load of up to thousands of requests per second, where critical payments functionality needs to work correctly, even

Rustは「学習コストが高い？」「関数型プログラミング言語？」 と思っていた私が、実際にRustに触れてみて得られた知見をまとめました。 プログラミング言語の多くの課題を解決してくれる言語 Rustは「安全性」「速度」「並列性」を考慮して設計されています。 言語セマンティクスを強く定義し（Ownershipやlifetime 後述）、ネットワークコネクションなどのリソース管理全般に関するバグを、コンパイル時に発見してくれることで実現しているといえます。 最初はコンパイルが厳しくて「書いたコードはあってるはず...」 と、陥るほどに暗黙的な印象を感じます。コンパイルの厳格さは、人間が間違えないようにするために、静的に解析できる情報をなるべく多く与え、機械的に検証するためだと考えます。 ひと言でまとめると「コンパイルへの押し付け」です。 安全性に重きをおきながら、zero cost abstr

Exploring container security: Digging into Grafeas container image metadata Editor’s note: This is the third in a series of blog posts on container security at Google. The great thing about containers is how easy they are to create, modify and share. But that also raises the question of whether or not they're safe to deploy to production. One way to answer that is to track metadata about your cont

How Mercari Analytics Team is defined and works.. Presented in Data Analytics Summit 2018 Event Page https://webtan.impress.co.jp/events/201804a2i

こんにちは、AWS事業部の佐伯です。 同様の使い方をしてる方は多いかもしれませんが、今回はdirenvを使用してCLIでのAssumeRoleを簡単にする小ネタを書きたいと思います。 目的 権限の分離や請求情報の明確化のためAWSアカウントを分割している場合、全てのAWSアカウントにIAMユーザーを作成すると管理が煩雑になるため、IAMユーザーの管理はひとつのAWSアカウントにまとめ、その他のAWSアカウントへはスイッチロールで利用しているケースがあるかと思います。 しかし、各種CLIツールを使用するためには一時クレデンシャルをスイッチ先のAWSアカウントから取得し、環境変数に設定する必要があります。毎回AWS CLIを実行するのは面倒なので、今回はディレクトリ移動した際に自動で一時クレデンシャルを取得・設定し、楽をしようというのが目的です。 使用するツール direnv direnvは特

Talk at Rails Developers Meetup 2018: Day 2 https://techplay.jp/event/655769 Clikcable link version: https://www.slideshare.net/TaikiOno/observabili…

第125回 PHP勉強会＠東京の発表資料です 公開しているライブラリはコチラになります。 https://packagist.org/packages/nazonohito51/require-path-fixer

会社でGoばかり書いていて、気付いたらGoのイベントをやっていた inoues です。 今回は弊社内で開催致しました「Go(Un)Conference（Goあんこ） LT大会 1kg」のレポート記事になります！ どんなイベント？ Goあんこは社内での「Go Conferenceが人気過ぎて、全く抽選に当たる気がしない・・・」という話をキッカケに、それじゃ我々でイベントを開催してみよう！という心意気の元、誕生致しました。 基本的には、アンカンファレンスと銘打っている通り、参加者様のLTで成り立っているイベントです。 ひたすらにLTをやり、そして聞く、という非常に学びがあるイベントとなっています！ 第２回も5/25（金）に開催予定ですので、このレポートを読んで興味の出た方は是非ご参加を！ 当日レポート それでは当日のGoあんこの様子をレポートしていきます！ Togetterにもまとめてあります

#Apache Flink とは？ 「Apache Flink」は、分散ストリーム処理プラットフォームのひとつのOSSです。 同類のモノとしては、「Apache Storm」や「Apache Spark Streaming」などがあります（同じApacheで、さすがに同類のモノを出し過ぎだろう、と私も思っています）。 他のプラットフォームとして異なる特長は、以下になります。 高パフォーマンス＆低レイテンシ（真のストリーム処理が可能） 耐障害性に優れる（自動でイベント処理継続） ストリーム処理、バッチ処理の両方をサポートし、高レベルのAPIが提供されるAll-in-One構成 ##Flink Stack Flinkの全体像です。 ストリーム処理だけでなく、バッチ処理も可能であり、CEP（複合イベント処理）やML（機械学習）、SQLライクなAPIも提供しています。 この辺りは、Sparkと似て

こんにちは、阪本です。 IoTやらデータ分析やらに関わる機会が増えて、大量のストリームデータに埋もれる（もとい、処理する＾＾；）ことが増えてきました。 しかも、関わっている業務的に、大概において、データ欠損は許されないという。。 そんなストリームデータを、高速かつ障害に強いアーキテクチャで処理しれくれるのが、Apache Flinkです。 アーキテクチャはこんな感じになっています↓ Apache Flink 1.2.0 Documentation: Distributed Runtime Environment Flinkの動きをざっくり書くと、 JobManagerはジョブを受け付け、1つ以上のTaskManagerに処理の実行を指示する。 JobManagerは処理中、各TaskManagerにチェックポイントトリガーを発行する。 TaskManagerはチェックポイントトリガーを受信

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? #分散ストリーム処理エンジンの群雄割拠の時代 ストリーム処理を実現する分散プラットフォームが、大分増えました。 何が良いか／悪いかは、プラットフォームに求める内容や、関連するエコシステムにも影響するため、一概には言えないですが、Apacheで提供されているOSSとして、情報をまとめたものがあったので、ポイントをまとめたいと思います。 AN OVERVIEW OF APACHE STREAMING TECHNOLOGIES https://databaseline.wordpress.com/2016/03/12/an-overview-

こんにちは、サーバーサイドエンジニアの佐々木です。 先日、株式会社シーエー・モバイルさんから発表されたこちらの記事は皆さん読まれましたでしょうか？ http://tech.camobile.com/entry/viron_20180201 弊社ではGoaを利用しているプロジェクトはSwaggerドキュメントを生成して社内連携していますので、これはもしかしたら親和性が高いのでは・・・！？と思い、使い始めの部分まで試してみたのですが、セキュリティ部分で初心者の方はつまづいてしまうのではないかと思いましたので、今回、セキュリティを使わずにサンプルとして簡単な画面表示をするまでの記事を書いていきます。 記事中のサンプルは以下のリポジトリにもコミットしてあります。 https://github.com/ginshari/sample-goa-viron また、Exampleについてはシーエー・モバイ

みらいワークス総合研究所 所長岡本 祥治Nagaharu Okamoto 1976年生まれ、慶應義塾大学理工学部卒。アクセンチュア、ベンチャー企業を経て、47都道府県を旅する過程で「日本を元気にしたいという思いが強くなり、起業を決意。2012年、みらいワークスを設立し、2017年に東証マザーズ（現・東証グロース）上場を果たす。 『みらいワークス総合研究所』を運営する株式会社みらいワークスは、「日本のみらいの為に挑戦する人を増やす」をミッション、「プロフェッショナル人材が挑戦するエコシステムを創造する」をビジョンに掲げ、人生100年時代に、プロフェッショナル人材が、「独立、起業、副業、正社員」といった働き方や働く場所、働く目的に縛られない挑戦の機会提供とその挑戦の支援を行うための事業を展開しています。 2022年7月に、プロフェッショナル人材の働き方やキャリアに関する調査・研究機関『みらいワ

ゴールデンウィークはいかがお過ごしされただろうか。今年は天気も良く、行楽日和が続いたように思う。 さて、先日MySQL 8.0が正式にリリースされた。少し時間が経ってしまったが、今回はMySQL 8.0の新機能について紹介したい。コミュニティ版のダウンロードはこちらから可能だ。 ひとつ前の正式バージョンはMySQL 5.7だったのだが、MySQL 8.0は非常に大きなリファクタリングが含まれており、5.x台のバージョン番号を捨て去ろうという話があった。そこで、次のメジャーバージョンは最初の桁を増やすということになったのだが、MySQL 6.0は過去に既に存在し、買収などの騒ぎで開発が頓挫してしまった経緯がある。7.xはMySQL NDB Clusterと被っている。というわけで、5.7の7の部分の次という意味合いもあって、8.0というバージョン番号を引っさげ、満を持しての登場となった。その

Japan Container Days V18.04 PDF: https://drive.google.com/file/d/1BfHG7WEbKY1P1FOG9tpTKxVZ-JeReEU5/view?usp=sharing

はじめに こんにちは植木和樹＠上越妙高オフィスです。ゴールデンウィークということで、普段なかなか触る機会のないサービスを使って遊んでいます。 本日は先日発表されたCognito User Poolsを使ってみました。外部の認証基盤を使うことなく、AWSだけでユーザー管理や認証ができる優れものですね。 [新機能] Amazon Cognito に待望のユーザー認証基盤「User Pools」が追加されました！ ｜ Developers.IO 準備 Cognito User Poolsの作成 User Poolsは上記、諏訪さんのブログを参考に設定しておきます。今回はaws-cliで作成しましたが、aws-cliだと（現時点だと）細かいattributeの設定ができないので、画面から設定した方が良さそうです。 $ cat password_policy.json { "PasswordPoli

インフラ勉強会用のページです。

#観察スケッチ が流行ったおかげで企業さんからもいくつかお声がけいただけたりしていて嬉しいのですが、先日MdN公式さんが観察スケッチの記事を書いてくれました。（ちなみに特に取材とかはされておりませんので未承諾ですがリンク貼ってくれているしオールOKです。） こうして観察スケッチがちょっとしたコミュニティになるくらいに盛り上がってきたので、SNSで観察スケッチをあげてくださった方と話したりもしています。 で、肝心の僕のスケッチは全然アップしないのは何でか？と思われているようなので、ちょっと回答しておきます。 まず、僕は発端になった人物なので教科書的な存在になってしまう可能性がありまして、見本を提示することで皆さんがそれに縛られる＝枠を作ってしまうのがもったいないと考えています。 工夫の余地、参加の余地を残したい。だからあえて現時点の僕のスケッチはあげていない、というのが大きな理由です。（いま

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

build-crosscompile-env.sh p22��U ��0��U #!/bin/sh # Environment list # $GOOS $GOARCH # darwin 386 # darwin amd64 # freebsd 386 # freebsd amd64 # freebsd arm # linux 386 # linux amd64 # linux arm # netbsd 386 # netbsd amd64 # netbsd arm # openbsd 386 # openbsd amd64 # plan9 386 # plan9 amd64 # windows 386 # windows amd64 set -e OS=("darwin" "darwin" "freebsd" "freebsd" "freebsd" "linux" \ "linux" "

Private content!This content has been marked as private by the uploader.

みんな大好きSplatoonの時間だぞ！ 前回の正木さんに続いて、Splatoon1,2のUIデザインを担当した橘磨理子さんの発表、「SplatoonUIの狙い」。 私自身もめっちゃやっていて大好きすぎるゲームなのでちょっと冷静に聞くように頑張った。多分なんか気持ちが溢れちゃってると思うけど。 SplatoonUIデザインの狙い 主に前作Splatoon1のUIを作った話を中心に話してくれた。まずゲームタイトルは今までの任天堂既存のタイトルの続編ではなく、新規のタイトルであったこと。新規タイトルで重要なことはやはり新鮮なことだったという。そのなかでもUIはゲームの世界観を邪魔せずにプレイヤー情報を見せるための影の立役者にならないといけないかったと思う。そこでたどり着いた結論が「グラフィックとして新鮮なデザインにするか」だったそう。 これは私の思い出なんだけど、イカが発売される前のことをよく

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert