概要 本記事は、メタ社(旧 FaceBook) が開発した OSS であるメモリリーク検知ツールである [memlab] をさっそく試してみた記録になります。 公式ドキュメント以上の付加価値はあまりありませんが、ざっくりと雰囲気を掴んでもらって使用を検討して頂ければ幸いです。 memlabについて memlab は、 Puppeteer API を用いたシナリオを作成することで、そのシナリオ実行によって発生するメモリリークの検出及びヒープ領域の分析を補助してくれるツールです。 本記事は実際に動かすところに重きを置くので、ツールの背景などの詳細は以下記事を参照ください。 ざっくり言うと、 memlab では以下のことが行なえます。 Puppeteer ベースでの宣言的なシナリオの作成 ヒープ領域とメモリリークの可視化 シナリオ内でのヒープのスナップショットの自動取得 スナップショットの解析と

色々と便利な awk(1) のちょっとした小技を紹介してみます。 system() を利用する際の注意 awk(1) の中で外部コマンドを実行する場合は組み込み関数 system() が利用できますが、この関数を利用して外部コマンドを実行すると入出力 stream がオープンされるので、ファイルディスクリプタが消費されてしまいます。 ですので awk(1) 内で何度も system() を実行すると、オープンできるディスクリプタの上限を超過してしまい、 awk(1) の実行が中断されてしまう可能性があります。 ですので、 close() を利用して system() がオープンした stream を閉じれば良いのですが、 awk(1) の system() では stream を明示的に扱いません。その様な場合は system() で実行したコマンドを close() の引数で指定する事で

Hello there, ('ω')ノ この三連休で、Twitterにアップしたデジタルフォレンジックに関係するツール等は以下のとおりで。 Windowsのイベントログについて検索するのに便利なデータベースサイトは、いろいろとあります。 https://www.ultimatewindowssecurity.com/ 日本でよく知られているのは、Elastic Stackでしょうか。 https://www.elastic.co/jp/downloads/ インシデント発生前に組織がログに記録する方法と内容、それらのログを維持する方法を明確に定義することが重要で、ログ管理ポリシーや関連する手順内で確立する必要があります。NISTがログ管理の簡単なガイドを公開しています。 https://nvlpubs.nist.gov/nistpubs/Legacy/SP/nistspecialpubli

こちらのコールドスタート関連については弊社岩田の資料が大変わかりやすいのでオススメです。 Serverless Meetup Osaka #5 で「VPC Lambda×RDSのデメリットについて正しく理解しよう！!」というテーマで発表してきました #serverlessosaka ｜ DevelopersIO では次のコードを見てください。 import time class sleep_class(): def __init__(self): time.sleep(2.0) self.init_time = time.time() def lambda_handler(event, context): s = sleep_class() print(s.init_time) 初期化に2秒ほどかかるsleepクラスがあります。これをLambdaで複数回実行すると次のような結果になります。

たくさんの文字列（や離散的な符号列）をメモリに載せないといけないんだけど、いろんな制約があって通常のList[str]では載らない…ということありませんか？（まぁあんまりなさそうですね） たまたまそういうことがあったので、その際に検討した内容をまとめておきます TL;DR メモリをもっと増やしましょう 富豪的に解決できるならいつでもそれが最高です しかし、世の中それでなんとかならんこともたくさんあります 用途があうのであれば専用のデータ構造を採用する 例えばもし共通のprefixやsuffixが存在し、順序に興味がなければtrie treeなどが使えます 例えば、弊社であれば、法人名をメモリに持ちたいなんてときもあります。そういうときに法人名の辞書をtrieで持ったりすることがあります 「株式会社」「一般財団法人」や「銀行」といった共通語がたくさんでてくるのでtrie treeでごりごり削

概要 以前の記事で christina04.hatenablog.com Goはスレッドよりはるかに軽量なgoroutineでC10K問題を解決する、という話をしましたが、goroutineが軽量なのはなぜか？という理由を深掘りしたことがなかったのでしてみました。 環境 golang 1.11.1 Darwin 17.7.0 軽量と呼ばれる理由は２つ 大きく分けると以下の２つのポイントがあります スレッドに比べてメモリ使用量が低い スイッチングコストが低い それぞれ説明していきます。 goroutineがスレッドに比べてメモリ使用量が低いのはなぜか スタックとヒープのメモリの使い方を理解すると分かります。 ヒープはメモリの下層、プログラムコードのすぐ上にあり、上に向かって成長します。一方スタックは仮想アドレス空間の一番上にあり、徐々に下に成長していきます。 ref: イベントループなしでの

皆さんこんにちは お元気ですか。最近自炊が少しずつ捗ってきました。 本日はデータ分析でよく起こる「Memory Error」の対策を書いていこうと思います。 今回のはGPUではなく、CPUです。 そもそもなぜ「Memory Error」と遭遇するのか 大量のデータを解析する、もしくは、大量の特徴量を扱うからです。 または、途中の巨大途中処理が原因で載らなくなったとかですね。 その結果、マシンが落ちることもデータ分析している人が陥るよくあることです。 その場合の処方箋を書いていこうと思います。 メモリ対策 不要な変数のメモリを開放する。 一番シンプルで、もういらないから消してしまえという方式です。 方法は単純です。変数をdelして、ガーベジコレクション（不要なメモリを回収し、空ける方式）を実行することです。 例えば、次の通りです。 import gc import numpy as np m

How to Make Your Discord Messages Bold, Italic, Underlined & Tons More

何度か教えていただいているので、今度こそしっかり覚えておきたくて、まきさんからのコメントを記録。 ## メモリサイズの考え方 SpringBootのアプリをコンテナとして動かす場合には768MB以上必要で、1GBくらいは割り当てる必要があるのではないかという僕のコメントに対していただいたコメント。 それは不正確..Tomcatを使う場合は最大コネクション(スレッド)がデフォルト200で+50スレッドくらい余裕を見ると250M (-Xss1M）でデフォルトのReservervedCodeCacheSize 240MとDirectMemorySize 10M加えた上にMaxMetaSpaceSizeがざっくり50Mくらい足すと550Mくらい使ってこれHeapを足すとコンテナサイズ— Toshiaki Maki (@making) November 16, 2019 その前提であればHeap 2

LibreOffice 6 では、メモリーの設定項目が消えた！？ つい先日までLibreOfficeのバージョン5を使っていました。 最新バージョンを調べてみるとバージョン6がリリースされていたので、 新しい機能と不具合修正の期待を込めて早速アップグレードしてみました！ そしてバージョンは、6.1.2.1になりました！ 前のバージョンでリブレオフィスが重くなっていた時に、メモリーの使用サイズを増やして改善したことがあったのですが、今回のバージョンでもメモリーの設定ができるのかツール→オプションから確認してみると！ おおー、メモリーの設定項目が無くなってるぞっ！ LibreOffice Ver 6.1のオプション項目 バージョン5.3では「メモリー」の設定項目があったが、バージョン6.1では設定項目が消えています！ LibreOffice Ver 5.3のオプション項目 以前のバージョン5.

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

▲上記テキストをメモ帳に貼り付け、「empty.bat」などテキトーなファイル名にすればOK あとはバッチファイルをダブルクリックすれば、あっと言う間にメモリ解放してくれます。 管理者権限で実行する必要なし。 もちろんコマンドプロンプト（cmd）を起動して「empty.exe *」と入力してもOK 手順の紹介はここまでです。以下、実際にこのバッチを試してみた実例です。 コマンドプロンプトから起動してみた際のスクリーンショット ▲クリックで拡大 コマンドプロンプトでパスが通っているのは、64bit版の Windows 7/8.1/10 などでも「System32」フォルダです。 なのでempty.exeをSysWOW64にコピーしてもパスを通し直さないと作動しません。 検証：どのくらい効果があるか？ まずは普段よく行う操作の中でもわりとメモリを必要とする操作を行い、その後にメモリ解放を行い、

こんにちは！パソコンを新しく新調しようか検討中のといち@toichi_wbです。 皆さんはパソコンの動作がが遅くなることはありますか？ パソコンの使用できるリソースは限られているので、膨大なデータを扱ったり、大量のソフトを使用するとリソースが枯渇することがあります。 そんな時はメモリを開放するソフトを使用することで動作が快適になるケースがありますので、原因の調べ方とソフトの使用方法をご紹介します。 パソコンが重い？考えられる代表的な原因２つ パソコンが遅くなる原因は何が考えられるでしょうか？最も代表的なのは以下の２つが考えられます。 メモリーの空きが不足している CPUが特定のアプリケーションに占有されている 1は膨大なデータを扱ったり、大量のアプリケーションを使用した場合にメモリーに余裕がない状態です。 パソコンはメモリーにデータを保存してから処理をしますので、メモリーに余裕がないという

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 第２回です。 なかなか更新できる時間がないですが マイペースで書いていこうと思います。 ストックやフォローをして頂けると励みになります。 さて前回はGCの仕組みの概要説明とjstatでのモニタリングでした。 今回はCGログの分析をしてみようと思います。 JVMのGCログ設定 まずはGCログが取得できるように設定しないと始まりませんね。 以下のようなオプションをjavaの起動コマンドに付与すると GCの情報を取れるようになります。 -verbose:gc [GC 919089K->41941K(943744K), 0.2300771 se

今回は memory_profiler というモジュールを使ってプログラムのメモリ使用量を調べる方法について紹介する。 pypi.python.org このブログでは、以前に Python のプロファイラとして profile/cProfile や line_profiler について書いたことがある。 これまでに紹介したこれらのプロファイラは、主に時間計算量の調査が目的となる。 それに対して memory_profiler では、調べる対象は空間計算量となる。 blog.amedama.jp blog.amedama.jp 使った環境は以下の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.6 BuildVersion: 16G1212 $ python --version Python 3.6.4 下準備 まずは mem

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert