EntityFrameworkCore extensions (performance improvement): -Bulk operations (super fast): Insert, Update, Delete, Read, Upsert, Sync, SaveChanges. -Batch ops: Delete, Update - Deprecated from EF8 since EF7+ has native Execute-Up/Del. -AddOp: Truncate. Library is Lightweight and very Efficient (warp speed), having all mostly used CRUD operation. Was selected in top 20 EF Core Extensions recommended

はじめに pythonからMySQLを叩く際，何を使っていますか？SQLAlchemy,Django,peeweeあたりを使っている方が多いのではないでしょうか．私は色々使ってみて結局SQLAlchemyに落ち着いていますが，何千万，何億オーダのデータになると処理が遅く非常にやっかいです． なので今回は（大きなデータにsql使うなとか高速処理にpython使うなという話は一旦置いておいて），SQLAlchemyを使ったデータ処理をいかに高速にするか，何項目かに分けて備忘録を残しておきます． SQLAlchemyを~と書いてありますが，SQLAlchemyを使ってDBにデータをINSERT,SELECTする際のpython高速化TIPSごった煮です．本当は記事を分けたほうが良いのですが，自分で見返す際にまとまっているほうが嬉しいのでこうしました． なお，今回使用するコードは全てgithubに

3つの要点 ✔️ 深層学習の逐次的な計算であるフォワードコンピュテーションを並列化する手法の提案 ✔️ フォワードコンピュテーションを複数の非線形な方程式と見なし、ソルバーから計算 ✔️ フォワードコンピュテーションを最大33倍高速化することに成功 Nonlinear Equation Solving: A Faster Alternative to Feedforward Computation written by Yang Song, Chenlin Meng, Renjie Liao, Stefano Ermon (Submitted on 10 Feb 2020) Comments: accepted by arXiv Subjects: Machine Learning (cs.LG); Machine Learning (stat.ML) はじめに 深層学習は画像認識をはじめ

以下では、DaskやPandasなどと比較して、swifterがどの程度高速なのかを検証したいと思います。 swifterはベクトル化可能な場合とそうでない場合で挙動が異なるので、各々の場合を検証します。 使用したPCのスペックはIntel Core i5-8350U @1.70GHz、メモリが16GBです。 ベクトル化可能な場合 swifterはベクトル化可能なときはベクトル化するので、swifterの計算時間は単純にベクトル化した場合と ほぼ等しくなるはずです。これを確認してみましょう。 import pandas as pd import numpy as np import dask.dataframe as dd import swifter import multiprocessing import gc pandas_time_list = [] dask_time_list

はじめに 『レンダリングの仕組みなんて知らなくても、ブラウザが勝手にやってくれるじゃん！』 当時駆け出しのエンジニアだった私はそう思っていました。 実際、当時の私はレンダリングの『レ』の字も知りませんでしたが、特に業務上で問題はありませんでした。 しかし、その時は突然訪れました。 クライアントの要望でアニメーションを多彩に取り入れた案件を実装した際に、テスト段階で一部ブラウザ（S○f○ri、E○ge）でアニメーションがひどい状況になっていることが発覚しました。 (開発中はChromeで確認を行っており、Chromeでは特に問題はなかったので発覚が遅れました。) それからは、狂ったようにパフォーマンスの改善方法をググり、修正する日々が続きました。（最終的には、なんとかマルチブラウザでの動作も担保し、納品まで完了しました。） その案件が落ち着いた後、改めて自分の調べたことを振り返ると、局所的な

自分への備忘録的な意味も込めて最近まとめたので、私が実践しているChainer/ChainerMNのプロファイルの取り方とプロファイル結果の見方を紹介します。 この記事で使うプロファイラは、Chainerのプロファイルを取る際まず取るべきと思われるcProfileとnvprofの二つです。 環境 Python: 3.6 Chainer: 5.2 CuPy: 5.2 CUDA: 9.0 MPI:　OpenMPI 1.10.7 参考コード この記事ではChainerMNのmnistのサンプルをベースに改造したコードで説明を行っています。 mnistのオリジナルのコードはこちら。 https://github.com/chainer/chainer/blob/v5/examples/chainermn/mnist/train_mnist.py 改良後のコードはここに上げてあります。 https:

fpgax #11 ＋ TFUG ハード部：DNN専用ハードについて語る会 の発表資料です。 https://fpgax.connpass.com/event/115446/

はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチューニングするしかないです」としか答えられませんでした。 そこで、この方を始め、来春（2019年4月）にデータアナリストまたはデータサイエンティストになる新卒へ向けて、pandasの高速化に関する私の経験をTips集にしてお伝えしたいと思います。 この記事は今後も内容を充実させるために、Tipsを追加していきます。 この記事を読んだ後にできるようになること pandasでレコード数1000万件のデータでも1分以内で完了する前処理が書けるようになります。 その結果、1日中実行し続けなければな

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 煽りタイトルですみません。 最近、Reactのプロジェクトのページを動かしていて、 もっさりしてる（レンダリングの負荷が高いな）と思ったので どうやったら無駄なレンダリングを減らせるか思考錯誤したことをまとめました。 preactとか別ライブラリの話はしません。 よかったらこちらもどうぞ ReactJSで作る今時のSPA入門（基本編） 2019年07月06日追記： ブラウザのレンダリングの仕組みに関して良記事があったので先に一読しておくことをおすすめします。 良記事１：実際のところ「ブラウザを立ち上げてページが表示されるまで」には何が起

HTML5 Conference 11/25

When the engineers on the ASP.NET/.NET Core team talk to real customers about actual production problems they have, interesting stuff comes up. I've tried to capture a real customer interaction here without giving away their name or details. The team recently had the opportunity to help a large customer of .NET investigate performance issues they’ve been having with a newly-ported ASP.NET Core 2.1

モデルアーキテクチャ観点からのDeep Neural Network高速化 -Factorization -Efficient microarchitecture (module) -Pruning -Quantization -Distillation -Early termination Read less

本日、無料WordPressテーマ Godios. をリリースしました。 公式サイトを見ていただけるとわかると思うのですがページが一瞬で遷移しています。 どうでしょう、dev.toと同じくらい速いんじゃないでしょうか。 この記事ではテーマを高速化するにあたって用いたテクニックを書いていきたいと思います。 圧縮 テーマに含まれている画像・CSS・JSファイルの圧縮。 画像はOptimizilla・TinyPNG、CSSはCSS Minifier、JSはJSCompressを使用しました。 CSS・JSファイルの遅延読み込み レンダリングをブロックするファイルが大量にあると表示が遅くなりますので、JSファイルはdeferまたはasync属性を付与し、CSSファイルはインライン、またはJSで非同期に読み込んでいます。 無駄なSQLクエリを減らす データベースへのアクセスが多いと負荷が掛かる上、速

4. センサのタイプ Structured Light Coding • Kinect V1, Xtion, RealSense F200, RealSense SR300 Time of Fight • Kinect V2, MESA SR4000, DepthSense525 Stereo Camera + Unstructured Light • RealSense R200, RealSense RS400 Stereo Camera 主なメーカー Microsoft Kinect V1, V2 Intel RealSense R/F xxx R: Rear F: Front 近年のデプスセンサの種類 4 5. Microsoft Kinect V1 5 RGBカメラ 640x480@30fps, 1280x960＠12fps デプスセンサ 640x480@30fp

Efficient R programming Colin Gillespie Robin Lovelace 2021-03-18 Welcome to Efficient R Programming This is the online version of the O’Reilly book: Efficient R programming. Pull requests and general comments are welcome. Get a hard copy from: Amazon (UK), Amazon (USA), O’Reilly Authors Colin Gillespie is Senior Lecturer (Associate Professor) at Newcastle University, UK. He is an Executive Editor

9. 9 最適化について 「細かい効率のことは忘れて、時間の 97% について考え よう。時期尚早な最適化は諸悪の根源だ。それでも残り 3% についても機会を逃すべきではない」 - Donald E. Knuth 「プログラム最適化の第一法則 : 最適化するな。 プログラム最適化の第二法則 ( 上級者限定 ): まだするな。 」 - Michael A. Jackson 11. 11 最適化の対象 主に Intel の Haswell マイクロアーキテクチャ以降を対象 多くのテクニックは他のプロセッサにも応用できます ベース マイクロアーキテクチャ プロセスルール 登場年 Nehalem Nehalem 45nm 2008 〃 Westmere 32nm 2010 Sandy Bridge Sandy Bridge 32nm 2011 〃 Ivy Bridge 22nm 2012 Hasw

素数か2のべき乗か ハッシュテーブルのアイテムをルックアップする際に高負荷なステップが3つあります。 キーをハッシングする キーをスロットにマッピングする 該当スロットのメモリをフェッチする ステップ1は、キーが整数であれば、低負荷になります。単にintをsize_tにキャストするだけです。しかし、文字列のようなタイプのキーの場合は高負荷となります。 ステップ2はよくある整数モジュロ演算です。 ステップ3はポインタの間接参照です。std::unordered_mapの場合は複数のポインタ間接参照となります。 処理の遅いハッシュ関数でなければ、直観的にステップ3が最も高負荷になると考えると思います。しかし、全てのルックアップでキャッシュミスが生じなければ、整数モジュロが最も高負荷な処理となります。現代のハードウェアにおいても整数モジュロは非常に遅いのです。 Intelマニュアル では、整数モ

結局、やり出したら止まりません。私は以前、” I Wrote a Fast Hashtable（私が書いた高速なハッシュテーブル） “という記事と、それに次いで” I Wrote a Faster Hashtable（私が書いたより高速なハッシュテーブル） “という記事をブログにアップしましたが、今回ついに、最速のハッシュテーブルを書き上げました。これが意味するところは、ルックアップがどのハッシュテーブルよりも速いということです。それに加えて、挿入や削除も（最速とまではいかないまでも）非常に速く行えます。 秘訣は、探索回数の上限を設定したロビンフッドハッシュ法を使用することです。ある要素が、その理想的な位置からX数以上、離れた位置にある場合、テーブルを拡張することで、全ての要素が、その大きなテーブル内において、理想的な位置に近づくようにします。結果的に、このやり方は非常にうまくいきました。