A Survey of Model Compression and Acceleration for Deep Neural Networks
Deep neural networks (DNNs) have recently achieved great success in many visual recognition tasks. However, existing deep neural network models are computationally expensive and memory intensive, hindering their deployment in devices with low memory resources or in applications with strict latency requirements. Therefore, a natural thought is to perform model compression and acceleration in deep n
2013年度ã®æ–‡æ³•åœ§ç¸®ã®é€²å±• - Yasuo Tabeiã®æ—¥è¨˜
å¹´ãŒæ˜Žã‘ã¦2014å¹´ã®ï¼‘月ももã†åŠåˆ†ã¾ã§æ¥ã¦ã—ã¾ã„ã¾ã—ãŸãŒã€èª¿åº¦è‰¯ã„時期ã§ã™ã®ã§, 2013å¹´ã®æŒ¯ã‚Šè¿”り記事ã®ä»£ã‚ã‚Šã«2013å¹´ã®æ–‡æ³•åœ§ç¸®ã®é€²å±•ã‚’振り返ã£ã¦ã¿ãŸã„ã¨æ€ã„ã¾ã™ã€‚ ã¯ã˜ã‚ã«æ–‡æ³•åœ§ç¸®ã‚’ç°¡å˜ã«ãŠã•ã‚‰ã„ã™ã‚‹ã¨, 文法圧縮ã¨ã¯å…¥åŠ›ã¨ãªã‚‹ãƒ†ã‚ストã®ã¿ã‚’表ç¾ã™ã‚‹å°ã•ã„CFGを構築ã™ã‚‹åœ§ç¸®æ–¹å¼ã§ã™. ゲノムé…列, ãƒãƒ¼ã‚¸ãƒ§ãƒ³ç®¡ç†ã•ã‚ŒãŸãƒ†ã‚スト, リãƒã‚¸ãƒˆãƒªãƒ¼ä¸Šã§ã®ã‚½ãƒ¼ã‚¹ã‚³ãƒ¼ãƒ‰ãªã©å復ã™ã‚‹éƒ¨åˆ†åˆ—を多ãå«ã‚€ãƒ†ã‚ストã«å¯¾ã—ã¦é«˜ã„圧縮率をé”æˆã™ã‚‹ã“ã¨ãŒã§ãã¾ã™. ã“れらã®ãƒ†ã‚ストã¯å復テã‚ストã¨å‘¼ã°ã‚Œ, 次世代シーケンサー技術やãƒãƒ¼ã‚¸ãƒ§ãƒ³ç®¡ç†ã‚½ãƒ•ãƒˆã®ç™ºå±•ã«ã‚ˆã‚Šæ–‡æ³•åœ§ç¸®ã¯ä»Šå¾Œã¾ã™ã¾ã™é‡è¦ãªæŠ€è¡“ã¨è¨€ãˆã¾ã™. 文法圧縮ã«ã¯ï¼’ã¤ã®å•é¡ŒãŒã‚ã‚Šã¾ã™ã€‚一ã¤ç›®ã¯å…¥åŠ›ãƒ†ã‚ストを表ç¾ã™ã‚‹å°ã•ã„CFGã‚’ã©ã®ã‚ˆã†ã«æ§‹ç¯‰ã™ã‚‹ã‹ã¨ã„ã†å•é¡Œã§ã™ã€‚最å°åŒ–å•é¡Œã¯NP-hardã¨ã—ã¦çŸ¥ã‚‰ã‚Œã¦ã„ã¦, ç¾åœ¨ã¾ã§ã«ã•ã¾ã–ã¾ãªè¿‘似アルゴリズãƒ
整数列圧縮アルゴリズムã®æœ€å‰ç·š - ny23ã®æ—¥è¨˜
ã¡ã‚‡ã†ã©äºŒå¹´ãらã„å‰ï¼Œæ©Ÿæ¢°å¦ç¿’ã§ç–Žãƒ™ã‚¯ãƒˆãƒ«ã®åœ§ç¸®ã«æƒ…å ±æ¤œç´¢ã§ã‚ˆã使ã‚れる整数列ã®åœ§ç¸®æŠ€è¡“を使ã†ã“ã¨ã‚’検討ã—ãŸã“ã¨ãŒã‚ã£ãŸï¼ˆã‚ªãƒ³ãƒ©ã‚¤ãƒ³å¦ç¿’ã§ã‚ャッシュを実装ã—ã¦ã¿ãŸ - ny23ã®æ—¥è¨˜ï¼‰ï¼Žãã®ã¨ãã¯ï¼Œã‚ªãƒ³ãƒ©ã‚¤ãƒ³ã§åœ§ç¸®ã— Disk ã«ä¿å˜ï¼Œåœ§ç¸®ã—ãŸãƒ™ã‚¯ãƒˆãƒ«ã¯é™½ã«ãƒ¡ãƒ¢ãƒªã«ç½®ã‹ãšèªã‚€ï¼ˆOS ã«ä»»ã›ã‚‹ï¼‰ã¨ã„ã†å®Ÿè£…ã§ï¼Œï¼ˆDisk IO ã®ã‚ªãƒ¼ãƒãƒ¼ãƒ˜ãƒƒãƒ‰ãŒå¤§ãã）圧縮ã•ãˆã™ã‚Œã°ä½•ã‚’使ã£ã¦ã‚‚大差ãªã—ã¨ã„ã†èº«ã‚‚è“‹ã‚‚ãªã„çµè«–ã«ãªã£ãŸï¼ˆçµå±€2è¡Œã§æ›¸ã‘る最もå˜ç´”㪠Variable byte code を採用）． ãれ以é™ã¯æ•´æ•°åˆ—圧縮アルゴリズムã«é–¢ã™ã‚‹çŸ¥è˜ã‚‚ NewPFD ãらã„ã§æ¢ã¾ã£ã¦ã„ãŸã®ã ã‘ã©ï¼Œã¤ã„先日，ç¾æ™‚点ã§æœ€é€Ÿã®åœ§ç¸®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã®æ案＋ã“ã“æ•°å¹´ã®ä¸»ãªæ•´æ•°åˆ—圧縮アルゴリズム（Simple-8b (J. Software Pract. Exper. 2010), VSEncoding (CIKM 20
第5回自然言語処ç†å‹‰å¼·ä¼šã‚’開催ã—ã¾ã—㟠#TokyoNLP - nokunoã®æ—¥è¨˜
ã¨ã„ã†ã‚ã‘ã§ã‚ˆã†ã‚„ã第5回を開催ã—ã¾ã—ãŸï¼ï¼ç¬¬5回 自然言語処ç†å‹‰å¼·ä¼š #TokyoNLP : ATND n-gramã‚’å°ã•ãã™ã‚‹è©±ã‚’調ã¹ã¦ã¿ãŸ by @machyã•ã‚“Compressed ngram View more presentations from Keigo Machinaga N-gramã¨ã¯ 今日ã®é¡Œæã¯n-gramインデックスã§ã¯ãªãn-gram確率（言語モデル）ã®è©± 応用：音声èªè˜ã€æ‰‹æ›¸ãæ–‡å—èªè˜ã€ã‚¹ãƒšãƒ«è¨‚æ£ã€ã‹ãªæ¼¢å—変æ›ã€æ©Ÿæ¢°ç¿»è¨³ å˜èªžn-gramã‚’é¡Œæã¨ã™ã‚‹ P(æ™´ã‚Œ | 天気 ã¯) = 0.24 P(ãã£ã¨ | 天気 ã¯) = 0.03 n-gramã‚’å°ã•ãã—ãŸã„ クライアサイドã§å‹•ä½œã™ã‚‹ã‚¢ãƒ—リケーションã®ãŸã‚ã¨ã‹ サーãƒã‚µã‚¤ãƒ‰ã§ã‚‚オンメモリã«ãªã‚‹ã¨ã†ã‚Œã—ㄠ注目ã™ã‚‹ã®ã¯ãƒ¡ãƒ¢ãƒªä½¿ç”¨é‡ï¼šãƒ•ã‚¡ã‚¤ãƒ«ã‚µã‚¤ã‚ºã§ã¯ãªã„ ã¾ãšã¯ãƒ‡ãƒ¼ã‚¿ã‚’見ã¦ã¿ã¾ã™ 大è¦æ¨¡ãªn-gramを自分ã§ç”¨
1
ランã‚ング
障害
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
An Entropy-based Pruning Method for CNN Compression
https://openreview.net/pdf?id=rJxdQ3jeg
{{#tags}}- {{label}}
{{/tags}}