[DL輪èªä¼š]Glow: Generative Flow with Invertible 1×1 Convolutions
2. æ›¸èªŒæƒ…å ± タイトル：Glow: Generative Flow with Invertible 1x1 Convolutions 著者：Diederik P. Kingma, Prafulla Dhariwal OpenAI, San Francisco -> 投稿日：2018/7/9 é¸å®šç†ç”±ï¼šVAE・Adamã®æ案者ã§ã‚ã‚‹D.P.Kingmaã®è«–æ–‡ Flow-basedã®ç”Ÿæˆãƒ¢ãƒ‡ãƒ«ã¯èªã‚“ã ã“ã¨ãŒãªã‹ã£ãŸ • 一応NICE,realNVPã‚‚èªã‚“ã ã®ã§ç´¹ä»‹ã—ã¾ã™ ç”»åƒç”Ÿæˆã™ã‚‹ã“ã¨ã‚’åˆæˆã£ã¦å‘¼ã³ã¾ã™ ※æŸars-pytorchã§å®Ÿè£…ã•ã‚Œå§‹ã‚ã¦ã‚‹ã®ã‚’見ã¦ã‚„ã‚‹æ°—ç„¡ãã—㟠※間é•ã£ã¦ãŸã‚‰æŒ‡æ‘˜ã‚ˆã‚ã—ããŠé¡˜ã„ã—ã¾ã™ 2
![[DL輪èªä¼š]Glow: Generative Flow with Invertible 1×1 Convolutions](https://cdn-ak-scissors.b.st-hatena.com/image/square/b838326c40277954c65b0e7395606175ca4f6ee1/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdlreadingpaper20180720-180723071258-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
線形回帰を１ã¤ï¼‘ã¤æ”¹é€ ã—ã¦å¤‰åˆ†ã‚ªãƒ¼ãƒˆã‚¨ãƒ³ã‚³ãƒ¼ãƒ€ï¼ˆVAE）を作る - 作ã£ã¦éŠã¶æ©Ÿæ¢°å¦ç¿’。
ã“ã‚“ã°ã‚“ã¯ï¼Ž 今日ã¯çµ±è¨ˆã‚„機械å¦ç¿’ã«ãŠã„ã¦æœ€ã‚‚基本ã¨ãªã‚‹æ‰‹æ³•ã§ã‚る線形回帰ã‹ã‚‰å‡ºç™ºã—，１ã¤ï¼‘ã¤ãƒ¢ãƒ‡ãƒ«ã‚„å¦ç¿’方法ã«å¤‰æ›´ã‚’åŠ ãˆã¦ã„ã，最終的ã«æ·±å±¤å¦ç¿’ã®åˆ†é‡Žã§éžå¸¸ã«è‰¯ã使ã‚ã‚Œã¦ã„る生æˆãƒ¢ãƒ‡ãƒ«ã§ã‚る変分オートエンコーダ（variational auto-encoder，VAE）*1*2ã‚’å°Žã„ã¦ã„ããŸã„ã¨æ€ã„ã¾ã™ï¼Ž 2014å¹´ã«ç™ºè¡¨ã•ã‚ŒãŸVAEã¯ï¼Œå‹¾é…近似を得るãŸã‚ã®reparametrization trickや，効率的ã«æ½œåœ¨å¤‰æ•°ã‚’近似推論ã™ã‚‹èªè˜ãƒ¢ãƒ‡ãƒ«ï¼ˆrecognition model, inference model）ã®å°Žå…¥ï¼Œç¢ºçŽ‡çš„勾é…法（stochastic gradient descent，SGD）ã®2é‡é©ç”¨ãªã©ï¼Œæ§˜ã€…ãªã‚¢ã‚¤ãƒ‡ã‚¢ãŒæ•£ã‚Šã°ã‚られã¦ã„る確率的生æˆãƒ¢ãƒ‡ãƒ«ã§ã™ï¼ŽèƒŒæ™¯ã¨ã—ã¦ã¯ï¼Œå½“時ニューラルãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã‚’用ã„ã¦ç”»åƒã‚’生æˆã™ã‚‹ã¨ã„ã£ãŸã‚¢ãƒ—ãƒãƒ¼ãƒãŒï¼ˆCNNを使ã£ãŸè˜åˆ¥ãªã©ã¨æ¯”ã¹ã¦ï¼‰ã
PyTorch (11) Variational Autoencoder - 人工知能ã«é–¢ã™ã‚‹æ–創録
今回ã¯ã€Variational Autoencoder (VAE) ã®å®Ÿé¨“ã‚’ã—ã¦ã¿ã‚ˆã†ã€‚ 実ã¯è‡ªåˆ†ãŒå§‹ã‚ã¦Deep Learningã«èˆˆå‘³ã‚’æŒã£ãŸã®ãŒã“ã®VAEãªã®ã ï¼VAEã®æ½œåœ¨ç©ºé–“ã‚’ã„ã˜ã£ã¦å¤šæ§˜ãªé¡”ç”»åƒã‚’生æˆã™ã‚‹ãƒ‡ãƒ¢ï¼ˆMorphing Faces）を見ã¦ã€ã“れを音声åˆæˆã®å£°è³ªç”Ÿæˆã«ä½¿ã„ãŸã„ã¨æ€ã£ãŸã®ãŒèˆˆå‘³ã®ãã£ã‹ã‘ã ã£ãŸã€‚ 今回ã®å®Ÿé¨“ã¯ã€PyTorchã®å…¬å¼ã«ã‚ã‚‹VAEã®ã‚¹ã‚¯ãƒªãƒ—ト を自分ãªã‚Šã«èªã¿è§£ã„ã¦ã¾ã¨ã‚ã¦ã¿ãŸçµæžœã«ãªã£ã¦ã„る。 180221-variational-autoencoder.ipynb - Google ドライブ ã•ã£ãã実験ï¼ã„ã¤ã‚‚ã®import。 import os import numpy as np import torch import torch.nn as nn import torch.utils.data import torch.optim a
ニューラルãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã®å‹•ç‰©åœ’ : ニューラルãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ãƒ»ã‚¢ãƒ¼ã‚テクãƒãƒ£ã®ãƒãƒ¼ãƒˆã‚·ãƒ¼ãƒˆ(å‰ç·¨) | POSTD
æ–°ã—ã„ニューラルãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ãŒãã®æ™‚々ã§èª•ç”Ÿã™ã‚‹ãŸã‚ã€ãれら全部を把æ¡ã™ã‚‹ã“ã¨ã¯å›°é›£ã§ã™ã€‚å…¨ã¦ã®ç•¥èªžã‚’覚ãˆã‚ˆã†ã¨ã™ã‚‹ã¨ã€æœ€åˆã¯ãã®æ•°ã®å¤šã•ã«åœ§å€’ã•ã‚Œã¦ã—ã¾ã†ã§ã—ょã†ï¼ˆDCIGNã‚„BiLSTMã€DCGANを知ã£ã¦ã„る人ã¯ã„ã¾ã™ã‹ï¼Ÿï¼‰ã€‚ ãã‚“ãªã‚ã‘ã§ã€ã“れらã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ã®å¤šãを盛り込んã ãƒãƒ¼ãƒˆã‚·ãƒ¼ãƒˆã‚’作るã“ã¨ã«ã—ã¾ã—ãŸã€‚ãã®ã»ã¨ã‚“ã©ã¯ãƒ‹ãƒ¥ãƒ¼ãƒ©ãƒ«ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã§ã™ã€‚ã—ã‹ã—ã€ä¸ã«ã¯å…¨ãç•°ãªã‚‹ã‚¢ãƒ¼ã‚テクãƒãƒ£ã‚‚潜んã§ã„ã¾ã™ã€‚ã©ã‚Œã‚‚独特ã§ç›®æ–°ã—ã„アーã‚テクãƒãƒ£ã°ã‹ã‚Šã§ã™ãŒã€ãƒŽãƒ¼ãƒ‰ã®æ§‹é€ ã‚’æãã“ã¨ã§åŸºæœ¬çš„ãªé–¢ä¿‚ãŒåˆ†ã‹ã‚Šã‚„ã™ããªã£ã¦ãã¾ã™ã€‚ ã“れらをノードマップã¨ã—ã¦æãã“ã¨ã®å•é¡Œç‚¹ã¯ã€ã“れらãŒã©ã®ã‚ˆã†ã«ä½¿ã‚れるã‹ã‚’明確ã«ç¤ºã—ã¦ã„ãªã„ã¨ã„ã†ç‚¹ã§ã™ã€‚例ãˆã°ã€å¤‰åˆ†ã‚ªãƒ¼ãƒˆã‚¨ãƒ³ã‚³ãƒ¼ãƒ€ï¼ˆVAE）ã¯ã‚ªãƒ¼ãƒˆã‚¨ãƒ³ã‚³ãƒ¼ãƒ€ï¼ˆAE）ã¨åŒã˜ã‚ˆã†ã«è¦‹ãˆã¾ã™ãŒã€å®Ÿéš›ã¯è¨“ç·´éŽç¨‹ãŒå…¨ãç•°ãªã‚Šã¾ã™ã—ã€è¨“ç·´ã—ãŸãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã®
VAEã¨æ™‚系列を扱ã†VRAE - 日記マン
Google日英翻訳ãŒNMT(ニューラルãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã‚’利用ã—ãŸç¿»è¨³ãƒ¢ãƒ‡ãƒ«)ã«ãªã£ãŸã‚‰ã—ã„ã§ã™ã€‚ 文語ベースã§ãƒãƒªãƒãƒªç¿»è¨³ã—ã¦ãã‚Œã¦ã‚‹ã¿ãŸã„ã§ã€ å˜èªžã«ãƒžã‚¦ã‚¹ã‚ªãƒ¼ãƒãƒ¼å½“ã¦ã¦ã‚‚å˜èªžé–“ã®å¯¾å¿œé–¢ä¿‚ãŒã‚ã‹ã‚‰ãªããªã£ãŸã®ã¯ã•ã¿ã—ã„ã‘ã©ã€ ãŸã—ã‹ã«ç²¾åº¦ãŒã‚ˆããªã£ãŸã‚ˆã†ãªã€ãã‚“ãªæ°—ãŒã™ã‚‹ãœã€‚ ã¨ã„ã†ã‚ã‘ã§è‹±èªžè«–æ–‡ã‚ã£ã¡ã‚ƒèªã‚“ã ã‚。。 VAEã§ä½•ã‹ã—ãŸã„ãªãƒ¼ã¨æ€ã£ã¦ã¦ã€æ™‚系列を扱ãˆã‚‹VRAE周りを調ã¹ã¾ã—ãŸã€‚ Variational AutoEncoder Variational AutoEncoderã‚’ã¤ã„ã«ã—ã£ã‹ã‚Šç†è§£ã§ããŸæ°—ãŒã™ã‚‹ã€‚ ã¯ã£ã¤ãƒ¼ã•ã‚“ã®keras実装ブãƒã‚°ãŒã¨ã¦ã‚‚勉強ã«ãªã‚Šã¾ã—ãŸã€‚ 有難ã†ã”ã–ã„ã¾ã™ã€‚ ralo23.hatenablog.com Variational AutoEncoderã«ã¤ã„ã¦ã¾ã¨ã‚ãŸã‚¹ãƒ©ã‚¤ãƒ‰ã‚’作りã¾ã—ãŸã€‚ Variational AutoEncoder from K
VAEã‹ã‚‰CVAE with keras - rarilureloã®æ—¥è¨˜
ã¯ã˜ã‚㫠出ã¦ããŸå½“åˆã¯ç”»åƒåˆ†é¡žã‚¿ã‚¹ã‚¯ã§çŒ›å¨ã‚’振るã£ãŸæ·±å±¤å¦ç¿’ã§ã™ãŒ, 最近ã¯ã„ã‚ã‚“ãªæ©Ÿæ¢°å¦ç¿’ã¨çµ„ã¿åˆã‚ã›ã§å¿œç”¨ã•ã‚Œã¦ã„ã¾ã™. 強化å¦ç¿’を応用ã—ãŸAlphaGoã§ã‚¤ãƒ»ã‚»ãƒ‰ãƒ«ã‚’打ã¡è² ã‹ã—ãŸã‚Š, ç”»åƒèªè˜ã¨è‡ªç„¶è¨€èªžå‡¦ç†ã®çµ„ã¿åˆã‚ã›ã§ç”»åƒã®ã‚ャプションを生æˆã—ãŸã‚Š, 生æˆãƒ¢ãƒ‡ãƒ«ã«å¿œç”¨ã—ã¦è‡ªç„¶ã«è¿‘ã„ç”»åƒã‚’作るãªã©è³‘ã‚ã„を見ã›ã¦ã„ã¾ã™. 今回ã¯ç”»åƒç”Ÿæˆæ‰‹æ³•ã®ã†ã¡ã®DeepLearningを自然ã«ç”Ÿæˆãƒ¢ãƒ‡ãƒ«ã«æ‹¡å¼µã—ãŸã¨è€ƒãˆã‚‰ã‚Œã‚‹VAE(Variational Auto Encoder)ã‹ã‚‰, ãã®ç™ºå±•ç³»ã§ã‚ã‚‹CVAE(Conditional VAE)ã¾ã§ã‚’以下２ã¤ã®è«–文をもã¨ã«è‡ªåˆ†ã®æ›¸ã„ãŸkerasã®ã‚³ãƒ¼ãƒ‰ã¨ã¨ã‚‚ã«ç´¹ä»‹ã—ãŸã„ã¨æ€ã„ã¾ã™. Auto-Encoding Variational Bayes Semi-Supervised Learning with Deep Generative Model
Iclr2016 vaeã¾ã¨ã‚
3. ICLR2016ã®ãƒˆãƒ¬ãƒ³ãƒ‰ Reinforcement Learning Unsupervised Learning Incorporating Structure Compressing Networks Incorporating Structure Initializing Networks Backprop Tricks Attention Deep Metric Learning Computer Vision Applications Visualizing Networks Do Deep Convolutional Nets Really Need to be Deep? Training-Free Methods Geometric Methods Gaussian Processes and Auto Encoders ResNet http://www.comp
IIBMP2016 深層生æˆãƒ¢ãƒ‡ãƒ«ã«ã‚ˆã‚‹è¡¨ç¾å¦ç¿’
IIBMP2016ï¼ˆç¬¬äº”å›žç”Ÿå‘½åŒ»è–¬æƒ…å ±å¦é€£åˆå¤§ä¼šï¼‰ã§ã®æ‹›å¾…講演ã®å†…容ã§ã™ã€‚深層å¦ç¿’を生æˆéŽç¨‹ã®å•é¡Œã¨ã—ã¦ã¨ã‚‰ãˆã¦ã€ãªãœè¡¨ç¾ã‚’å¦ç¿’ã§ãã‚‹ã®ã‹ã‚’説明ã—ãŸå¾Œã«ï¼Œæ·±å±¤ç”Ÿæˆãƒ¢ãƒ‡ãƒ«ï¼ˆVAE, GAN, å°‘ã—ã ã‘自己回帰モデル, エãƒãƒ«ã‚®ãƒ¼ãƒ¢ãƒ‡ãƒ«, モーメントマッãƒãƒ³ã‚°ãƒ¢ãƒ‡ãƒ«ã‚’紹介ã—ã¾ã™ã€‚Read less
猫ã§ã‚‚分ã‹ã‚‹Variational AutoEncoder
1. Ishikawa Watanabe Lab THE UNIVERSITY OF TOKYO http://www.k2.t.u-tokyo.ac.jp/ 猫ã§ã‚‚分ã‹ã‚‹ Variational AutoEncoder 2016/07/30 é¾é‡Ž ç¿” (Sho Tatsuno) 2. Ishikawa Watanabe Lab http://www.k2.t.u-tokyo.ac.jp/ 今回ã®å†…容 • Variational Auto-Encoderã®è§£èª¬ – 生æˆãƒ¢ãƒ‡ãƒ«ãã®ã‚‚ã®ã®æ¦‚è¦ â€“ Variational Auto-Encoder(VAE)ã®ãªã‚‹ã¹ãå™›ã¿ç •ã„ãŸè§£èª¬ – ãã®ä»–生æˆãƒ¢ãƒ‡ãƒ«è«–æ–‡ã®ã–ã£ãã‚Šã—ãŸç´¹ä»‹ • 説明ã™ã‚‹ã“ã¨/ã—ãªã„ã“㨠– 説明ã™ã‚‹ã“㨠» 生æˆãƒ¢ãƒ‡ãƒ«ã®ç°¡å˜ãªæ¦‚è¦ã¨äº‹ä¾‹ » Variational AutoEncoderã®æ§‹é€ ã¨æ•°å¼çš„・直感的ç†è§£ – 説明ã—ãª
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
From Autoencoder To Beta Vae
Variational Auto Encoder入門
{{#tags}}- {{label}}
{{/tags}}