Universe allows an AI agent to use a computer like a human does: by looking at screen pixels and operating a virtual keyboard and mouse. We must train AI systems on the full range of tasks we expect them to solve, and Universe lets us train a single agent on any task a human can complete with a computer. In April, we launched Gym, a toolkit for developing and comparing reinforcement learning (RL)

『バンディット問題の理論とアルゴリズム』本の，報酬がなんらかの特徴の線形モデルによって表現される場合に使える線形バンディットが前から気になっていたので輪読会で発表担当をするなど． スライド アルゴリズムの実装と人工データによる実験 LinUCBとThompson Sampling，報酬が正規分布のケース ロジスティック回帰モデル上のバンディット，報酬が二値のケース 感想 行動(腕)毎の報酬を推定するのでは無く，報酬モデルのパラメータを推定するという方策．妥当なモデルが作れたら実際に使えそうな感触． 実装は一発書きおろしで検算をしていないが，一応それっぽく動いた．ラプラス近似の処理が重いので勾配ベクトルとヘッセ行列の計算過程はキャッシュしておかないとつらい． LinUCBかThompson Samplingかどちらを使うかというと，報酬が同期で観測できない広告配信は後者一択で，報酬が二値の場

マクスウェル方程式無理矢理覚えたけどよく分からなかった人のお役に立てれば幸いな落書き https://t.co/Tm5XkdQJA9