ã€ç‰©ä½“検出2022】YOLOv7ã¾ã¨ã‚第6回 姿勢推定（Human Pose Estimation）を実装ã™ã‚‹ - ã¤ãã‚‚ã¡ãƒ–ãƒã‚° 〜Python&AIã¾ã¨ã‚〜
YOLOシリーズã®2022年最新版「YOLOv7ã€ã«ã¤ã„ã¦ã€ç’°å¢ƒæ§‹ç¯‰ã‹ã‚‰å¦ç¿’ã®æ–¹æ³•ã¾ã§ã¾ã¨ã‚ã¾ã™ã€‚ YOLOv7ã¯2022å¹´7月ã«å…¬é–‹ã•ã‚ŒãŸæœ€æ–°ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã§ã‚ã‚Šã€é€Ÿåº¦ã¨ç²¾åº¦ã®é¢ã§é™ç•Œã‚’押ã—広ã’ã¦ã„ã¾ã™ã€‚ 第6回目ã¯YOLOv7ã«ã‚ˆã‚‹å§¿å‹¢æŽ¨å®šï¼ˆHuman Pose Estimation）を紹介ã—ã¾ã™ã€‚ Google colabを使用ã—ã¦ç°¡å˜ã«æœ€æ–°ã®ç‰©ä½“検出モデルを実装ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã®ã§ã€ãœã²æœ€å¾Œã¾ã§ã”覧ãã ã•ã„。
Kapaoã§ã€äººç‰©æ¤œå‡ºã¨å§¿å‹¢æŽ¨å®šã‚’è¡Œã†
1.ã¯ã˜ã‚㫠通常ã€å§¿å‹¢æŽ¨å®šãªã©ã®ã‚¿ã‚¹ã‚¯ã§ã¯ãƒ’ートマップを使ã£ãŸå›žå¸°ã®æ‰‹æ³•ã‚’使ã„ã¾ã™ãŒã€ä»Šå›žã”紹介ã™ã‚‹ã®ã¯ãƒ’ートマップを使ã‚ãšã«å§¿å‹¢æŽ¨å®šã‚’è¡Œã†Kapaoã¨ã„ã†æŠ€è¡“ã§ã™ã€‚ ＊ã“ã®è«–æ–‡ã¯ã€2021.11ã«æ出ã•ã‚Œã¾ã—ãŸã€‚ 2.Kapaoã¨ã¯ï¼Ÿ 通常ã€å§¿å‹¢æŽ¨å®šãªã©ã®ã‚¿ã‚¹ã‚¯ã§ã¯ãƒ’ートマップを使ã£ãŸå›žå¸°ã®ã‚¢ãƒ—ãƒãƒ¼ãƒã‚’å–ã‚Šã¾ã™ãŒã€ç”Ÿæˆã¨å¾Œå‡¦ç†ã«å¤§é‡ã®è¨ˆç®—処ç†ãŒå¿…è¦ã§ã™ã€‚ Kapao（Keypoints and Poses as Objects）ã¯ã€ã‚‚ã£ã¨å‡¦ç†åŠ¹çŽ‡ã‚’上ã’ã‚‹ãŸã‚ã«ã€ç”»åƒã‚’ç´°ã‹ãªã‚°ãƒªãƒƒãƒ‰ã«åˆ†å‰²ã—ã¦ã€äººé–“ã®ãƒãƒ¼ã‚ºã‚ªãƒ–ジェクトã¨ã‚ーãƒã‚¤ãƒ³ãƒˆã‚ªãƒ–ジェクトをåŒæ™‚ã«æ¤œå‡ºãƒ»èžåˆã—姿勢推定を行ã„ã¾ã™ã€‚ 下記ã¯ã€Kapaoã®ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã®æ¦‚è¦ã§ã™ã€‚入力画åƒã‚’æ·±ã„畳ã¿è¾¼ã¿ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã§ãƒžãƒƒãƒ”ングã—ã€ãƒãƒ¼ã‚ºã‚ªãƒ–ジェクトã¨ã‚ーãƒã‚¤ãƒ³ãƒˆã‚ªãƒ–ジェクトをãã‚Œãžã‚Œæ¤œå‡ºã—ãŸå¾Œã€ã“ã®ï¼’ã¤ã®æƒ…å ±ã‚’èžåˆã—çµæžœã‚’å¾—ã¦ã„ã¾ã™ã€‚ ã§ã¯
OpenPoseã«ä»£è¡¨ã•ã‚Œã‚‹éª¨æ ¼æŽ¨å®šAIã€å®Ÿç’°å¢ƒã§ä½¿ãˆã‚‹ã®ã¯ã“ã‚Œã ï¼ - Qiita
ã¯ã˜ã‚ã« ã“ã‚“ã«ã¡ã¯ã€(æ ª) 日立製作所 Lumada Data Science Lab. ã®æ£®ç”°ã§ã™ã€‚ Lumada Data Science Lab. ã§ã¯ã€æ˜ åƒè§£æžæŠ€è¡“ãƒ»æ˜ åƒè§£æžã‚½ãƒªãƒ¥ãƒ¼ã‚·ãƒ§ãƒ³ã®ç ”究開発を行ã£ã¦ã„ã¾ã™ã€‚ ã“ã®è¨˜äº‹ã§ã¯ã€è¡—é ã«ã‚る防犯カメラã®æ˜ åƒã«é©ç”¨ã™ã‚‹éš›ã«é‡è¦ã¨ãªã‚‹ã€Œæ¤œçŸ¥ã‚µã‚¤ã‚ºã€ã®è¦³ç‚¹ã§ã€äººç‰©éª¨æ ¼æŽ¨å®šOSSã®è©•ä¾¡ã‚’è¡Œã„ã¾ã™ã€‚ 0. å¿™ã—ã„æ–¹ã¸ã®ã¾ã¨ã‚ 大型ショッピングモールã€ã‚¹ã‚¿ã‚¸ã‚¢ãƒ ã€é§…ã€ç©ºæ¸¯ãªã©ã®é˜²çŠ¯ã‚«ãƒ¡ãƒ©ã¯ã€åºƒç¯„囲を少ãªã„å°æ•°ã§æ’®å½±ã—ãŸã„ã®ã§ç”»è§’ãŒåºƒè§’ã«ãªã‚ŠãŒã¡ 広角ã§æ’®å½±ã—ãŸç”»åƒã¯äººç‰©ã¯å°ã•ã写るã®ã§ã€å°ã•ã写る人物ã®éª¨æ ¼ã‚’検出ã§ãã‚‹ã“ã¨ãŒé‡è¦ 今回ã¯éª¨æ ¼æŽ¨å®šAIã®OSSã¨ã—ã¦ã€openpifpafã¨tf-pose-estimationをピックアップã—ã€æœ€å°æ¤œçŸ¥å¯èƒ½ã‚µã‚¤ã‚ºã®æŒ‡æ¨™ã§è©•ä¾¡ openpifpafã®æ–¹ãŒæœ€å°æ¤œçŸ¥å¯èƒ½ã‚µã‚¤ã‚ºãŒå°ã•ã„ã“ã¨ã‚’ç¢ºèª 1. 防犯
2019インターン紹介: Edge TPUå‘ã‘PoseNetã®ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 姿勢推定 - OPTiM TECH BLOG
R&D ãƒãƒ¼ãƒ ã®é‡å化è¦å¯Ÿã“ã¨å¾³ç”°(@dakuton)ã§ã™ã€‚ 7月ã®Edge TPUアップデートã«ã‚ã‚ã›ã¦ã€7/30ã«PoseNetã®Edge TPU版ãŒå…¬é–‹ã•ã‚Œã¦ã„ãŸ(作者Twitterå‹•ç”»ã¯ã“ã¡ã‚‰)ãŸã‚ã€ä»Šå¤åˆã®ã‚¤ãƒ³ã‚¿ãƒ¼ãƒ³ã¨ã—ã¦ãƒãƒ£ãƒ¬ãƒ³ã‚¸ã—ã¦ã‚‚らã„ã¾ã—ãŸã€‚ Edge TPUアップデート内容ã«ã¤ã„ã¦ã¯éŽåŽ»è¨˜äº‹ã‚’å‚ç…§ãã ã•ã„。 tech-blog.optim.co.jp PoseNetã¨ã¯ï¼Ÿ TensorFlow.js(TensorFlowã®JavaScript版)ã§å‹•ä½œã™ã‚‹å§¿å‹¢æŽ¨å®šãƒ¢ãƒ‡ãƒ«ã§ã™ã€‚Webブラウザã§äººã®å§¿å‹¢ãŒãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ã«æ¤œå‡ºã§ãã‚‹(15FPS以上)ã®ãŒç‰¹å¾´ã§ã™ã€‚ å‚考記事: Real-time Human Pose Estimation in the Browser with TensorFlow.js | by TensorFlow | TensorFlow | Mediu
OpenPose論文メモ - 緑茶æ€è€ƒãƒ–ãƒã‚°
Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields arXiv:https://arxiv.org/abs/1611.08050 æ¦‚è¦ CNNã®çµ„åˆã›ã§ç”»åƒå†…ã®äººç‰©å§¿å‹¢ã‚’検知をé”æˆ NP-hardå•é¡Œã‚’relaxationã‚’è¨ã‘ã¦è§£ã top-downアプãƒãƒ¼ãƒï¼ˆäººã‚’検知→検知ã—ãŸäººãã‚Œãžã‚Œã®å§¿å‹¢æ¤œçŸ¥)ã§ã¯ãªã， bottom-upアプãƒãƒ¼ãƒï¼Žå®Ÿæ™‚間処ç†å¯èƒ½ï¼Ž COCO 2016 keypoints challengeã¨MPII Multi Person benchmarkã§å¥½æˆç¸¾ã‚’出ã—㟠Intro ç”»åƒã«æ˜ る人物ã®å§¿å‹¢æŽ¨å®šã®é›£ã—㕠人ã®æ•°ï¼Œã‚¹ã‚±ãƒ¼ãƒ«ï¼Œä½ç½®ãŒä¸å®šã§ã‚ã‚‹ã“㨠人åŒå£«ã®æŽ¥è§¦ï¼Œã‚ªã‚¯ãƒ«ãƒ¼ã‚¸ãƒ§ãƒ³ã«ã‚ˆã‚Šè¤‡æ•°äººã®å¹²æ¸‰ 人数ã«ã‚ˆã£ã¦è¨ˆç®—é‡ãŒå¤§ãããªã‚‹ã“㨠従æ¥æ‰‹æ³•ã¯äººã®æ¤œçŸ¥ã‚’è¡Œã„，ãã®å¾Œã§å€‹äººã®å§¿å‹¢æŽ¨å®šã‚’
姿勢推定ã¨VRã®ãŠå‹‰å¼· - chirotec’s blog
çªç„¶ã§ã™ãŒã€ã‚¢ãƒ‹ãƒ¡ã¨ã‹ã‚²ãƒ¼ãƒ ã®ã‚ャラを自由ã«å‹•ã‹ã›ãŸã‚‰æ¥½ã—ã„ã¨æ€ã„ã¾ã›ã‚“ã‹ï¼Ÿ ãƒãƒ¼ãƒãƒ£ãƒ«YouTuberã•ã‚“ã‚‚ã„ã„ã§ã™ã。ç§ã¯ã‚·ãƒã•ã‚“ãŒå¥½ãã§ã™ã€‚ãれ以外ã«ã‚‚自由自在ã«ã‚ャラを動ã‹ã›ãŸã‚‰â€¦â€¦ã¨æ€ã†ã¨å¤¢ãŒåºƒãŒã‚Šãã†ã§ã™ã€‚ 色々ãªæ‰‹æ³•ãŒã‚るよã†ã§ã™ã€‚大ã¾ã‹ã«ã¯ ・モーションã‚ャプãƒãƒ£ãƒ¼ã‚·ã‚¹ãƒ†ãƒ やモーションセンサーã§ã‚ャプãƒãƒ£ ãƒ»ã‚«ãƒ¡ãƒ©æ˜ åƒã‹ã‚‰ãã‚Œã£ã½ãç”Ÿæˆ ãƒ»ã‚らã‹ã˜ã‚大é‡ã®ãƒ¢ãƒ¼ã‚·ãƒ§ãƒ³ã‚’事å‰ç™»éŒ²ã—ã¦ãã®ä¸ã‹ã‚‰å†ç”Ÿã€€â€¦â€¦ãªã© æ©Ÿæ用æ„ã™ã‚‹æ‰‹é–“や費用を考ãˆã‚‹ã¨ã€ã‚«ãƒ¡ãƒ©ã‚’使ãˆã‚‹ã¨ãŠæ‰‹è»½ãã†ã§ã™ã€‚ ã‚«ãƒ¡ãƒ©æ˜ åƒã‹ã‚‰ãƒ¢ãƒ¼ã‚·ãƒ§ãƒ³ã‚’生æˆã™ã‚‹æ‰‹æ³•ã®ã²ã¨ã¤ã«ã¤ã„ã¦èª¿ã¹ã¦ã¿ã¾ã—ãŸã€‚ 姿勢推定 CMU（カーãƒã‚®ãƒ¼ãƒ¡ãƒãƒ³å¤§å¦ï¼‰ã§å…¬é–‹ã•ã‚ŒãŸ [1611.08050] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields ã¨ã„ã†è«–æ–‡ãŒã‚ã‚Šã¾ã™
å˜çœ¼ã‚«ãƒ¡ãƒ©ã§æ’®å½±ã—ãŸæ˜ åƒã‚’入力ã«ã€äººã®å§¿å‹¢æŽ¨å®šã‹ã‚‰ç€ç”¨ã™ã‚‹è¡£æœã¾ã§å†æ§‹ç¯‰ã™ã‚‹ãƒžãƒ¼ã‚«ãƒ¬ã‚¹ãƒ‘フォーマンスã‚ャプãƒãƒ£æŠ€è¡“を発表
å˜çœ¼ã‚«ãƒ¡ãƒ©ã§æ’®å½±ã—ãŸæ˜ åƒã‚’入力ã«ã€äººã®å§¿å‹¢æŽ¨å®šã‹ã‚‰ç€ç”¨ã™ã‚‹è¡£æœã¾ã§å†æ§‹ç¯‰ã™ã‚‹ãƒžãƒ¼ã‚«ãƒ¬ã‚¹ãƒ‘フォーマンスã‚ャプãƒãƒ£æŠ€è¡“を発表 2018-05-16 ç‹¬ãƒžãƒƒã‚¯ã‚¹ãƒ»ãƒ—ãƒ©ãƒ³ã‚¯æƒ…å ±ç§‘å¦ç ”究所（Max Planck Institute for Informatics）ã¨ã‚¹ã‚¤ã‚¹é€£é‚¦å·¥ç§‘大å¦ãƒãƒ¼ã‚¶ãƒ³ãƒŒæ ¡ï¼ˆEPFL）ã®ç ”究者らã¯ã€1å°ã®å˜çœ¼ã‚«ãƒ¡ãƒ©ã§æ’®å½±ã—ãŸæ˜ åƒã‚’入力ã«ã€äººé–“ã®ãƒãƒ¼ã‚ºã‹ã‚‰ç€ç”¨ã™ã‚‹è¡£æœã¾ã§ã‚’3Då†æ§‹ç¯‰ã™ã‚‹ãƒžãƒ¼ã‚«ãƒ¬ã‚¹ãƒ‘フォーマンスã‚ャプãƒãƒ£æŠ€è¡“「MonoPerfCapã€ã‚’発表ã—ã¾ã—ãŸã€‚ 論文：MonoPerfCap: Human Performance Capture from Monocular Video 著者：Weipeng Xu, Avishek Chatterjee, Michael Zollhoefer, Helge Rhodin, Dushyant Mehta, Hans-Peter
æ˜ åƒã ã‘ã§äººã®å§¿å‹¢ã‚’検出ã§ãる　AIã§é«˜ç²¾åº¦ã‚’実ç¾ã€€ãƒ¢ãƒ«ãƒ•ã‚©
ç”»åƒå‡¦ç†ã®ç ”究開発を手掛ã‘るモルフォ（æ±äº¬éƒ½åƒä»£ç”°åŒºï¼‰ã¯5月10æ—¥ã€AI（人工知能）を活用ã—ã€æ˜ åƒã«æ˜ る人や動物ã®å§¿å‹¢ã‚’推定ã™ã‚‹æŠ€è¡“を発表ã—ãŸã€‚é 部ã€æ‰‹ã€è…•ã€è„šãªã©ã®éƒ¨ä½ã‚’検出ã—ã€ãã‚Œãžã‚Œã®å‹•ä½œã‹ã‚‰å§¿å‹¢ã‚’推定ã§ãã‚‹ã¨ã„ã†ã€‚åŒæ—¥ã‹ã‚‰æä¾›ã™ã‚‹ã€‚ æ˜ åƒã‹ã‚‰äººä½“18カ所（鼻・眼・耳・首・肩・肘・手首・腰・è†ãƒ»è¶³é¦–）ã®ç‰¹å¾´ç‚¹ã‚’検出ã—ã€å§¿å‹¢ã‚’推定ã—ã¦è¡¨ç¤ºã§ãる。AIã®è¦ç´ 技術ã§ã‚るディープラーニング（深層å¦ç¿’）を使ã†ã“ã¨ã§ã€é«˜ç²¾åº¦ãªå§¿å‹¢æŽ¨å®šãŒå®Ÿç¾ã—ãŸã¨ã„ã†ã€‚ 従æ¥ã®ãƒ¢ãƒ¼ã‚·ãƒ§ãƒ³ã‚ャプãƒãƒ£ãƒ¼æŠ€è¡“ã¨ã¯ç•°ãªã‚Šã€å¯¾è±¡ã«ãƒžãƒ¼ã‚«ãƒ¼ã‚’装ç€ã™ã‚‹å¿…è¦ãŒãªã„。低解åƒåº¦ã‚„白黒画åƒã€è¤‡é›‘ãªèƒŒæ™¯ã§ã‚‚検出ã§ãã‚‹ã¨ã„ã†ã€‚複数人ã®å§¿å‹¢æŽ¨å®šã‚‚å¯èƒ½ã§ã€åŒç¤¾ãŒå…¬é–‹ã—ãŸå‹•ç”»ã«ã¯ã€15人以上をåŒæ™‚検出ã—ã¦ã„る様åã‚‚åŽã‚られã¦ã„る。 フィンランドã®Top Data Science社ã¨å…±åŒé–‹ç™ºã—ãŸã€‚監視カメラã®æ˜ åƒã‚’使ã£ãŸç•°å¸¸æ¤œçŸ¥ï¼ˆæ¨ªãŸã‚ã£ã¦ã„ã‚‹ã€
äººä½“æ§‹é€ ã®åˆ¶ç´„ã‚’ GANã§implicitã«æ•™ç¤ºã—ã¦å§¿å‹¢æŽ¨å®šã™ã‚‹ãƒ¡ãƒ¢ - 緑茶æ€è€ƒãƒ–ãƒã‚°
Adversarial PoseNet: A Structure-aware Convolutional Network for Human Pose Estimation https://arxiv.org/abs/1705.00389 é–¢é€£ç ”ç©¶ 姿勢推定ã§ã¯DCNN(Deep Convolutional Neural Nets)ã§heatmapを回帰ã™ã‚‹æ‰‹æ³•ãŒä¸€èˆ¬çš„ ã—ã‹ã—ã€ä»¥ä¸‹ã®å ´åˆã§ã¯ç¾å®Ÿã§ã¯ã‚ã‚Šå¾—ãªã„姿勢を出力ã—ã¦ã—ã¾ã†ã“ã¨ãŒã‚ã‚‹ 部ä½ã®occlusionãŒå¤§ãã„ã¨ã（以下ã®ç”»åƒå‚照） 背景ã¨éƒ¨ä½ã®é¡žä¼¼åº¦ãŒé«˜ã„ã¨ã ã“れをé¿ã‘ã‚‹ã«ã¯äººä½“ã®é–¢ç¯€æ§‹é€ ã«ã¤ã„ã¦ã®äº‹å‰æƒ…å ±ãŒå¿…è¦ã€‚ ã§ã‚‚人体ã®å¹¾ä½•çš„制約をDCNNã«å…¥ã‚Œè¾¼ã‚€ã®ã¯é›£ã—ã„ Adversarial PoseNet 姿勢推定ã—ãŸçµæžœãŒã€Œäººä½“ã¨ã—ã¦å°¤ã‚‚らã—ã„ã‹ã€ã‚’implicitã«å¦ç¿’ã•ã›ã‚‹ãŸã‚ã«ã€GANã®æž 組ã¿ã‚’利用。 通常GANã§
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Human Pose Estimation with Deep Learning - Ultimate Overview in 2024 - viso.ai
{{#tags}}- {{label}}
{{/tags}}