はてなブックマーク

先日ようやく日本で発売された「Googleホーム」を（auショップでiPhone6Sを下取りに出し）購入してきました。 RaspPiなどで音声認識を試した事がある方はわかると思うのですが、精度の高い日本語の音声認識を自作しようと思うと困難を極めます。 音声でのリクエスト後すぐにレスポンスが返って来るのを体感し思わず一言 「すっごいよ。これ。」 「宿題の時間」 さて、先日Raspberry PiとAruduino（WioNode）を利用して、子供が宿題（公文式）をやった時間を保存するアプリを自作してみたのですが、 子供の公文式学習を Google Assistant で見守る。【Raspberry Pi / AIY Projects: Do-it-yourself AI】 「Google Assistant」のリクエストとレスポンスは英語でしか出来ませんでした。開発者ページ「Actions

子供の公文式学習を Google Assistant で見守る。【Raspberry Pi / AIY Projects: Do-it-yourself AI】RaspberryPiWioNodeGoogleAssistantgooglecloud 娘達（双子・6歳）も早いもので来年から小学生。就学前に春先から公文式に通い始めました。そこで毎日行う宿題を家族（とGoogle Assistant）で見守る仕組みを考えてみました。 公文式学習法 By Kumon, パブリック・ドメイン 公文式の特長 ～ 公文式学習とは解き方を教わるのではなく、自分の力で教材の問題を解く学習法で、「やればできる」という自己肯定感を育み、未知の領域にも、自分から挑戦する力を培う。公文式は、一人ひとりの「可能性の追求」を目指す教育です。 - 公式HPより 独自の教材を利用して、自分で学ぶ力を身につけていきます。算数

つい先日、Google Assistant SDK がサードパーティーに公開され、RaspberryPiでも利用できる様になったので、早速試してみました。 RaspberryPi GoogleAssistant - YouTube おなじみ「OK Google」から音声コマンドを使って、天気情報やGoogle音声検索などが行えます。 今回公開されたSDKはIFTTTとの連携が簡単に行えます。試しに音声で照明の点灯・消灯などを試してみました。残念ながら今のところ日本語対応はしていないのですが、相変わらずGoogleの音声認識精度はとても高いと感じました。 SDKはpipでインストール出来、手軽に使う事が出来ます。簡単にまとめてみます。 環境 Raspberry Pi3 (RASPBIAN JESSIE WITH PIXEL 4.4　/ Python 3.4.2) LOGICOOL ウェブカム

物体追跡カメラに続いて、顔追跡カメラもRaspberryPiで作ってみました。Python3系で動きます。OpenCVで顔認識されたものを追尾します。「サミュエル・L・ジャクソン（のフィギュア）」で試してみます。 環境 前回記事と同じです。 Haar-like特徴分類器を使った顔認識 OpenCVで顔認識するのって、あまり深く考えずに利用していたのですが、以下の記事で詳しくまとめられていましたので改めて見直してみました。 OpenCVで物体検出器を作成する② ～Haar-Like特徴～ - 技術者ブログ OpenCVでのデフォルトで利用出来るカスケード分類器は明暗部分を利用しているんですね。 OpenCV Face Detection: Visualized - Vimeo haarcascade_frontalface_alt.xmlを利用した顔認識を使うと、cascade.detect

リアルタイムに物体検出するのってどうやるんだろう？と思い調べてみたら、想像以上に高機能なモデルが公開されていたので試してみました。こんな感じです。 自動運転で良く見るようなリアルタイムの物体認識をしています。このモデルは「Single Shot MultiBox Detector（SSD）」という深層学習モデルで、Kerasで動いています。 環境さえ整えればレポジトリをクローンして簡単に実行できます。今回はデモの実行方法をまとめてみます。 環境 ちょっと古いiMacにUbuntu16.04を入れたものを使いました。詳しくはこのへんとかこのへんをご参照ください。 ##SSD: Single Shot MultiBox Detector 深層学習を利用したリアルタイムの物体検出は次々と新しい技術が公開されているようです。ざっと調べたところ、R-CNN、Fast R-CNN、Faster R-C

MacにデュアルブートしたUbuntu16.04にOpenCV3.1をインストールした際の覚書です。 環境 Ubuntu16.04 Python 3.5.2 UbuntuはiMacにデュアルブートしたものです。Python3系はpyenvを使わずにsudo apt-get install python3-pip python3-devでインストールしました。 ffmpegをOpenCVで使うには OpenCVのインストールはanacondaを使うと楽に出来ると思ったのですが、動画ファイル（mp4やaviなど）の読み込みに対応していません。 どうも展開する際、自分でビルドしなければならない様です。参考になったリンクを貼っておきます。 OpenCV 3.1 Installation Guide on Ubuntu 16.04 - GitHub こちらをそのまま利用できました。 $ sudo a

Raspberry Piを利用して人工知能ツール（深層学習ライブラリ・自然言語処理ライブラリなど）を利用する手順をまとめてみます。 環境 RASPBIAN JESSIE WITH PIXEL 4.4 Python 3.4.2 tensorflow-0.12.1 Keras-1.2.1 opencv-3.1.0 MeCab 0.996 mecab-ipadic-neologd gensim-0.13.4.1 Open JTalk Version 1.07 RaspbianとPython3系のインストール Raspbianの最新版を公式ページよりダウンロードしSDカードへ。Python3系は依存関係を簡単にする為apt-getを利用してインストールします。

人工無脳と気楽に会話出来るように音声チャットのテンプレートを作ってみました。 PonDad/electron_voice_chat - GitHub こんな感じです。 electron_voice_chat - YouTube ElectronでSocket.ioを使う こちらの記事を参考にしました。 Electron+Node.js+jQueryで最小構成チャット - Qiita 最初expressを使ってローサルサーバーを立てなきゃいけないと思っていたんですけど、 var io = require('socket.io').listen(3000); これだけでローカルサーバーが立てられるとは知りませんでした。こちらのサンプルを元に音声入力、出力を追加します。 annyan.js & responsiveVoice.js 音声入力と出力はJSライブラリのAnnyan.js、Respon

愛用のRaspberryPiが「赤りんご」と「青りんご」を見分けることができたので、同じ方法で「顔も見分けられるんじゃないだろうか？」と思い試してみました。 こんな感じ まずは「サミュエル・L・ジャクソン（のフィギュア）」から。確率90%以上で本人と判定させてみました。 続いて「ジョン・トラボルタ（のフィギュア）」。同じく確率90%以上で本人と判定させています。 顔の切り出しはOpenCVで行いました。 環境 パルプ・フィクション/ サミュエル・L・ジャクソン ジュールス・ウィンフィールド 13インチ トーキングフィギュア パルプ・フィクション/ ジョン・トラボルタ ビンセント・ベガ 13インチ トーキングフィギュア あとは前々回と同じです。 学習の流れ 学習方法はリンゴを見分けさせた方法と同じです。 Web上から画像をダウンロードし、OpenCVで顔を切り出す。 切り出した画像をNumP

「赤りんご」と「青りんご」を見分けるだけの簡単なものですが、はじめて自分の用意した画像で深層学習をしてみました。 こんな感じ Deep Learning Apple Recognition - YouTube 「赤りんご」と「青りんご」を見分けます。 まずは「青りんご」から、確率91.4%と推測しました。 続いて「赤りんご」、確率91.1%と推測しています。 今回は推測結果が90%以上で「赤りんご」と「青りんご」を判定しています。りんごがない時に（例えば私の丸顔を写した場合）80%の推測がされた際は、判定結果が出ない様にしています。 環境 前回記事と同様です。 学習の流れ Web上から画像をダウンロードする ダウンロードした画像をNumPy配列にし、訓練データとテストデータに分ける 畳み込みニューラルネットワークで学習する OpenCVで撮影した画像をNumPy配列にし推測データとして使用

以前からやってみたかったRaspberry Piの物体認識を試してみました。今回はクラウドサービスを使わずに深層学習ライブラリと学習済みモデルを使ってみました。 環境 Raspberry Pi3 (RASPBIAN JESSIE WITH PIXEL 4.4　/ Python 3.4.2) LOGICOOL ウェブカム HD画質 120万画素 C270 ミニロボットPC等用スピーカー小型かわいい白 7インチ(1024*600) IPS液晶パネル　ディスプレイ 今までカメラモジュールを利用していたのですが、OpenCVでストリーミングをさせるためWebカメラを購入しました。ついでにちょっと可愛らしいロボット型のスピーカーも合わせて買ってみました。 ロボット型のスピーカーがWebカメラに映った物をしゃべってくれます（英語です）。 こんな感じ Deep Learning Object Recog

Raspberry Pi のカメラモジュールを使って顔認識をしてみた忘備録です。 環境 Raspberry Pi3 (RASPBIAN JESSIE WITH PIXEL 4.4　/ node.js v6.8.1) Raspberry Pi カメラモジュール Raspberry Pi Camera Board Raspberry Pi カメラモジュール専用　Blackケース パルプ・フィクション/ サミュエル・L・ジャクソン ジュールス・ウィンフィールド 13インチ トーキングフィギュア カメラモジュールの写真をsocket.ioで送信する 以前こんな風に試してみました。 Raspberry Pi のカメラモジュールとNode.jsで写真を撮る - Qiita Raspberry Pi のカメラモジュールとNode.jsでストリーミング - Qiita どちらも撮影した画像をクライアントサ

Raspberry Pi と Arduino でつくったロボットと会話してみました。 RaspberryPi-Robot talk me - YouTube まずは挨拶から。ロボットに"ポンボット"という名前をつけたので、こんな風に挨拶してみます。 「ポンボット、こんにちは。」 形態素解析エンジン"mecab"を利用して、ここでは「感動詞」を抽出してオウムがえしをさせています。 続いて好きなものを伝えてみます。 「ジバニャンが大好き。」 "mecab"のユーザー辞書に"mecab-ipadic-neologd" を利用させてもらいました。 こちらは素晴らしく語彙が豊富な辞書なので、Wikipediaに記載されているような様々な固有名詞を抽出することが可能になります。 こんな風にアニメのキャラクターなどの固有名詞も抽出できます。 続いて感想を伝えてみます。 「ジバニャンってかわいい。」 ここ

iOS10の「ホーム」アプリを使って家電を操作出来る様にしてみました。Node.js(一部Python)でサーバーを立てるだけで外出先からエアコンを点けたり消したり出来る様になりましたのでまとめてみます。 環境 Raspberry Pi3 と Raspberry Pi2 raspbian-jessie(4.4) Node.js(6.6.0) Python(2.7.9) git(2.2.2) irMagician 大宮技研の赤外線リモコンシステム Swich Scienceで購入 Appleの機器 iPhone6S(iOS10.0.1) AppleTV第３世代(7.2.1) 仕組み Appleが推奨するHomekit対応のホームオートメション家電（Philips Hueなど）をiOSの「ホーム」アプリに登録することで、同じWifi内のiOS端末から電源のオンオフなどを操作することができる様に

iOS10「ホーム」アプリと「Raspberry Pi + irMagician-T」でSiriさんに部屋の温度を教えてもらう。RaspberryPihomekitirMagician iOS10の「ホーム」アプリを利用して家電の操作が出来るようになったのですが、homekitには電源のオン・オフ以外のAPIがいくつか用意されている様です。 RaspberryPiに取り付けた「irMagician-T」から取得した室温を「ホーム」経由で確認出来る様にしてみましたのでまとめてみます。 こんな感じでAppleTV経由で外出先からリビングの室温を確認する事が出来ます。 「ホーム」はSiriと連動しているので、登録しているアクセサリの情報は音声で教えてもらえます。 さて、前回記事 iOS10「ホーム」アプリと「Raspberry Pi + irMagician」でお手軽家電操作。 - Qiita

AppleのSiriやGoogleのOK Googleの様に音声コマンドで様々な機能を操作する事が可能になっています。「ブラウザでも似たようなこと出来ないかな」と以前より思っておりました。 そこでHTML5の音声認識API - Speech Recognition API を利用して、ブラウザの要素を音声で操作してみました。 APIのサポート状況は現在のところChromeとAndroid Chromeのみです。caniuse.com - Speech Recognition API 音声認識の基本操作 W3Cのドキュメント - Web Speech API Specification - W3Cにこの様なサンプルが書かれています。 <textarea id="textarea" rows=10 cols=80></textarea> <button id="button" onclick=

ポケモンGOの海外APIを利用する際、モンスター名が英語の為日本語に翻訳するスクリプトを作ってみました。 pokemon.json ポケモンの外国語名一覧 - ポケモンWikiよりモンスター名を調べました。（エクセルでCSVファイルにしました） これを　csv-2-json を利用してjsonファイルに置き換えます。 [ { "ja": "フシギダネ", "en": "Bulbasaur" }, { "ja": "フシギソウ", "en": "Ivysaur" }, { "ja": "フシギバナ", "en": "Venusaur" }, { "ja": "ヒトカゲ", "en": "Charmander" }, { "ja": "リザード", "en": "Charmeleon" }, { "ja": "リザードン", "en": "Charizard" }, { "ja": "ゼニガメ

ブラウザ経由でRaspberry Piと会話してみました。 環境 Raspberry Pi2 ModelB （raspbian-wheezy・Node.js v4.2.4） PLANEX 無線LAN子機 (USBアダプター型) GW-USNANO2A (FFP) サンワサプライ USBスピーカー(ブラック) MM-SPU8BK ASUS Chromebook C300MA-WHITE こちらからの発話認識はRaspberry Piでは行わず、HTML5のWeb Speech Recognized API を利用します。Androidがあれば良いのですが持ち合わせがないので今回はChromebookを利用しました。 （もちろんMac、PCのChromeブラウザから利用出来ます。というかChromeしか対応していません。） インストールなど 基本前回投稿（Raspberry Pi をNode.