プログラミングを始めたばかりの頃、私たちは「コードは上から下へ動く」と教わります。 その「一本道」のアプローチは直感的で楽しいものですが、コードの規模が大きくなると、やがて「認知の限界」という壁にぶつかります。 なぜ私たちは、直感的な一本道を捨てて、一見すると複雑な「アーキテクチャ」や「関心事の…

少しマニアックな知識、QRコードの仕組みを紹介します。 QRコード決済、リンクをQRコードで提供するなど、日常的に使用されているQRコードにあるそれぞれのパターンがどのように機能しているか、どういう役割をしているのか、なぜ上下逆さにしても読み取れるのか、なぜ一部が隠されても読み取れるのかなどが分かります。 QR codes by Dan Hollick (@DanHollick) 下記は各ポイントを意訳したものです。 ※当ブログでの翻訳記事は、元サイト様にライセンスを得て翻訳しています。 はじめに QRコードの仕組み 終わりに はじめに QRコードがどのように機能しているのか、疑問に思ったことはありませんか？ 控えめに言って、実に、おもしろい！ 注意: この記事⬇では非常にマニアックな内容が含まれています。 QRコードの仕組み QRコード（Quick Response code）は自動車部

アルゴリズムの素晴らしさを2分で解説した動画が、とても分かりやすくためになると人気です。なるほど、これがアルゴリズムと仕組みかぁ。 最短経路をアルゴリズムで算出しよう この動画では、迷路を最短手数で解くアルゴリズムについて解説。迷路はマス目状になっており、全部で8900億個の手順が存在するものとなっています。全ての経路を試せば最短手順を導き出せますが、普通のコンピュータでは約8時間かかってしまう計算になります。 全パターンの網羅は非常に時間がかかります そこで計算の手順を変更。スタートに0を書き、その隣1を、また隣に2……と繰り返していきます。こうして進めていくと最終的にゴールは34となり、この34が最短手数となることが分かります。今度はゴールから34，33，32とたどっていけば、最終手数で進む経路の1つが導き出せました。 数字を振っていき…… ゴールからたどって行きます このような手順で

北海道電力の電力使用状況を季節調整済みARIMAモデル（Seasonal ARIMA）で推定してみました。そのメモです。 このサイトを参考にしました。ほぼそのままやりました。 ■Seasonal ARIMA with Python http://www.seanabu.com/2016/03/22/time-series-seasonal-ARIMA-model-in-python/ このブログでも紹介されていますが、statsmodelsのdevelopment versionが必要です。 https://github.com/statsmodels/statsmodels これをインストールするにはvisual c++のなんかのバージョンが必要で色々と面倒でした。あと、pipでインストールすると失敗するのでeasy_installでうまくいく場合もありました。 %pylab impor

$k$は定数で、だいたい0.04~0.06くらいです。Rの値によって以下のように分類できます。 Rが大きい: corner Rが小さい: flat R < 0: edge 図にすると、以下のようになります。 CSE/EE486 Computer Vision I, Lecture 06, Corner Detection, p22 これで手早くcornerを検出できるようになりました。ここで、corner検出についてまとめておきます。 cornerは複数のedgeが集まる箇所と定義できる 変化量をまとめた行列の固有ベクトルからedgeの向き、固有値の大きさから変化量の大きさ(edgeらしさ)がわかる 2つの固有値の値を基に、edge、corner、flatを判定できる 固有値の計算は手間であるため、判定式を利用し計算を簡略化する なお、Harrisはedgeの向きである固有ベクトルを考慮す

連載バックナンバー はじめに 今回は時系列分析について紹介します。ビジネスで生成されるデータの多くが“時間“の項目を含む時系列データで、1週間の傾向や季節変動などを分析する際など、さまざまな場面で時系列の分析が必要となります。 時系列分析（Time Series Analysis）とは？ 時系列分析（Time Series Analysis）は、株価や為替レートなど金融関連の時間とともに変化するデータを分析し予測するために発達してきました。「時系列計量経済学（Time Series Econometrics）」などの学問の中で論じられているデータ分析の中では、比較的歴史のあるテーマです。それだけに、定式化するためのさまざまなモデルが提案されていて、1つの変量を分析するためのモデルだけでも、表1のように多くのモデルがあります。 略称 説明 AR

ビッグデータと未来予測 ロングテールとは ロングテールとビッグデータの関連 未来予測のためのビッグデータ解析 重回帰分析 回帰分析の基礎、単回帰分析 最小二乗法 相関係数 重回帰分析 変数の影響度 多重共線性 ビッグデータで重回帰分析を用いるリスク SARIMAモデル ARモデルとMAモデル ARモデル（自己回帰モデル） MAモデル（移動平均モデル） ARMAモデル（自己回帰移動平均モデル） 定常過程と非定常過程 ARIMAモデル（自己回帰和分移動平均モデル） SARIMAモデル（季節自己回帰和分移動平均モデル） まとめ 様々な分野でビッグデータの応用が進んでいます。 その中でも企業が競争力を持つための、トレンド予測や需要予測が注目されています。 膨大なデータを解析することで、トレンドの変化や周期的な法則を導き将来を予測することができます。 今回は未来予測を目的としたデータの解析手法につい

scikit-learnのアルゴリズム・チートシートで紹介されている手法を全て実装し、解説してみました。 注釈 本記事シリーズの内容は、さらに丁寧に記載を加え、書籍「AIエンジニアを目指す人のための機械学習入門 実装しながらアルゴリズムの流れを学ぶ」 として、出版いたしました。 概要 scikit-learn アルゴリズム・チートシート 【対象者】機械学習を使用したい方、初心者向けの機械学習本を読んで少し実装してみた方 scikit-learnの説明は英語で分かりにくいし、実装例もシンプルでなくて、よく分からんという方 【得られるもの】模擬データを用いて、各手法を使用したミニマム・シンプルなプログラムが実装できるようになります。 アルゴリズムの詳細な数式は理解できませんが、だいたい何をやりたいのか、意図と心、エッセンスが分かります。 アルゴリズムマップの手法をひとつずつ実装・解説します。

FIT2012で行われた「ビジネスで生きる機械学習技術」セッションの招待講演資料です。 http://www.ipsj.or.jp/event/fit/fit2012/program/data/html/event/event_A-7.html 【講演概要】 世の中で得られる知見の多くは、何らかの観測対象の時間変化や、観測対象グループにおける珍しい個体の出現を捉えたものと考えることができます。特に急速な変化や異常な個体の検出するための異常検知技術は、ビジネスにおけるデータ収集・蓄積インフラの浸透とともに応用が広がっています。従来は、蓄積されたデータを目で見て確認する、閾値を設けてアラートを出す、あるいは経験に基づいて異常パターンをルール化する、などのアプローチが主流でした。しかしながら、収集できるデータの変数と量が飛躍的に増大する中で、比較的単純かつ過去に起きた異常のみ扱えるルールベース手

Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ

The latest news and insights from Google on security and safety on the Internet

Deep Learningのための専用プロセッサ「MN-Core」の開発と活用（2022/10/19東大大学院「 融合情報学特別講義Ⅲ」）

文：Daniel Sim　分析：Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。 私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。 鉄道運営会社SMRTと陸上交通庁（LTA）による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。 しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた

(編注：2020/08/18、いただいたフィードバックをもとに記事を修正いたしました。) (2016/12/11、いただきましたフィードバックをもとに翻訳を修正いたしました。) H.264は、動画圧縮コーデックの標準規格です。ネット上の動画、Blu-ray、スマホ、セキュリティカメラ、ドローンなどなど、今やあらゆるところでH.264が使われています。 H.264は注目すべき技術のひとつです。たったひとつの目標、つまりフルモーションビデオの送信に要するネットワーク帯域を削減することを目指した30年以上の努力の結晶なのです。 技術的な面でも、H.264はとても興味深い規格です。この記事では、その一部について概要レベルでの知識を得られることでしょう。あまり複雑だと感じさせないようにするつもりです。今回おはなしする概念の多くは動画圧縮全般にあてはまるものであり、H.264に限ったものではありません

このまえHな講義*1を受けてたあとに、@polamjag 氏とダベってたら 「音割れ音源復元できないか」 みたいな話がでて面白そうだったので趣味研究してみた成果だったりします。 信号解析初経験な上に片手間でやった研究なので、かなり穴だらけだと思うのでお気づきのことがありましたら、ご指摘お願いします。 背景 話によると、そこらへんで買った音源って音割れしてるらしい。 audacityで[view]->[show clipping]をオンにすると音割れ箇所を可視化してくれる。 ノーポイッを見てみた図。 (amazon mp3で購入、買ってない方ぜひ買いましょう。 http://www.amazon.co.jp/dp/B017BAK632 ) あかい。。。 ということで、ｻｰﾍﾞｲするこくたんであった。 目的 音割れしている音源(5分ぐらいの)をいい感じに補完して 人間の耳にやさしく 補完する。