Philosophy We strive to create an environment conducive to many different types of research across many different time scales and levels of risk. Learn more about our Philosophy Learn more

クラスタリング (clustering) とは，分類対象の集合を，内的結合 (internal cohesion) と外的分離 (external isolation) が達成されるような部分集合に分割すること [Everitt 93, 大橋 85] です．統計解析や多変量解析の分野ではクラスター分析 (cluster analysis) とも呼ばれ，基本的なデータ解析手法としてデータマイニングでも頻繁に利用されています． 分割後の各部分集合はクラスタと呼ばれます．分割の方法にも幾つかの種類があり，全ての分類対象がちょうど一つだけのクラスタの要素となる場合(ハードなもしくは，クリスプなクラスタといいます)や，逆に一つのクラスタが複数のクラスタに同時に部分的に所属する場合(ソフト，または，ファジィなクラスタといいます)があります．ここでは前者のハードな場合のクラスタリングについて述べます．

こんにちは，クラスタリング&可視化おじさんです． 本記事は「機械学習と数学」Advent Calendar14日目です． (ちなみにAdvent Calendar初投稿です．よろしくお願いします) はじめに データ分析とか機械学習やられてる方は高次元データの次元削減と可視化よくやりますよね． この分野の代表選手といえばPCA(主成分分析)とかMDS(多次元尺度構成法)ですが， これらの線形変換系手法には以下の問題があります． 高次元空間上で非線形構造を持っているデータに対しては適切な低次元表現が得られない 「類似するものを近くに配置する」ことよりも「類似しないものを遠くに配置する」ことを優先するようアルゴリズムが働く 1.に関して，よく例に出されるのがSwiss roll dataset(下図)のようなヤツですね． PCAはデータが多次元正規分布に従うことを仮定しているので， その仮定から

10. =pj|i exp(−|| − | /2 )xi xj | 2 σ2 i exp(−|| − | /2 )∑k≠i xi xk | 2 σ2 i SNEは からxi の近さを条件付き確率xj で表します．pj|i は平均pj|i に従うガウス分布においてxi が抽出される確率密度とします． 数式で表すと以下のとおりです． xj ここで， は平均σ2 i のガウス分布の分散であり， 今は異なる二点間の類似度にのみ興味があるので xi とします． (※ ここで，一般に = 0pi|i であることに注意しましょう． そのため，距離でも類似度でもなく「近さ」という表現を用いています．) ≠pj|i pi|j 11. = , = 0qj|i exp(−|| − | )yi yj | 2 exp(−|| − | )∑k≠i yi yk | 2 qi|i 次に，次元削減後の点 からyi の近さも

t-SNEは、高次元のデータを可視化する手法としては、非常に便利ですが、時々不可解な挙動をしたり、誤解を招くような可視化をすることがあります。 シンプルなデータを可視化して動作の仕組みを理解することで、t-SNEのより効果的な使い方を学ぶことができます。 t-SNEは、高次元のデータを調査するための手法として、2008年にvan der MaatenとHintonによって発表 [1] された人気の手法です。 この技術は、数百または数千次元のデータですら無理やり2次元の「マップ」に落とし込むという、ほとんど魔法のような能力を備えているために、機械学習の分野で幅広く普及しています。 このような印象を持っている方が多いのですが、こういった捉え方をしていると誤解を招くこともあります。 この記事の目的は、よくある共通の誤解を解くためでもあります。 t-SNEで可視化できることと、できないことを説明す

特徴量選択の手法 1. 特徴量選択の手法 株式会社 サイバーエージェント メディアデベロップメント事業本部 エンジニア 大澤翔吾 2. 特徴量選択とは？ ● 使用可能なN個の特徴量 から 最適な部分集合を見つけること ● N個全てを使うことが最適とは限らない ● 特徴量を減らすことによって精度が向上することがある ● 特徴量が多すぎる場合、 学習処理の高速化や次元の呪いの軽減が期待できる {F1, F2,..., FN } 3. 特徴量選択手法の分類 ● Wrapper method – 候補の特徴量部分集合を用いて学習を行い、 テストセットに対する評価指標を計算 （log loss、MSEなど） – 全部分集合を探索できないので（指数オーダー） 近似的に探索する ● Filter method – 特徴量と目的変数の依存関係を定量化し、 依存の最も強いK個の特徴量を採用する 4. Wra

目次 目次 はじめに パレート最適解 多目的最適化の選択アルゴリズム サンプルコード コードの解説 スクリプトの実行結果 はじめに 最近たまたま多目的最適化を扱う機会があり、DEAPを使って最適化を実施したので、その時のメモです。 DEAPのチュートリアルに、GAでの多目的最適化の例があったので使わせてもらいました。 パレート最適解 多目的最適化の場合、一般的に最適解は1つに定まりません。 例えば2つの目的関数を、どちらもできるだけ小さくしたい場合を考えてみます。 1つ目の目的関数が最小値を取ったとしても、同じ設計変数で、もう一つの目的関数が最小値を取るとは限りません。 GAでの多目的最適化では、最終世代の個体の適応度(目的関数)をグラフにプロットしてやると、ある曲線上に乗ってきます。 この曲線のことをパレートライン(又はパレートフロント)と呼び、目的関数がパレートライン上に乗る解はパレー

Six lines of Python is all it takes to write your first machine learning program! In this episode, we'll briefly introduce what machine learning is and why it's important. Then, we'll follow a recipe for supervised learning (a technique to create a classifier from examples) and code it up. Follow https://twitter.com/random_forests for updates on new episodes! Subscribe to the Google Developers:

何の話かというと 機械学習におけるカーネル法の説明で、よく登場するのがこちらの図です。 左側の (x, y) 平面上の点を分類する場合、このままだと線形分類器（直線で分類するアルゴリズム）ではうまく分類できないのが、右図のように z 軸を追加してデータを変形すると、平面できれいに分割できるようになって、線形分類器による分類がうまくいくというものです。このように、高次元空間にデータを埋め込むことでうまいこと分類するのがカーネル法の仕組みだというわけです。 なのですが・・・・・・・・・・・・・・・・・・・・ これ、本当にカーネル法の原理を知っている方には、ちょっと気持ち悪くないですか？ ※ 以下はカーネル法を知っている方向けのつぶやきです。 上記の例は、データの配置にあわせて、うまいこと z 軸方向の変形をしているのでうまくいっているのですが、カーネル法には、データの配置にあわせてうまいこと変

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

応用範囲が広く幅広い視点からの説明になりがちなベイズ最適化について、本記事では機械学習のハイパーパラメータ探索に利用することに限定して解説します。 1. はじめに 最近、ベイズ最適化という手法が注目を集めています。 ベイズ最適化 (Bayesian Optimization) とは、形状がわからない関数 (ブラックボックス関数) の最大値 (または最小値) を求めるための手法です。 ベイズ最適化についての入門記事は Web 上にすでにいくつかありますが、ベイズ最適化は応用範囲が広く、入門記事は様々な応用に向けた幅広い視点からの説明になりがちです。 本記事では、機械学習ユーザに向けて、ベイズ最適化を機械学習のハイパーパラメータ探索に利用することに限定して説明します。 これにより、機械学習に対して、ベイズ最適化がどのように利用できるのかを分かりやすく解説したいと思います。 2. ハイパーパラメ

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

1 Introduction The caret package (short for Classification And REgression Training) is a set of functions that attempt to streamline the process for creating predictive models. The package contains tools for: data splitting pre-processing feature selection model tuning using resampling variable importance estimation as well as other functionality. There are many different modeling functions in R.