Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 某所ディープラーニング勉強会の発表資料です。 AutoEncoderって何？ 出力データが入力データをそのまま再現する3層ニューラルネットだよ。 普通は、隠れ層の次元を入力層＆出力層より小さくするよ。 AutoEncoderの意味は？ 次元削減だよ。 データが分布する多様体を推定しているともいえるよ。 主成分分析に似てるけど、シグモイド関数とかの非線形変換もいけるよ。 AutoEncoderはいつ使うの？ 事前学習だよ。ニューラルネット全体で学習を行うための良い初期パラメータを得るのに行うよ。 訓練データで教師無し学習をしていくよ。n層

Elasticsearchには色々なAPIが用意されているので、それらのAPIを色々使って今回やろうとしていることに近いこともできるのですが、今回は機械学習に Amazon Machine Learning 使ってみようかと。 やりたいことは、各ドキュメントの文章を元に、３つ以上の分類を予測するための機械学習モデルの作成です。いわゆる多項分類（Multiclass Classification）。 Elasticsearchはこのモデルを作成するための、教師データ作成に使います。Elasticsearchを使うことで、言語処理などの正規化をElasticsearchに任せてしまうことができるというメリットがあります。 正解データの作成正解データの作成は、Elasticsearchに文章とカテゴリが付与されたデータをインデックスするだけです。既に商品データなど、インデックスされていればそれを

少し古い WebDB Press（vol.85）のRubyの記事（Railsらくらくテストデータ準備）を見ていたら fakerの紹介がされていました。 ちゃんと使ったことなかったので今更ながら触ってみました。 記事中はおそらくtypoでffakerとなってしまっていたと思われるので、ついでにffaker - Rubyも見てみました。 結論から faker/ffakerどちらもとても良いですが、日本語の名前（仮名）と住所については対応できていません。 そんな不満を解消するのがgimeiでした。 faker/ffaker + gimei で幸せになれそうです。 Faker stympy/faker railsでfakerを使用するには、以下のように環境ごとにスクリプトを書いて db/fixtures/development あとは、rake db:seed_fu すればok。 seed.rbは

皆さん、Swiftでガリガリ開発してますか？ Objective-Cから変わりすぎて涙目になりながら開発してますが、 そんな中データ管理にSwiftでもMagicalRecord使おうかと思ってましたが 言語も新しくなった事だし、何か代わりがないかなぁと探していたところ Realmに出会いました。 実際に使ってみたので、その使用感をお伝えできればと思います。 環境 x-code 6.0 swift os:ios realm 0.83 Realmとは CoreDataやSQLiteに変わる次世代Mobileデータベースみたい。 Androidでも使えるので移植するときにインタフェースも統一されてて移植しやすいよね！ 詳しく知りたい方はここを見ればいいと思います。 なぜRealmを選んだのか iOSアプリを作ってると、まだAndroidアプリがなかったら必ずと言っていいほど Androidアプ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

※この記事は次のブログを翻訳したものになります。 原文：Elasticsearch 1.6.0 released 本日（6/9）、Lucene 4.10.4ベースのElasticsearch 1.6.0をリリースしました。 このリリースはElasticsearchの最新の安定バージョンとなります。 また、素晴らしい新機能がいくつか追加されています。 synced flushによるリスタートの高速化 �* シャード配置は保留中のタスクをブロックしない レスポンスボディのJSONのフィルタリング 共有ファイルシステムリポジトリに対するセキュリティフィックス 古いインデックスのためのUpgrade API Kibanaユーザのためのハイライトの強化 Windowsユーザのためのmlockall より詳細なスクリプト設定 すべての変更リストとダウンロードはこちらをごらんください。 synced f

（注　この記事は古くなったので、新しい記事をこちらに記載しています） http://dotnsf.blog.jp/archives/1059206837.html 全文検索エンジン ElasticSearch に日本語形態素解析ソフトウェアである Kuromoji のプラグインを導入して、日本語全文検索環境を構築します。 まずは ElasticSearch をインストールします。ElasticSearch のインストールそのものの手順については以前のエントリを参照してください： ElasticSearch を導入して CouchBase サーバーの全文検索を行う ElasticSearch の導入ができたら、この段階で動作確認をしておきます。まずはデータを登録します（青字は実行結果です）： # curl -XPUT http://localhost:9200/mytest/test/1 -

##「service worker」とは？ Chrome ソフトウェアエンジニアの@nhiroki_さんによると、 ページのバックグラウンドで動くイベント駆動の JavaScript 環境 （ゆえに “Service” Worker） とのこと。 大きくは現在は2つ特徴がある。 Cache機能 (オフライン環境でのアクセスを可能に) Push機能 (アプリと同様にリエンゲージメントを高める) 引用:Service Worker の紹介 Service Workerのライフサイクルは上記。 引用: Service Worker hackathon 2015 - introduction talk 1秒ってのは、人がシームレスに感じる(=違和感なくかなり心地よい)秒数だが、実際今のmobileでの1秒の内訳は上記にある通り、コネクション張ったり通信を発生させる部分で既に大枠を使っている・・・w

Amazonクラウドはクラウド上で機械学習を提供するサービス「Amazon Machine Learning」を発表しました。 これはAmazon社内でデータサイエンティスト達が使っているのと同じものと説明されており、既存のデータ群から適切な機械学習モデルを作りだし（データからパターンを学習し）、そのモデルを新しいデータに適用して予測などを行っていくというもの。 高いスケーラビリティで日々何十億もの予測を行う能力を備え、リアルタイムに予測を生成できるとされています。 簡単に学習させられ、大規模処理も可能 Amazon Machine Learningのページでは、特長として5つの要素が示されています。 1つ目は、既存データをAmazon S3やRedshift、Amazon RDSなどから簡単に読み込んで学習させることができること。2つ目は、数秒でモデルを作成し、予測までできること。 3つ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 前回、株式の時系列データを分析する話で、後半にちょっとだけ機械学習の話をしました。今日は機械学習ライブラリ scikit-learn に触れます。 scikit-learn といえば以前にも簡単なクラスタリングの例をあげたり、サポートベクトルマシンやクラスタリングで問題を解く、 TF-IDF を計算する、回帰モデルの可視化、 DBSCAN によるクラスタリングといったことをしてきましたが、あらためてライブラリの機能を整理します。 機械学習と言うと難しい数学を駆使するイメージがつきまといますが、完成度の高いライブラリを使えば利用者が機械学

EasyRamble は、技術ネタや子育て、英語学習、アウトドアなどについて綴るブログです。Ruby on Rails や Swift などで、Webサービス/アプリを作っています。

DELETE_FLAG という思考停止フラグ DELETE_FLAG という boolean の列が DB 設計でよく話題になります。 論理削除という言葉で上手に論理武装し、スキを見せるとすぐに入れたがる人がおり、 一方でそれにつよく反対する人もいます。 自分の経験としては、広義の論理削除はありえると思いますが、実現方法が DELETE_FLAG だとなった時、それはあまり考えてないでなんとなくパターンとして盛り込んでる場合が多いと感じます。 ただし、設計に唯一の答えは無いので、もしかしたらそれが妥当な設計である場合があるかもしれません。 今回は「DELETE フラグがなぜダメなのか？」などという話をするつもりも、アンチパターンだと断言するつもりもありません。 問題は、仕様をきちんと把握すると、「最適な設計は DELETE_FLAG ではない」という場合が有って、その場合は、その最適な設計

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「MongoDB」はNoSQLの中でもドキュメント型NoSQLに分類されます。MongoDBは他のNoSQLと同様に、リレーショナルデータベース（RDBMS）と比較してビックデータや非構造データの処理が得意といった特徴がありますが、ここではそういったNoSQLの一般的な特徴の紹介は割愛し、他のNoSQLとは違うドキュメント型NoSQLならではの特徴、そしてMongoDBならではの特徴を紹介します。 ドキュメント型ならではの特徴 ドキュメント型NoSQLではデータとして階層型データ構造であるJSONを扱います。図1にRDBMSのリレーショナルデータ構造、キーバリューストア（KVS）のキーバリューデータ構造、ドキュメント型NoSQLのJSO

追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層

※1 当社調べ ※2 HTB Business CTF 2024:国内1位 ※3 2023年 DEF CON 31 Cloud Village CTF:世界1位、2024年 DEF CON 32 Cloud Village CTF :世界1位

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ようやく前回の続きで今回は後編です。 さてここでみなさんもう一度、原点に立ち返ってみましょう。なぜデータを集めて分析をするのか。それは利益を最大化したいからです。自分が得をするために、判断の根拠となる材料 (データ) を収集し、中身を整理して眺め、行動に結びつけて利益を得ます。 すなわちデータ分析には利益につながる明らかな動機 (目的) が存在し、また分析の結果を行動に結びつけて初めて価値が生まれます。 ゲームと投資 ここで投資の話をしてみましょう。 万人に正しい投資法というのは存在しませんが、たとえば株式においては市場で優位性を得るた

先日Deep Learningでラブライブ！キャラを識別するという記事が話題になっていました。この記事で紹介されている SIG2D 2014を知り合いから貸してもらったので参考にしながら、ご注文は機械学習ですか？のDeep Learning版を作ってみました。 Caffeなど必要なソフトのインストール Ubuntu 14.04の場合は過去記事を参照してください。これ以外にもpython-opencvなどを使いますが、依存関係の全ては把握できていないのでエラーが出たら適宜インストールしてください。 データの準備 Deep Learningでは大量の学習データが必要になると言われているので、まずは大量のデータを用意します。参考記事では6000枚のラブライブ画像を使ったということなので対抗して12000枚以上のごちうさ画像を用意したいと思います。それだけのデータを手動で分類するとそれだけで時間が