By Dhawal Shah Twelve years ago, universities like Stanford and MIT opened up free online courses to the public. Today, over 1,200 schools around the world have created thousands of free online courses. To welcome the new year, I’ve compiled this list of 860+ such free online courses that you can start right now. For this, I leveraged Class Central’s database of over 100,000 online courses. When a

Google、TCPのスループットとレイテンシを改善する輻輳制御アルゴリズム「TCP BBR」をGoogle Cloudで利用開始 Googleは、同社が開発したTCPの輻輳制御アルゴリズム「TCP BBR」をGoogle Cloud Platformで利用可能にしたと発表しました。 インターネットにおける通信にはTCPを用いる場合とUDPを用いる場合に分かれますが、BBRはTCPにおける輻輳制御アルゴリズムを改善したもの。すでにGoogleはTCP BBRをYouTubeのネットワークで利用しており、従来のパケットロスをベースにした輻輳制御アルゴリズムであるCUBICを用いた場合と比較して、スループットが平均で4％、最大で14％以上改善したことを明らかにしています。 TCP BBRは現在の高速なネットワークに適した輻輳制御アルゴリズム TCP BBRのBBRは「Bottleneck Ba

こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins

2. Introduction • ⼩林 正幸 / Masayuki Kobayashi • LINE株式会社 – IT Service Center – Network dept - Service Network Team • Network Engineer – LINEのプロダクションネットワーク全般の設計・構築 – Peering coordinator@AS38631

表計算ソフトウェアの定番中の定番である「Microsoft Excel」がアップデートされ、4つの新機能が追加されました。4つの新機能は人工知能(AI)を駆使したものとなっており、これらを活用することで従来よりも簡単に優れたスプレッドシートが作成可能となります。 Bringing AI to Excel—4 new features announced today at Ignite - Microsoft 365 Blog https://www.microsoft.com/en-us/microsoft-365/blog/2018/09/24/bringing-ai-to-excel-4-new-features-announced-today-at-ignite/ ◆Ideas 新機能のひとつである「Ideas」は、ユーザーがMicrosoftのOfficeツールをフル活用できるよう

Google、Microsoft、Facebook、Twitterの4社は7月20日（現地時間）、ユーザーが自分のデータをサービス間で安全かつ簡単に移行できるようにすることを目的としたオープンソースプロジェクト、「Data Transfer Project」（以下、「DTP」）の立ち上げを発表した。 ユーザーに、データをダウンロードして再アップロードする必要なしに、あるサービスから別のサービスに直接データを転送するためのツールを提供していく。 欧州連合（EU）が5月に施行したGDPR（一般データ保護規則）への対応だが、EU以外の地域でも利用可能にする。 Googleは2007年の「Data Liberation」立ち上げ以来、ユーザーデータのインポート・エクスポート機能の充実に取り組んでおり、YouTube、Gmail、Googleフォトなど、ほとんどすべてのサービスのユーザーデータをダウ

EUの個人情報保護に関する新しい法律(General Data Protection Regulation)が2018年5月25日から施行される。EUの居住者に対してサービスを提供していて個人情報を取り扱っている業者は、たとえ個人であろうとも遵守義務が課せられる。 最近多くのサービスがプライバシーポリシーの改定を行っているのはそのためである。個人で作っている自分のサービスにもEUのユーザが沢山いるので、そろそろ対応しなければならない(遅い)。 今回はEUの法律によるものだが、内容は至極真っ当な、客観的に見れば当たり前のルールだ。将来的には事実上のデファクトとなり、アメリカや日本もこの法律に倣うのは時間の問題だろう。だから「日本人向けのサービスだから大丈夫」とほったらかしにしている業者は後々痛い目に遭うだろう。 Twitter社がパスワードをログに記録していた件は記憶に新しいが、今これが公に

Googleは米国時間11月30日、モバイルデータの通信量をモニタリングして節約できる新しいアプリ「Datally」をリリースした。利用できるのは「Android 5.0 Lollipop」以降を搭載する「Android」スマートフォンで、「Google Play」ストアから入手できる。 このアプリを使用すると、モバイルデータ通信量を1時間、1日、1週間、または1カ月ごとに確認できるほか、どうすればもっと節約できるかについてアドバイスが得られる。データ通信量を節約するには、「Data Saver」機能を有効にすれば、バックグラウンドでのデータの使用をブロックし、データ通信をリアルタイムで追跡できる。また、近くの公共Wi-Fiを利用できる場合に通知してくれる機能もある。 Googleによると、フィリピンでのトライアル期間中、ユーザーはデータ通信量を最大30％節約できたという。 Datally

機密性の高いデータや法規制を受けているデータに携わっている方なら、その内容をセキュアに保護することがいかに難しいかはよくご存じでしょう。今年 3 月にベータ リリースされた Data Loss Prevention（DLP）API は、クレジット カード番号、氏名、国民識別番号といった 50 種以上の機密データをすばやく見つけて保護するのに役に立ちます。 この投稿では、私たちが先ごろアナウンスした、機密データの保護に有用な DLP API の新機能（リダクション、マスキング、トークン化など）を紹介します。 個人データを非特定化するこれらの新しい機能を使用すれば、意図せぬ形で漏洩するリスクを抑えながら機密データを利用しやすくなります。多くの大企業がそうであるように、最小特権の原則もしくは “need-to-know” の原則（認められたビジネス プロセスで必要最小限のデータだけを利用、参照す

会社の会議や学校の授業、講義や取材の際に、その内容を音声で録音しておいて後から文字におこす作業はかつて使われていたメディアから「テープ起こし(または文字起こし)」と呼ばれ、何度も同じ場所を繰り返して聞くことを強いられる地味で過酷な作業です。そんな作業をサポートするためにさまざまなツールが開発されてきましたが、時代の波にのまれ、コンピューターの環境の変化についていけず、いくつものソフトが姿を消してきました。そんな中で公開されているボイテックスの「テープ起こしプレーヤー」は、テープ起こしに必要な機能を詰め込み、さらには無料で誰でも使うことができるというソフトです。 テープ起こしプレーヤーの公開 | （株）アスカ２１　短納期低料金の「テープ起こし・書き起こし・文字起こし・音声起こし」 https://www.asca-voitex.jp/?p=1709 「名は体を表す」を地でいくテープ起こしプレ

Redash (re:dash) 流行ってますね。 redash.io 最近 Github をにわかに賑わせている OSS が superset です。 github.com superset とは 公式説明によると data exploration platform とのことですが、僕の感覚的にはこれはつまり、いわゆる Business Intelligence (以下 BI) Tool です。そう、Tableau のような。 OSS (Apache 2.0) サーバーサイドは Python で書かれている Flask や pandas、SQLAlchemy などを利用 さまざまなデータソースに対応 (MySQL, Redshift、SparkSQL など) グラフ描画の種類が豊富 Role や Permission についてある程度細かく設定可能 Airbnb Engineering

Top > ラーニング > Googleの無料BIツール「Google Data Portal(グーグルデータポータル)」の使い方 | 解析レポート作成時間がゼロに！

Google Data Studio (データスタジオ) という可視化サービスがベータ版で使えるようになっていたので試してみた 見たい数値を一覧するためのダッシュボード的なものを作るためのサービスなので、いろんな場所からデータを取ってきて一箇所でまとめて確認するのが用途っぽい(今のところ似たようなサービス・ツールの方が機能が多そう データソース データソースとしてGoogle AnalyticsやBigQuery、Google Spreadsheet、MySQLなどを選んでデータを取ってこれる データソースを選んでGUIでグラフやテキストを配置していく データの既存のフィールドに関数を適用した結果の値を使うこともできる 使える関数のリスト 下の画像ではGoogle Analyticsの「ブラウザ」(Chrome, Firefoxなど)と「ブラウザのバージョン」(バージョンの番号)をCONC

こんにちは。今年の6月に入社した Web Developer の田中です。 Quipper ではデータの収集に Treasure Data(以下 TD) を使っています。今回、収集したデータの一部(数千万件ほど!)を MongoDB にインポートする必要があったので、その時にやった事をまとめました。 tl;dr TD に数千万件あるデータを MongoDB にインポートする必要があった Ruby で愚直に書いたらリソースを使いきってサーバが落ちた Engineering チームと協力して、サーバ強化+別インスタンス化、コードの省メモリ化を行い、無事にインポートできた 概要 以下のような事をやりました。 まず、TD で必要なデータを出力する JOB をつくる Rake タスクで、以下を行う JOB ID を指定してデータをダウンロード ダウンロードしたデータを MongoDB に突っ込む つ

TensorFlowで株価予想シリーズ 0 - Google のサンプルコードを動かしてみる 1 - 終値が始値よりも高くなるかで判定してみる 2 - 日経平均225銘柄の株価予想正解率ランキング〜 3 - 日本3506銘柄の株価予想ランキング 4 - 実際に売買したら儲かるのかシミュレーションしてみる 5 - 大きく上がると予想されたときだけ買ってみるシミュレーション 6 - 学習データの項目を増やす！隠れ層のサイズも増やす！ 7 - 株価が何%上昇すると予測したら買えばいいのか？ 8 - どの銘柄を買うか 9 - 年利6.79% 前置き 猫も杓子もディープラーニングディープラーニング。なにそれ美味いの？ って感じだけど、 2015年末に Google が書いた 「Machine Learning with Financial Time Series Data on Google Clo

オープンソースの新しいストレージエンジン、Kudu ついに本日アナウンスされた Kudu (クドゥ）、次世代ハードウェアにも対応するオープンソースのストレージエンジンです。まだベータ版ですが、3年もの開発期間を経てついに公開されました！ Super excited to finally talk about what I've been working on the last 3 years: Kudu! http://t.co/1W4sqFBcyH http://t.co/1mZCwgdOO5 — Todd Lipcon (@tlipcon) September 28, 2015 数日前にリークされた記事に「KuduはHDFSやHBaseを置き換えるものだ」と書かれていましたが、それは間違いです。詳細はFAQなどにも書かれていますが、HDFSとHBaseを補う新しいストレージエンジンです

Slackは連絡先を知っている人が参加することが多いですが、ゲームのコミュニティ等相手の連絡先がわからない場合もあると思います。(IngressとかIngressとかIngressとか) そういう時のために申請フォームを作って、Slackに通知をするための方法をまとめます。 1. SlackのIncoming Webhookを設定する SlackのIncoming Webhookを新規作成する。 デフォルトの部屋は適当に選べば良い。 Webhook URLのURLを記録しておく。 2. Googleフォームを作る 今回想定している項目は、以下の4点 紹介者名 名前 あなたのG+プロフィールページ メールアドレス 3. Slack通知用のスクリプトを作成する フォームのツール -> スクリプト エディタを開く 通知するためのコードを書く。 以下の例では、public channel(#pub