はじめに ビッグデータ、データサイエンスという言葉の流行を大きく後押ししたのは大規模なスケールアウト、分散処理を可能としたHadoopの存在です。しかしデータサイエンティストは日々のデータ処理作業において必ずしも複数台のマシンを必要とするような大規模な処理ばかり行っているわけではありません。自身の開発用ワークステーション1台で完結するような処理も多数存在します。 2016年ではもはや当たり前ですが、多くのワークステーションはマルチコアのCPUを搭載しており、CPUがボトルネックになるようなデータ処理をマルチコアを活かして並列処理する重要性は高まっています。しかし、意外に多くのソフトウェアが、この当たり前に期待される「マルチコアを活かして単一ワークステーション上で高速並列処理すること」が出来ていません。 この悩みから、筆者は過去にテキストデータ処理を簡単にマルチコア対応にするJavaフレーム

こんにちは、虎塚です。 Developers.IO 2016のスポンサー様セッション「Hacker meets Docker：セキュリティコンテスト『Trend Micro CTF』の裏舞台でコンテナをつかった話」をレポートします。 トレンドマイクロ株式会社 セキュリティエキスパート本部の岩田季之様にご講演いただきました。 1. CTF CTFとは、Capture The Flag (旗の奪い合い) の略で、セキュリティに関する技術や知識を競い合う技術者向けの競技大会。ゲーム感覚でセキュリティ知識を学んだり、セキュリティ技術を試したりできる。有名なセキュリティコンテストに、日本ではSECCON、海外ではアメリカのDEF CONなどがある。 トレンドマイクロ社主催のCTFイベントは、2015年にアジアパシフィックと日本限定で初めて開催した。 Trend Micro CTF Asia Paci

Google のウェブログ公開ツールを使って、テキスト、写真、動画を共有できます。

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

金融庁が国内で初めて導入する仮想通貨の法規制案が23日わかった。今までは仮想通貨を単なる「モノ」と見なしたが、法改正で「貨幣の機能」を持つと認定することで、決済手段や法定通貨との交換に使えると正式に位置づける。仮想通貨の取引所は登録制とし、金融庁が監督官庁になって、仮想通貨の取引や技術の発展に目を光らせる。今通常国会に資金決済法の改正案を提出し、成立を目指す。日本では約2年前に世界最大だったビット

Googleさんが発表したモバイル端末での表示高速化のAMP HTMLに対応してみたよ、という話です。 Introducing the Accelerated Mobile Pages Project, for a faster, open mobile web 概要などは上記見てもらえれば感じはつかめると思いますし、日本語で紹介してる記事だとKenichi Suzukiさんの紹介記事を見ると分かるかと思います。 なぜやってみようかと思ったかというと、「javascriptが無い静的なHTMLとCSSのページは爆速で表示したるで！」というGoogleさんの粋な計らいかと勘違いし、ほとんどが静的なページであるこのブログもサクーっと対応できたりするんじゃね、と思ったからですが、ちょっと苦労しました。 なおブログを完全に対応させたのではなく、記事ページのみ別にAMP HTML用の記事を出力してい

はじめに 藤本です。 昨日、Packerのバージョン0.9がリリースされました。Chef ProvisionerのWindows対応や、OVA形式でのAWSへのインポートなどいくつかの機能が追加されました。今回はその中でもAnsible Provisionerについてご紹介します。 リリースノートはこちら 概要 Packerには今までAnsibleのProvisionerとして、Ansible Local Provisionerがありました。Ansible Local ProvisionerはPlaybookをビルドOSに送信して、ローカルでAnsibleコマンドを実行するというものでした。事前にAnsibleをインストールしていなくてはならないことでAWSなどで標準OS AMIを利用する場合、Shell ProvisionerでゴニョゴニョとAnsible外で設定を入れえなくてはいけなか

昨日に引き続いて分散システムのデザインパターンについて書いていきたい。 だがそれ以前に故障モデルに関する前提を忘れてはならない。人によって様々な方針があるが、個人的には分散システムの世界において意識しなくてはならない故障モデルは4つだと考えている。僕は前回のブログに書いた Replication の本をベースに書いており、少し言葉遣いや定義が他とやや違う点は許して欲しい。また、通信の脱落・遅延とはレイヤーが異なる議論である。 故障モデルの分類 故障が起きないモデル これは故障が起きない世界を仮定するモデルである。これ自体はプロダクションにそのまま投入できるものではない。だがこの故障モデルを想定しても解けない問題は故障が発生する状況では絶対解けない事が断言できたり、合意プロトコルが正しいかを議論する土台となったり、様々な実用的なアルゴリズムや分散システムの土台となるアルゴリズムが生まれる土壌

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

イベントの概要 非常に軽量で、Docker界隈で急速に注目が高まっているAlpine LinuxのMeetupを開催します。 軽さに価値を感じる方々の発表・参加をお待ちしております！ 日程 日程と場所は 現在調整中ですので、決定次第速やかに発表します。 以下の通り決まりました。 4/21（会場都合で4/14から変更となりました、申し訳ありません） 渋谷21cafe (最近移転されたようなのでご注意ください) タイムテーブル 19:00 くらい: 開場 19:30 - 20:30 くらい: セッション x 3 20:30 - ラスト: LT, おしゃべりタイム 参加受付について 先行でセッション枠・LT枠の参加受付を行います。陣容が確定次第、一般観覧枠の募集を開始します。 セッション枠・LT枠でお申し込みの方は、参加コメント欄に発表タイトル（仮で構いません）を添えて申し込みをお願いします。

サイバーセキュリティ注意喚起サービス「icat for JSON（アイキャット・フォー・ジェイソン）（注釈1）」は、IPAが公開した「重要なセキュリティ情報」をリアルタイムに配信するサービスです。 本サービスをウェブサイト上で活用することにより、IPAが公開した最新の「重要なセキュリティ情報」の一覧を自動的に取得・表示することができるようになります。組織のポータルサイトや会員向けウェブサイト上などに設置をすることで、ウェブサイト利用者に向けてセキュリティ対策をリアルタイムに周知することが可能になります。利用方法は下記の機能概要を参照ください。 コンセプト icat for JSON 機能概要 ウェブページにHTMLタグを埋込むことで、IPAから発信する「重要なセキュリティ情報」とリアルタイムに同期できます。 本ツールの特長は以下の通りです。 表示方法は「縦表示」または「横表示」の指定が可能

Atlas Device SDKs are deprecated. Refer to the deprecation page for details. Atlas Device SDK is a suite of app development tools optimized for data access and persistence on mobile devices. Use the SDKs to build data-driven mobile, web, desktop, and IoT apps. The SDKs provide tools to read and write Atlas data from devices. Your app can sync automatically with MongoDB Atlas and other devices usin

PCI Security Standards Council（PCI SSC）は、クレジットカード業界のグローバルなデータセキュリティ基準「PCI DSS」（Payment Card Industry Data Security Standard）の次期バージョン「PCI DSS version 3.2」のリリース関して、PCI SSC最高技術責任者のインタビューを公式ブログに掲載、概要を紹介している。 SSL／TLS移行期限は2018年6月末まで延長 PCI SSCはPCI DSSなどの一連のPCIセキュリティ基準の開発／管理／普及促進などを行っている。2015年4月に発行された現行の「PCI DSS 3.1」では、SSL（Secure Sockets Layer）および初期のTLS（Transport Layer Security）プロトコルが現時点では強力な暗号方式とは考えられないこ

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

はじめに 2015年11月ごろAWSよりEC2, EBSのリソースIDの長さの変更について仕様変更の発表がありました。 2016年に導入のEC2, EBSのリソースIDの長さの変更について 現時点ではEC2にてオプトインにより変更が可能となっています。 EC2での変更方法については長いEC2リソースIDが利用可能になりましたをご参照ください。 今回の仕様変更に伴い長いリソースIDをAWS SDK / CLI で使用する場合には、これらのツール類もバージョンアップが必要となります。 バージョンアップが必要なツール類、バージョンアップが不要なツール類をご紹介します。 バージョンアップが必要なAWS SDK / CLI バージョンアップが必要なツールは以下となります。

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

先の記事にて解説したとおり、信頼できる通信路 との組み合わせにおいては、TCP のみで攻撃することは困難であるため、UDP におけるヒープ確保の阻止が焦点となります。つまり、A/AAAA の1セットの UDP レスポンスにおいて、それぞれが1024バイト、合計値が2048バイトを超過しない事が条件です。EDNS0 無効時においては、1レスポンスあたり512バイトであるため、仕様に沿っていればこれを超過しません。 多くの DNS キャッシュのソフトウェアにおいては、DNS クエリ/レスポンスのチェックや再構築をしているため、異常な構造を持つデータはフィルタされる場合が殆どです。EDNS0 無効時に512バイトを越えるデータを送りつけるような違反も同様です。 しかし、DNS の転送のみを行う DNS フォワーダにおいてはチェックが甘いため、今回の脆弱性に対する防御にはなり得ない場合もあります。

認証は単純な概念で、別の言葉で言えば本人確認です。Web サイトにおける本人確認の最も一般的な方法は ID とパスワードの組を提示してもらうことですが、指紋や虹彩などの生体情報を用いた本人確認方法もありえます。どのような確認方法だとしても (ワンタイムパスワードを使ったり、2-way 認証だったりしても)、認証とは、誰なのかを特定するための処理です。開発者の言葉でこれを表現すると、「認証とは、ユーザーの一意識別子を特定する処理」と言えます。 一方、認可のほうは、「誰が」、「誰に」、「何の権限を」、という三つの要素が出てくるため、複雑になります。加えて、話をややこしくしているのは、この三つの要素のうち、「誰が」を決める処理が「認証処理」であるという点です。すなわち、認可処理にはその一部として認証処理が含まれているため、話がややこしくなっているのです。 認可の三要素をもう少し現場に近い言葉で表

7. MySQL 5.7 2013/04 MySQL 5.7.1 DMR11 2015/03 MySQL 5.7.6 DMR16 2015/04 MySQL 5.7.7 RC 2015/08 MySQL 5.7.8 RC 2015/10 MySQL 5.7.9 GA 2015/12 MySQL 5.7.10 GA 2016/02 MySQL 5.7.11 GA 6/133 8. MySQL 5.7 2015/04 MySQL 5.7.7 RC ここまではまあいい 2015/08 MySQL 5.7.8 RC JSON型, virtual generated columnの拡張, InnoDB Page Compression 2015/10 MySQL 5.7.9 GA innodb_default_row_format, JSON -> operator, innodb_numa_int

Amazon Redshift: 『パフォーマンスチューニングテクニック Top 10』手順の実践(1).間違った列の圧縮方式 先日AWS公式のブログで公開された下記のAmazon Redshiftのパフォーマンスチューニングに関するエントリは、非常にタメになるネタが集約されている素晴らしいエントリでした。このまま実用ドキュメントとして展開・活用出来るのではと思う内容ではありますが、内容の1つ1つを見ていくと、ネタ単体でも見るべきポイントがふんだんに盛り込まれているのでは、と思えました。そこで当エントリでは、そのうちの1つを実際に試してみて、どんな結果が得られるのか、何をすれば良いのかについてもう少し踏み込んだ形で読み解いて行きたいと思います。 AWS Solutions Architect ブログ: Amazon Redshiftのパフォーマンスチューニングテクニック Top 10 『課

.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads

自分は何人から嫌われている？Twitterで自分をブロックしている人の数を数えるサービス「ぶろるっく」が流行中 Twitterにある、特定のアカウントを極力見えなくする機能「ブロック」。 SPAMアカウントを「報告」するときに同時にブロックする、というのが日常的な「ブロック」の使い方ですが、時には、あるアカウントを嫌って積極的にブロックをすることもあるでしょう。 自分がするブロックはTwitterの居心地をよくするためにするものなので、そこにためらいを持つ人は少ないはず。 一方で、自分が人からブロックされているかどうか。自分をブロックしている人はどれぐらいの人数なのか。 これに関してはナーバスになる人が少なくないのではないでしょうか。 しかし、自分をブロックした人がだれか、自分をブロックした人が何人いるかを俯瞰して知る手段はありません。 自分をブロックした人のプロフィールを見に行けば分かり

DateTime.now + 1.hour と DateTime.now +1.hour は異なる値を返します。 何を言ってるのかわからねーと思うがこの実行結果を見てくれ。こいつをどう思う？ [10] pry(main)> DateTime.now + 1.hour Fri, 29 Jan 2016 11:38:52 +0900 # こっちだと 11:38 [11] pry(main)> DateTime.now +1.hour Fri, 29 Jan 2016 10:38:52 +0900 # こうすると 10:38。あれれ？ すごく・・・バグりそうです・・・/// なんでか DateTime.now + 1.hour が DateTime.now() + 1.hour と解釈されるのに対し、 DateTime.now +1.hour は DateTime.now(+1.hour) と解

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最近では珍しくもなくなった"Quorum"という言葉。Zookeeper, etcd, Serfといったクラスタ中でデータのレプリケーションを行ってくれるようなツールや、Cassandra, Riakといった分散データベース(NoSQL系)のようなツールにおいても、データの複製に一貫性を持たせる仕組みとしてよく聞かれます。 しかしながら、多くのスライドやWebの記事を読んでも、"Quorum"という語が意味するところは要するに「過半数ノードによる多数決」というような説明が多いように感じていました。 にも関わらず、"Quorum"と呼ばれ