データ活用基盤を構築する際にどのソフトを利用するのか。OSS（オープンソースソフトウエア）やクラウドの普及により、選択肢は増えている。選択時に知っておきたいポイントをまとめた。 「データ活用基盤に関わるエンジニアには、目利きが求められている」。NTTデータの村山弘城 ビジネスソリューション事業本部 AI＆IoTビジネス部ソリューションセンタ課長はこう強調する。データ分析基盤の構築には、クラウドサービスやOSSを採用して構築するのが当たり前になっている。 一方で業務システムのトランザクションデータの処理のみを想定した従来のDWH（データウエアハウス）では、DWHに最適化したアプライアンスを利用したり、RDBMSを用いたりするのが一般的だった。米テラデータ（Teradata）や米オラクル（Oracle）などの専業ベンダーは、ハードウエアの力を活用して大容量のデータを検索・分析するアプライアンス

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

MozillaがWebページの構成要素を識別し、意味を抽出するJavaScriptフレームワーク「Fathom」を開発している。MozillaでFathom開発を進めるErik Rose氏がブログで明らかにした。現在GitHubでそのソースコードが公開されている。 すでにページ内の要素をブラウザが理解する手がかりとしてマイクロフォーマットやセマンティックタグ、RDF、link/relヘッダなどが使われているが、これらは普及に至らなかったとし、その反省からFathomの開発に至ったようだ。実際、これら機能を活用するSafariとFirefoxのリーダーモードの土台であるReadabilityは先に閉鎖されている。 Fathomはセマンティックな抽出を作成するための「ミニ言語」で、DOMのノードを測定して設定した条件を基に抽出する。これにより、Webページにある「前へ戻る」「次に進む」などのコ

ネットワークファイルシステム「Gluster」の開発チームは2月27日、最新のメジャーリリースとなる「Gluster 3.10.0」をリリースした。メモリやポートの使用量を削減できるマルチプレキシングの導入や、細かい機能修正が多数行われている。 Glusterは拡張性の高いネットワークファイルシステムで、汎用的なハードウェアを利用して大規模な分散ストレージソリューションを構築できる。メディアストリーミング、データ分析などデータ志向のタスクに適しているとしている。Red Hatの支援を受けて開発が進められており、ライセンスはGPLv3。 Gluster 3.10は主要な変更を含むメジャーリリース版。コンテナ環境におけるサポートを強化し、性能と使い勝手が関連した機能改善も加わっている。 新機能として、ポートとメモリの利用を削減するマルチプレキシングが導入された。ただしメモリが制限要因となってい

Tweet GNUの開発に関わるようになったきっかけ 私がGNUの開発に関わるようになったきっかけは、2010年頃当時のGNU grepの最新版2.5.4が日本語環境で極端に遅かったことにあります。 コラムをご覧になられている皆さまも手元に開発ツールがインストールされたUnix/Linuxを用意できるようでしたら、実際にgrep 2.5.4をGNUのサイトからダウンロード、インストールして、動かしてみてください。以下の検索を行うと、結果が返されるまでにかなり時間かかると思います。 $ gzip -cd grep-2.5.4.tar.gz | tar xf - $ cd grep-2.5.4 $ ./configure $ make $ yes $(printf %040d 0) | head -10000 >inp $ time -p env LC_ALL=ja_JP.utf8 grep

The Linux Test Projectは1月16日、Linux向けテストスイートの最新版を「JANUARY 2017」としてリリースした。 The Linux Test Project（LTP）は、オープンソースコミュニティが利用できるテストスイートを開発する目的で2001年にIBM、OSDL、Bullが開始した共同プロジェクト。富士通、Cisco、Red Hat、SUSE、Oracleなどがメンテナンスを行っており、テストを利用してLinuxの信頼性、堅牢性、安定性を調べることができる。 プロジェクトは1月、5月、9月と年3回のテストスイートをリリースしており、JANUARY 2017は2016年9月に公開されたテストスイートに続くものとなる。28人の開発者より211件のパッチが提出された。 新しいテストケースとして、flistxattr()、listxattr()、llistxa

Apache Software Foundation（ASF）は1月10日（米国時間）、分散処理ツール「Apache Beam」がトップレベルプロジェクト（TLP）となったことを発表した。 Apache Beamは、バッチとストリーミング処理の両方を任意の実行エンジンで動かすことができるユニファイドプログラミングモデルを提供するソフトウェア。Apache SparkやApex、Apache Flink、Google Cloud Dataflowなどの実行環境を利用でき、PythonとJavaでデータ処理パイプラインを定義できるSDKを含む。拡張性にも優れるとしている。 当初はGoogleでMapReduceシステムの流れを汲むデータ処理の取り組みの一部として開発されたもので、2016年1月にApache Software Foundation（ASF）に寄贈された。 GoogleはApac

On-premises or cloud Customizable and scalable No data leaks to third parties

オープンソースのファイル同期・共有ソフトウェアを開発する独Nextcloudは12月13日、最新のメジャーリリース版となる「Nextcloud 11」を公開した。セキュリティにフォーカスした機能強化が加わり、ユーザーがデータを管理できる最も安全性の高いソリューションになったという。 Nextcloudは、オープンソースのオンラインストレージソフトウェアを開発しているownCloudプロジェクトからフォークされたプロジェクト。ownCloudのコアメンバーによって2016年6月に立ち上げられた。Nextcloudは8月にバージョン10が公開されている。 Nextcloud 11はそれに続くものとなり、コアだけで1200近くのプルリクエストをマージするなど、コミュニティが活性化しており開発が活発に進んでいるとしている。 本リリースではセキュリティ関連の機能開発が中心となっており、Webブラウザ

Google、脆弱性検出のためのファジング（Fuzzing）を機械的に実行する「OSS-Fuzz」、ベータ公開 ファジング（Fuzzing）とは、「検査対象のソフトウェアに『ファズ（英名：fuzz）』と呼ばれる問題を引き起こしそうなデータを大量に送り込み、その応答や挙動を監視することで脆弱性を検出する検査手法」であると、IPA（独立行政法人 情報処理推進機構）が発行する「ファジング活用の手引き」で説明されています。 Googleは、このファジングを機械的に実行するためのソフトウェア「OSS-Fuzz」をベータ公開したことを発表しました。 OSS-Fuzzの開発はGoogleと、OpenSSLやOpenSSH、NTPdなどインターネットの基盤に欠かせないソフトウェア開発を支援する「Core Infrastructure Initiative」が共同で行っています。 OSS-Fuzzはすでにフ

Javaのファイルオープン、Excelマクロを書くときのお決まりの処理や、 備忘録的なソースを保存するには、PasteBinやGistが便利だと思います。 しかし、仕事で使用するソースだとうっかり重要な情報を公開してしまいそうで、 何かよいオープンソースのWebアプリはないか探してました。 scriptplazza - pastebin clone http://www.scriptplazza.com/tag/pastebin-clone/ PHP PastebinやPaste Scriptというのが良さそうです。 scriptcopy - Snipplr - Code Snippets - Scripts http://www.scriptcopy.com/snipply-code-snippets-clone-script/ 探してみると色々ありますね。 GistクローンのHesoを

United States Computer Emergency Readiness Team (US-CERT)は11月10日(米国時間)、「OpenSSL Releases Security Update｜US-CERT」において、OpenSSLに複数の脆弱性が存在すると伝えた。それらの1つはDoS攻撃を引き起こすことが可能なものとされており注意が必要。すでに脆弱性が修正された次のバージョンが公開されている。 OpenSSL 1.1.0c United States Computer Emergency Readiness Teamではユーザーや管理者に対して「OpenSSL Security Advisory ［10 Nov 2016］」の内容をチェックするとともに、必要に応じてアップデートを実施することを推奨している。今回修正される脆弱性はOpenSSL 1.1.0系のみが影響を受

まもなく任期が終わろうとする米オバマ政権。「クラウドファースト政策」などIT業界に大きな影響を与えた同政権が、最後の年にも強烈なIT政策を打ち出した。米連邦政府の諸機関が開発した業務システムをOSS（オープンソースソフトウエア）として公開する方針を明らかにしたのだ。 米政府CIO（最高情報責任者）のTony Scott氏が、業務ソフトをOSS化する方針「Federal Source Code Policy」を発表したのは2016年8月のこと。今後は連邦政府機関がカスタム開発した業務ソフトはOSSとして公開し、他の機関が再利用できるようにすることを掲げた。 連邦政府機関が業務システムを新たに開発する際は、まず他機関が公開したOSSをチェックし、使えるものは再利用する。他に存在しないソフトだけを新規に開発し、それもOSSとして公開する。ホワイトハウスは今後3年間に開発するソフトの20％をOSS

仕事を説明するときに「Googleで仕事をしているけどオープンソースなのでGoogleのプロダクトを作っているわけではないし、むしろアップルとかソニーの人と一緒に仕事している」というと、？？？という反応になることが多いので、こういう仕事をしているんだよということをちょっと説明してみます。...

SAN FRANCISCO—Microsoft bought Xamarin, the popular C#-and-.NET-on-iOS-and-Android, last month. At its Build developer conference today, the company announced the first big step for its new acquisition: Xamarin is now included in every Visual Studio version. This announcement means that every Visual Studio, from the free Community edition right up to the Enterprise edition, now has access to the X

UNIX向けのプロセスビューア「htop」開発チームは2月10日、最新版「htop 2.0.0」を公開した。クロスプラットフォーム対応を実現した初のバージョンとなり、Linuxに加えて、FreeBSDやOpenBSD、Mac OS Xをサポートする。 htopはCで実装されたインタラクティブなプロセスマネージャおよびシステムモニター。topコマンドをベースとしており、高速な起動、全てのプロセスとコマンドラインを閲覧できるリスト機能、マウス操作のサポートなどを加えた。プロセス終了や優先度の変更にあたってプロセスIDの入力が不要である点も異なると説明している。 htopはこれまでLinuxのみをサポートしていたが、プラットフォーム抽出レイヤを導入し、クロスプラットフォームを実現した。プロセスデータ収集のためのロジックは/procファイルシステムをベースとし、UIは移植性のあるライブラリNCur