2023/10/18 歴史的地名の「行政区画変遷」を大規模オープンデータ化 ～『日本歴史地名大系』を平凡社地図出版との協働により機械可読データとして強化～ 情報・システム研究機構　データサイエンス共同利用基盤施設 人文学オープンデータ共同利用センター（以下ROIS-DS CODH、センター長 北本朝展）と株式会社平凡社地図出版（代表取締役 西田裕一）は、『日本歴史地名大系』の機械可読データ化に向けた協働を推進し、このたび歴史的地名の「行政区画変遷」に関する大規模オープンデータを公開しました。 『日本歴史地名大系』（用語解説1）とは、全国の歴史研究者の協力を得て地名研究・地域史研究の全成果を結集し、株式会社平凡社が25年（1979年～2004年）をかけて出版した50巻51冊の地名辞典です。この地名辞典の編集にかつて関わった人々の全面的な協力を得て、地名辞典の内容の更新や位置情報（緯度経度）の

コンピューターの頭脳ともいえるCPUが、どのようにプログラムを実行するのかについて、17歳のエンジニアであるレクシー・マティック氏が、独学で調べた知識を解説したウェブページを公開しています。 Putting the "You" in CPU https://cpu.land/ 「プログラムを実行するとどうなるか」について疑問を抱いていたマティック氏は、独学での学習を始めたものの、OSやCPUがどのように機能するかについて詳細かつ適切に解説するサイトは見つからなかったそうです。そこでマティック氏は、「自分自身で本当に良い学習リソースを作るべきだ」と考え、解説ページの作成に取り掛かりました。 PCでプログラムを実行する際、CPUは命令を順番に実行していく必要があります。しかし、CPUプロセッサは、一度に複数のプログラムを実行することができません。そこで、OSの中核を担うカーネルが、タイマーを使

ROUTE06 でエンジニアリングマネージャ兼ソフトウェアエンジニアとして働いております海老沢 (@satococoa) と申します。 先日発生した GitHub Actions と AWS の OpenID Connect 連携におけるトラブルに関して調査を行い、対応方針を策定した件を共有したいと思います。 [2023/07/10 追記] Thumbprint を明示的にユーザ側で設定しなくて良いように、AWS 側で対応されたそうです。 github.com 当面 Terraform のモジュール的には必須入力のままですが、任意の文字列で良いそうです。 （いずれ入力も不要になるのかと思います。） https://github.com/aws-actions/configure-aws-credentials/issues/357#issuecomment-1626357333 The A

（語り手）JILIS副理事長 高木 浩光 （聞き手）JILIS出版部 編集長 小泉 真由子 （撮影）宇壽山 貴久子 この1年、過去の海外文献を調査していたという高木浩光さん。これまでの研究の一部は情報法制レポート創刊号の特集として掲載されましたが、高木さんに言わせると「あれはまだ序の口」とのこと。本日お伺いする内容は近々高木さん自身が論文にされる予定とのことですが、まだ時間がかかりそうということで、急ぎ、インタビューとしてお話しいただくことになりました。なお、このインタビューは大変長くなっております。ぜひ、最後までお付き合いいただければと思いますが、時間のない方は、目次を参照していただき、気になるトピックからお読みください。 —— 今日は、高木さんがどうしても今すぐみなさんに伝えたいことがあるとのことで、インタビューでお話を聞くことになりました。 高木： はい、よろしくお願いします。話はと

コスト最適化のご相談をいただくなかで、NAT Gateway に不要なコストが掛かっているパターンが多くみられます。また、そのような環境に限って NAT Gateway にかなりのコストが掛かっていることを把握されていないケースも少なくありません。 今回は見落としがちな NAT Gateway で無駄なコストが発生してしまうケース、何処へのアクセスで NAT Gateway を浪費してるかを確認する方法、そしてどのような改善パターンがあるかをご紹介します。 （本記事中で記載の価格はいずれも、執筆時点の東京リージョン価格を参考にしています） 目次 よくある構成 NAT Gateway に関わる料金のおさらい NAT Gateway 料金 AWS データ転送料金 実際の料金例 何が NAT Gateway を使ってるのか見当がつかない データ通信の方向を確認 VPC フローログから NAT G

Google、ORMが生成するSQLが遅いときの調査を容易にする「sqlcommenter」をオープンソースで公開。Rails、Spring、Djangoなど主要なフレームワークに対応 SQL文を直接書かなくとも、自動的にSQL文を生成、実行してくれるORM（Object-Relational Mapper）は、プログラミングを容易にしてくれる技術としてRailsやHibernate、Springなどさまざまなフレームワークなどで活用されています。 一方で、ORMが生成するSQL文はときに複雑に、あるいは非効率なものとなり、データベース処理の遅さにつながることもあります。 このとき、SQL文の生成と実行を明示的にコードとして記述する必要がないというORMの特徴が、なぜデータベース処理が遅くなったのか、どのようなSQL文が生成され、そのどこに原因があるのか、といった調査を難しくている面があり

53サービス・アプリのクラウドやフレームワーク・言語など聞いてみた！ アーキテクチャ大調査2020 エンジニアHub恒例のアーキテクチャ大調査。2020年版では、フロントエンドとサーバサイドの開発環境や、クラウドサービスの利用を分けてアンケートを実施。53のアプリ・サービスから回答がありました。 ソフトウェア開発には日進月歩で新しいテクノロジーが続々と登場し、開発からデプロイ・運用までさまざまな環境でトレンドが次々と移り変わっていきます。そこには、技術選択した開発者の設計思想も見えてきます。 エンジニアHubでは、2017年と2019年にさまざまなIT企業にアンケートを実施し、各社のサービスやアプリを開発しているプログラミング言語やアーキテクチャ、またインフラを構成するミドルウェアやデータベースをまとめて掲載しました。 今回の2020年版ではテクノロジーの進化にあわせ、開発環境についてWe

4月に閉鎖した大手海賊版サイト「漫画村」については、その収益化方法として画面に表示される広告（ディスプレイ広告）のほかに、Coinhiveを利用した仮想通貨マイニング、そして閲覧者の見えない部分で広告を表示させる「広告詐欺（アドフラウド）」も含まれていました。 今回漫画村で行われていたのは「隠し広告」とよばれるの広告詐欺の手法の一つで、閲覧者が漫画村のサイトを表示すると、プログラムが「まとめサイト」などを装ったサイトを見えない形で開き、このサイトに掲載されている広告が表示されます。これによってサイト運営者は不正に広告収益を獲得することができます。 この広告詐欺行為のために用意されたサイトの運営者と漫画村の関係についてはおそらく直接的な関係はそれほどなく、その間を取り持っているのは広告代理店とみられます。彼らが中心となって漫画村における広告詐欺を主導し、漫画村の運営者とも金銭的なやりとりなど

本ページの情報は2018年6月時点のものです。 独立行政法人情報処理推進機構（以下「IPA」という。）では、近年の情報セキュリティの基盤技術として広く利用されている暗号について、暗号技術評価プロジェクトCRYPTRECの活動を通じ、SSL (Secure Sockets Layer) / TLS (Transport Layer Security) の適切な利用促進を目的として、SSL/TLSサーバの構築者や運営者が適切なセキュリティを考慮した暗号設定ができるようにするための「SSL/TLS暗号設定ガイドライン」を2015年5月に公開しました。その公開から約3年が経過し、SSL/TLSを取り巻く状況の変化やSSL/TLSをサポートするアプリケーションのバージョンアップ等を反映した内容とするための改訂が必要となってきました。 また、2016年度のCRYPTREC活動において、暗号を正しく使う

はじめに こんにちは、技術顧問の武内です。 本記事はサイボウズの次期インフラ開発チーム(Necoチーム)が遭遇した、CoreOS Container Linux (以降 CoreOS)においてリアルタイムプロセスを実行できないという問題について、次のようなことを記載したものです。 どういう問題なのか どのように根本原因を突き止めたのか 今後どのように対処するのか 問題要旨 本来なら成功するはずのroot権限におけるリアルタイムプロセスの実行が失敗する 根本原因 CoreOSではカーネルのリアルタイムグループスケジューリングという機能が有効になっている 同機能が有効な場合、cpu cgroup配下のプロセスはデフォルトではリアルタイムプロセスを実行できない systemd環境下で生成されたプロセスは何らかのcpu cgroupに所属させられる 対処方法 リアルタイムプロセスが属するcpu c

こんにちは。 新規事業開発室の @mosa_siru です。 ブロックチェーンAdvent Calendar 14日目の記事です。 社内では新テクノロジーに対しての研究を一部で進めており、スマートスピーカーやVR/ARなどに加え、ブロックチェーンを現在調査しています。この研究・調査の一貫でマイニングについて調べてみました。 この記事では、マイニングの基礎知識と概観について、かなり平易に説明します。基本から順に説明していくので、知ってる人はどんどん飛ばして読んでってください。 また、弊社が進めているブロックチェーン技術に関する研究内容は下記のブログで紹介しています。 blockchain.gunosy.io マイニングって？ マイニング報酬 送金手数料 difficultyの調整 ハッシュレートと価格の関係 価格 => ハッシュレート ハッシュレート => 価格 ハッシュアルゴリズムとマシン

追記：やあやあHacker Newsさん！おひさしぶり！メモリ管理を深く掘り下げた私の投稿を読む邪魔はしたくないし、私の投稿のあら探しをする人たちを邪魔するつもりもありません。技術的なマル秘テクニックに注目するのもいいでしょう（いや、わかりますよ。楽しいですしね！）。でも、私たちはひとりぼっちでソフトウェアを書いているわけではないのです。だから、ためになる技術的なコンテンツ（私の記事もそうでありたいものです）を捜すだけじゃなくて、政治的な話題にも目を向けることを強くおすすめします。ソフトウェア開発者である私たちは、今後数十年にわたって社会を変える最前線に立つ特権を与えられています。私たちは、自分たちの仕事を社会全体に役立てられるようにするための情報や知識を必要としています。 そういう意味でみなさんには、 Hacker Newsが「政治的」なコンテンツを検閲すると言い出したこと に反対しても

はじめに メモリ使用率が上昇傾向のインスタンスについて調査をしましたので調査内容と対応内容についてご紹介します。 初動調査 freeコマンドで確認 $ free -m total used free shared buffers cached Mem: 7986 7657 329 33 99 312 -/+ buffers/cache: 7246 740 Swap: 0 0 0 メモリ使用量は7246MB topコマンドで確認　topの後にshift + m top - 12:40:32 up 36 days, 12:26, 1 user, load average: 0.00, 0.01, 0.05 Tasks: 96 total, 1 running, 95 sleeping, 0 stopped, 0 zombie Cpu(s): 0.0%us, 0.0%sy, 0.0%ni,100

正常にレプリケーションが開始されているかは「SHOW SLAVE STATUS\G」の以下の値がYESになっているか確認します。 Slave_IO_Running Slave_SQL_Running mysql> SHOW SLAVE STATUS\G : : Slave_IO_Running: Yes Slave_SQL_Running: Yes : : 以上でレプリケーションの設定は完了です。 仮データの準備 マスターでデータベースを作成します。ここではreplというデータベースを作成しています。 mysql> create database repl; Query OK, 1 row affected (0.00 sec) mysql> use repl; Database changed テーブルを作成します。 mysql> create table repl_test (id s

パフォーマンスなどの調査をする時に利用する便利コマンドメモ。 これないぞ、あれないぞなどあると思いますがとりあえず本などを参考にまとめたものをピックアップしています。 参考 [24時間365日] サーバ/インフラを支える技術 ‾スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ) 絵で見てわかるシステムパフォーマンスの仕組み CPU使用率やメモリなど全体の概要把握 top デフォルトでは3秒ごとにOSで利用しているプロセスの数や状態、またOS全体のシステムリソース状況が分かります。 パフォーマンスが悪い場合にOS全体としてどのリソースの利用が多いのか(CPU負荷なのかメモリ利用率が高いのか)などの判断に有用だと思われます。 top - 22:36:56 up 28 min, 2 users, load average: 0.00, 0.02, 0.

昨今、全国津々浦々の会社で“勉強会”が開催されており、みなさんも何らかの“勉強会”に参加されたことがあるかもしれません。 さくらインターネットでは、定期・不定期にさまざまな社内勉強会を実施しており、技術職に限らず幅広い分野から、多くの方々が自発的に参加されています。また最近では、社内に対して動画のストリーム配信も行われています。 今回は、さくらインターネット社内で開催された勉強会「ご注文はログ調査ですか？」について紹介します。 勉強会「ご注文はログ調査ですか？」の様子 社内勉強会のはじめかた まず、今回の勉強会についてご紹介する前に、社内勉強会の開催において留意しておくべき事項があります。以下の4つのポイントを押さえておかないと、ただ社内勉強会を開催しただけのアピールにしかなりません。 対象者は誰なのか どういった立場・部門の人に参加して欲しいのかを明確にし、それに合わせた内容で実施します

はじめに こんにちは植木和樹＠上越妙高オフィスです。 利用しているEC2を踏み台にした外部への攻撃が行われていると、攻撃先のサーバー管理者からAWS宛に不正利用報告（Abuse）が送られる場合があります。AWSでは報告を受けて、そのサーバー（IPアドレス）の利用者宛に警告メール（Abuse Report）で通知します。 今回、とあるAbuse Reportが届いた際の攻撃手段の調査をメモしたので、主に有用だったlsofとstraceコマンドの使い方についてまとめました。 EC2マネージメントコンソールで状態を確認する まず確認するのはマネージメントコンソールです。AWSから通知のあったIPアドレス（Elastic IP）から、EC2インスタンスを特定します。 次に各種CloudWatchのメトリクスを確認します。外部への攻撃を行われるとNetwork Outが極端に高くなる傾向があります。