この解説記事では、総務省の公開する PDF ファイルを CSV ファイルに変換し、データとして活用しやすい形に変えるまでの過程を紹介します。 はじめに：なぜ PDF ではいけないのか このサイトでは、総務省が「マイナンバーカード交付状況について」として公開している PDF ファイルを CSV ファイルに変換して提供しています。 PDF から CSV に自動で変換できるのならば、PDF のままでもよいのではないか？と思う方もいらっしゃるかもしれません。 しかし、そのためには、本来必要がない多くの処理が必要となっているのです。 当該 PDF で公開されているのは主に「表形式」のファイルで、団体区分別の交付率、区分別交付率上位 10 位、都道府県の交付率一覧、男女・年齢別の集計、市区町村の交付率一覧の表が公開されています。 データサンプル これらをグラフではなく表形式で公開するということは、利用

プロジェクトでは、飲食店情報をオープンデータとして公開する際の標準的なフォーマット「飲食店情報オープンデータ項目定義書」を公開。飲食店の名称、所在地、メニューの他、テイクアウトやデリバリーに対応しているかなどの項目をGoogleスプレッドシートに集約する。 コード・フォー・ジャパンによると、コロナ禍の影響で飲食店が休業を余儀なくされた状況を受け、各地で飲食店情報を収集して公開する多くのプロジェクトが立ち上がったという。この取り組みを一過性で終わらせず、各地で収集したデータをアプリやサービスで使えるようにするため、標準フォーマットを検討するプロジェクトを有志で立ち上げた。 プロジェクトの発足にあたり、飲食店情報やテイクアウト・デリバリー情報の検索サービスを運営する企業やテクノロジー活用を積極的に行う民間団体と協力。お互いが持つデータやサービスの内容を共有しながら準備を進めた。協力先は、うちた

Code for Japan Summit の人気企画に、「BADオープンデータ供養寺」というコンテンツがあります。 BADオープンデータ供養寺 【セッション概要】 世の中のBADオープンデータが二度とこの世を彷徨わないように、「供養（データクレンジング）」する方法を考える場です。 データの公開に携わる行政職員の方や、データを利活用するエンジニア・データサイエンティスト等の皆さまと、より使いやすく品質の高いオープンデータの公開と加工の仕組みを考えていくために建立されました。 前半はパネリストが、日頃の業務の中で、どのようなBADオープンデータにいかに対処してきたか、実例やクレンジング技術を紹介します。 後半では事前投稿されたBADオープンデータを紹介しながら、オーディエンスの皆さまと一緒に成仏させる方法を考えて行きたいと思います。 ちょうど最近、総務省が公開しているマイナンバーカードの交付

仕事でNGSIによるInformation modelを扱う機械になったのでまとめてみた。 NGSIとは ネットワークAPIの共通規格のこと 国内では主にNECがメインとなって進めていた。 OMA(Open Mobile Alliance)という団体で、仕様策定などを行なっている。 各国、各社の取り組みについて 国内 官民データ活用共通プラットフォーム協議会(製造業やSIer、クラウドベンダーなどの集まり)がNGSIを用いたシステムの実証実験を2018年ごろから実施している。 ##　海外 欧州の官民プロジェクトにて NGSIをベースとしたFIWAREというスマートシティプラットーフォームで活用できるOSS群の活用や、中のデータの持ち方などを定義している。 NGSI v2とは 改良され単純化された OMA-NGSIのバインディング 単純なことが容易にできる 複雑なことができる アジャイル、実

新型コロナウイルス感染症の拡大を受け、政府や自治体によるオープンデータの公開や活用が活発化している。 内閣官房と総務省、経済産業省は3月10日、民間が提供している新型コロナ対策支援サービスなどのデータを標準化して公開する「#民間支援情報ナビ」プロジェクトを、エンジニアの民間団体Code for Japanと共同で始めた。 自宅学習用のオンライン教材無償提供など、民間の支援サービスをGoogleスプレッドシートに集約。誰でもアクセス・利用できる。このデータの活用例として、収録データを検索できるサイト「VS COVID-19 #民間支援情報ナビ」をCode for Japanが公開した。 政府は、公開したデータを使ったさまざまなアプリ開発を奨励していく他、新型ウイルス対応に関する政府の事業者支援情報についても、検索しやすい情報サイトを作る予定だ。 #民間支援情報ナビは、標準のデータフォーマット

2019年12月10日　国土地理院北海道地区産学官懇談会で講演した資料です。

10月の消費増税に伴い、店舗でキャッシュレス決済すると最大5％がポイント還元される国の制度「キャッシュレス・消費者還元事業」が始まるが、その公式Webサイトが話題になっている。対象店舗一覧を閲覧しようとすると、18万店舗を網羅した、3000ページをゆうに超える、長大すぎるPDFデータがダウンロードされてしまうのだ。このPDFから対象店舗を探すのは、とても大変だ。 これについて「何かできないか」と考えたFinTechベンチャー企業・Zaimは9月5日、このPDFを解析し、店名や地域から対象店舗をテキスト検索できるサイト「zaim キャッシュレス還元マップ」を公開した。問題を知った後すぐに開発を始め、わずか1日でリリースしたという。 国の公式サイトは「3608ページのPDF」、長大すぎると話題に キャッシュレス・消費者還元事業は、10月1日の消費増税に合わせて始まる、キャッシュレス推進のための

横浜市の南端でオープンデータ推進とかICT活用とかやってます！ かなざわ育なび.net http://kirakana.city.yokohama.lg.jp 金澤写真アルバム http:...

インフォ・ラウンジ合同会社と日本マイクロソフトは2015年2月5日、政府・自治体向けのオープンデータ活用支援事業で協働すると発表した。Microsoft Azure日本データセンターで稼働するインフォ・ラウンジのオープンデータ活用支援サービス「Datashelf」を、共同で拡販する。ソフトバンク・テクノロジーが同事業の販売パートナーとなり、ホームページ構築事業を合わせてDatashelfを政府・自治体向けに提供していく。 自治体向けのオープンデータ活用支援事業の第1弾として、2社は、大阪市天王寺区が2月14日から配信する子育て支援スマートフォンアプリ「ぎゅっと！」（写真）に、Datashelfを提供した。 「ぎゅっと！」は、天王寺区が発信する子育て関連情報を、Datashelfでオープンデータのファイル形式に変換したうえでアプリ上に集約する。同アプリで、乳幼児健診や予防接種の日程、公立の幼

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 横浜市は7月14日、市が保有するデータを一覧できる「よこはまオープンデータカタログ（試行版）」を開設した。3月に策定した「横浜市オープンデータの推進に関する指針」に基づき、統計情報のオープンデータ化を進めている。ニーズが高いという人口統計データは、利用条件を明示し、機械判読に適した二次利用が容易なCSVファイル形式で公開している。 公開される人口統計データは、推計人口と実際の登録者数で構成される。推計人口は2010年の国勢調査をベースに、横浜市と行政区の男女別人口や世帯数、年齢や男女別などに出生や死亡、転出入などを加味している。実際の登録者数は、住民基本台 帳に記載されているものであり、町別の男女別人口、世帯数に加えて、町別の年齢、男女

日本でも急速に普及しているオープンデータ。地方自治体の中でも先進的な動きを見せる金沢市のICT推進室責任者にこれまでの取り組みなどを聞いた。 政府や自治体などが公開する行政データをはじめとした、いわゆる「オープンデータ」の利活用によって新たな価値を創出しようとする動きが盛り上がりを見せている。 2014年2月22日には、世界100カ所以上、国内31カ所で「インターナショナルオープンデータデイ」が同時開催された。同イベントは、世界中の公共機関などが取り組むオープンデータ政策をサポートし、公共データ利用を促進するためのもの。日本では、昨年と比べて開催都市が約4倍に増えたこともオープンデータに対する期待値の高さがうかがえる。 そうした中で、いち早くオープンデータの利活用に取り組んできた自治体の1つが、石川県金沢市だ。金沢市では現在、観光や文化・芸術、公園、防災施設など2000件を超える施設情報を

■行政がデータを「開放」する意味 「オープンデータ」を推進する国際機関「Open Knowledge Foundation」（本部：イギリス）がまとめた「Open Data Handbook」では、オープンデータを以下のように定義している。 「オープンデータとは、自由に使えて再利用もでき、かつ誰でも再配布できるようなデータのことだ。従うべき決まりは、せいぜい『作者のクレジットを残す』あるいは『同じ条件で配布する』程度である」 行政はさまざまなデータを保有している。公開されているのはほんの一部だ。予算データだけでなく、経済・人口などの統計など国や地域の実情を伝えるデータは、PDFなどに変換されることが多く、その後に、さまざまな形で二次的に活用することが難しい。こうした公共性の高いデータを、目的に合わせて組み合わせて使うことで、住民に対して行政事業の成果を可視化するとともに、地域経済の活性化や

公的機関が提供する統計情報などの行政データや、民間事業者や個人が提供する二次利用可能な公共性の高いデータを指す『オープンデータ』。全国の自治体に先駆けて取り組みをスタートしている横浜市に、技術的スキルや経験を有するエンジニアに期待することから、オープンデータの本質と取り組みの狙いを伺った。 オープンデータとは何か？ 最近良く耳にする「オープンデータ」という言葉。具体的には、公的機関が提供する統計情報などの行政データや、民間事業者や個人が提供する二次利用可能な公共性の高いデータを指す。 2012年に政府が策定した「電子行政オープンデータ戦略」をきっかけに、オープンデータを流通させるための基盤整備を目的にした「オープンデータ流通推進コンソーシアム」や、経済活性化を目的にした「DATA METI構想」が生まれるなど、大きな盛り上がりを見せている。 （※総務省HP［オープンデータ戦略の推進］） こ

世界規模のオープンデータイベント、国内の参加都市は昨年の約4倍 2014.02.24ライター 鈴木 恭子、市嶋 洋平 オープンデータ 公共 行政機関や自治体が保有する公開情報「オープンデータ」を活用し、新たなサービスやアイデアを披露するイベント「インターナショナル・オープンデータ・デイ」が2月22日、世界約110都市で同日開催された。日本国内でもオープンデータ活用熱の高まりを反映するように、昨年の約4倍となる33都市が参加した。 地方自治体がオープンデータの利活用に力を入れる理由はどこにあるのだろうか。横浜市は昨年に続き2回目の参加となる。同市政策局政策部政策課担当係長の関口昌幸氏は、「誰にどんな情報が必要なのかを理解しているのは、“現場”を持っている地方自治体。横浜市はNPO法人も多く、産官学民の交流も活発だ。オープンデータの利活用の下地が整っている」と語る。今回、横浜市でのイベント運営

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 先端IT活用推進コンソーシアム（AITC）は2月17日、気象庁から提供されている気象警報などの情報を利用できるAPIを開発、公開した。 公開したAPIは、HTTPを使用してプログラムからも最新のデータなどを呼び出せる「REST」、自由に抽出、集計できるとともに過去のデータを検索できる、クエリ言語の「SPARQL」、通信規格の1つでありHTTPより軽量とされている「WebSockets」の3種類となっている。 公開APIで利用できるデータは、2012年12月から気象庁が試験的にネット経由で配信している「気象庁防災情報XMLフォーマット形式電文」（防災情報）の内容。公開APIを通じて過去のデータを含め、気象庁が発表した防災情報を取得できる。