『変えたい』気持ちを形にする：総長賞と講習会“MBC” 2013年12月20日に石田唯氏（東京大学法学部研究室図書室）が作成した「図書館ひっこしらくらくキット」が業務改革総長賞を受賞した。 業務改革総長賞表彰式は，東京大学業務改革推進室により「業務改革に対する適切な評価とインセンティブを与えることによる，モチベーション向上と業務のブラッシュアップ」を目的に平成18年より実施されている。毎年，東京大学内の各学部・研究所等より推薦された業務改善案の中から「総長賞」「理事長賞」「特別賞」が選ばれ，受賞者には研修出張・自己研鑚費用の補助などの副賞が与えられる。 今回総長賞を受賞した「図書館ひっこしらくらくキット」は，石田氏が所属する法学部研究室図書室の移転作業を楽にするために作成されたアプリケーション（Microsoft ExcelのVBAで作成）で，耐震改修工事にともなう二度の移転で実際に用いら

シェルスクリプトでWeb API的なものを使うメモ。 たぶんWeb API的なものをつかってデータをがーっともらってくる場合、シェルスクリプトが一番手軽です。 ほんの数行でかけます*1。 たとえば、CiNii API(RDF)を通じてNCIDを使って資料タイトルを取り出す。 １件だけなら１行*2。 curl "http://ci.nii.ac.jp/ncid/AA12227144.rdf" | xpath '//rdf:RDF/rdf:Description/dc:title[1]/text()' curlでデータ取得してxpathでxml解析。 看護・保健科学研究いいですね。 100件とか1000件とかある場合。while文で。 AA12227144 AA11354292 AN00023058 AN10507651NCIDを別ファイル(ncid.txt)で用意しておいて、 while r

NIIのWeb担当者研修に受講生として参加した際に、お世話になった山本哲也さんの著作が刊行されました。 カーリルで開く Amazonだと品切れ中ですが、hontoでは購入可能です。 山本さんは自分のグループのファシリテータではありませんでしたが、お願いして提案サービスのマスコットキャラクターをデザインしていただきました。 アカデみけ 掲載の許可とかいただいてませんが…。 さて、本書の内容です。 本当に始めてプログラミングを行う人を対象にしています。インストール、Pythonを電卓として使う方法からはじまります。プログラミングの基本構文や概念の説明後、実際の業務でもあり得るかもしれない状況として以下のような事例とそれを解決するためのプログラミングの考え方が示されています。 テキストデータの貸出履歴を集計（テキストファイルの扱いや基本的な構文の確認） テキストデータから新着図書案内のWebペー

いままでPythonの標準モジュールのurllib2を使っていましたが、Requestsモジュールがとても便利だったのでメモ。 公式サイト Requests: 人間のためのHTTP — requests-docs-ja 1.0.4 documentation インストール pipやeasy_installでインストールできます。自分はMacPortsからインストールしました。 sudo port install py27-requests @1.2.3 CiNii Articlesのデータ取得 import requests baseurl="http://ci.nii.ac.jp/opensearch/search?" query={"count":"200","format":"rss","journal":"図書館雑誌","api_key":********} #図書館雑誌掲載の論文

1行プログラミング awk でデータの単純なフォーマット変換することを目的としています。 まず、次のようなデータ（/tmp/a とします）に対して、処理を行うことを考えます。 1 2 3 4 -5 6 7 8 0 9 10 113 入力行の総数を印字する 入力行の総数を出力します（他の方法 cat /tmp/a | wc）。 cat /tmp/a | awk 'END {print NR }' 実行結果 3 N行目の入力行を印字する 3行目の入力行を出力します（他の方法 cat /tmp/a | head -3 | tail -1）。 cat /tmp/a | awk 'NR==3' 実行結果 9 10 113 N個より多い欄を持つすべての入力行を印字する 1 行に3 個以上のデータが記述されている行をすべて出力する。 % cat /tmp/a | awk 'NF > 3 {print}'

sedは与えられた文字列を，ルールに従って変換するコマンドだ。例えば，文字列の置換，行の削除といった処理が行える。 変換に利用できるルールには下表「sedの条件式」のような条件式が利用できる。例えば，文字列を挿入したい場合は「a」や「i」の後に挿入する文字列を指定する。文字列を置換したい場合は「s/置換ルール/置換文字/」と実行する。 置換ルールの最初に数値を指定すると，指定した行のみが処理される。例えば，「3d」と指定すると，3行目が削除される。 sedコマンドで実際に変換を行う場合は，変換処理内容は「-e」オプションを指定した後に記述する。また，sedコマンドに指定したファイルの内容を処理する。例えば，source.txt内のLinuxをリナックスに置換したい場合は，次のように実行する。 $ sed -e "s/Linux/リナックス/g" source.txt 結果は標準出力（ディス

2013/08/09 さくらVPSのお試し期間終了にともない、構築したサイトも閉鎖しました。 メールマガジン人文情報学月報 [まぐまぐ！]のイベントレポートで使われていたり、id:haseharuが使いやすいと言っていて、気になっていたOmekaとNeatlineを使ってみました。 今回の直接的な切っ掛けはOmekaに対するつぶやきに対してid:kitoneから"やろうぜ #しぶ旅"といったコメントを貰ったことで、先週末友人9人でいったしぶ旅（福岡→長崎旅行）の写真をマッピングしてみることにしました。アイディアや写真ありがとうございます。 作成したWebサイト Neatline http://www32039ue.sakura.ne.jp/omeka/neatline/show/shibutabi Omeka http://www32039ue.sakura.ne.jp/omeka/ 公式

2011年度と2012年度のカレントアウェアネス-Rのタイトルを形態素解析してみました。目的はD3.jsのワードクラウドを作るためです。プレゼン用に使いたかったので。 形態素解析に使用したのはPythonのigo-pythonというライブラリです。本来はJavaのプロジェクトですが、PythonだけでなくPHPやRubyにも移植されているみたいです。 Pythonで形態素解析 - よしなしごとと同じようにMeCabを使っても良かったのですが、形態素解析を使ったWebアプリを作るにはこちらの方が簡単そうということで使ってみました。解析結果などはほぼMeCab互換ということなので、どちらを利用してもよいと思います。ただ、辞書のコンパイルの手間が必要ない分MeCabの方が手軽に導入できます。 参考にしたのは、公式や以下のサイトなど igo-python を使ってみた / 桃缶食べたい。 D3.j

お、これはいいかも。 ハッカーのための無料電子ブックを集めたサイトがHacker Shelfだ。 新しい技術を学びたいときにまずは覗いてみると良い資料が見つかるのかもしれない。 また基本的にユーザーの投稿によって成り立っているので、自分でそうした電子ブックをみつけたらサイトに貢献してもいいだろう。 技術職の人は覚えておいてもいいかもですな。

ChatGPTは「努力の必要性をタイムリープさせるツール」。#100日チャレンジで人生が変わった大塚あみさんのAI活用術【使える!AIワークハック】

2013年2月12日　プログラム公開． 1月は１つもブログ記事を書きませんでしたが，本年もどうぞよろしくお願いします． 1月は温泉旅行に行ったり，体調崩してたり，図書館総合展フォーラム in 熊本に行ったりしていました．（熊本でお世話になって皆さまありがとうございました．） 2月は試験と修士論文の構想発表があるので，いろいろとやらないといけないのですが，あまりに統計が分からないので現実逃避にプログラミングの勉強をはじめてしまいました． 方法 さて，タイトルの図書館系ブログのクラスタリングです．手順としては以下の方法で行いました．方法は，後述しますが「集合知プログラミング」によります． 各ブログのRSSフィードリストを作成する． 各フィードからブログ記事の本文を抽出する． ブログ本文を抽出して，形態素解析を行い単語ごとに分割する． ブログごとの単語出現回数をカウントする． どのブログにも高頻

おっと、これは便利かも。 REGEXPERを使えば、JavaScriptの正規表現をわかりやすく表現してくれる。 一見、難解な正規表現だが、これを通しても見ると「なるほど、この文字とこの文字にはされまれていて、この間は何の文字でも良いのだな」といったことがわかるようになる。 他の人のコードを読んでいて「？」となったときに試してみてもいいかもですな。

あけおめ！今年は巳年。へび。へびと言えばPython。そう今年は全てのwebエンジニアがPythonを勉強する最高の環境が整った年なのです。 既にPerlやRubyを習得してるけど、それに加えてPython必要？必要です！必要だと思います。もはやPythonはwebエンジニアにとって必修言語となりつつあると思います。Linuxの多くの箇所でシステム言語として用いられ、可読性の高さから多くの技術系書籍のサンプルコードとして用いられ、科学技術系分野におけるエコシステムの充実っぷりはますます磨きがかかっており、様々なライブラリがどんどん出てくる現状を「Pythonわからないから自分には関係無い」と遠巻きに眺めるのはもったいないです。 習得するのにどのくらい時間かかるの？あなたが既に他の言語に慣れ親しんでいるなら、特にRubyなどに精通していれば「1週間」で基本的な読み書きは出来るようになるでしょ

Pythonで形態素解析 - よしなしごと Pythonでtf-idf その一 - よしなしごと の続きです．といってもあとはコードを書くだけだったので，書きました．ひたすらfor文でループを回しているので，とても遅そうですが…．まあ今回は動けばいいやということで． 実行速度が気になるとコメント貰ったので，関数の実行時間をはかるスクリプトも書いてみました． 自分のブログエントリ10個，合計文字数8000字程度で，0.04秒で解析できました．そのうち，もっと大きなデータを使って計測してみようと思います． しかし，もっと適切な課題を見つけてコード書かないとなぁと痛感しました． 以下，最終的なコードです． import MeCab import time import math def extractNouns(text):#文字列から名詞を取り出して配列で返す関数 tagger = MeCab

レッスン一覧 料金プラン ログイン 2025/03/04 NEW 【連続リリース第2弾】1日1枚カードを模写コーディングするクラスを256timesで限定開講します！ 2025/03/03 NEW 『Vue.js 3でTodo管理アプリを作ろう 基本機能編』をリリースしました 2025/02/27 NEW 【週刊ドットインストール】 256timesにて模写コーディングクラスを限定リリース、Vue.jsのレッスンを制作中 2024/05/07 NEW あなただけの学習ロードマップを作成します 【随時受付中】

Pythonで形態素解析 - よしなしごとの続きです． 日本語出力ではまってしまった*1ので，今回はtfの算出までです．idfは週末に終わらせる予定…． tf-idfとは 索引語の重みづけの一種です． tfは"Term Frequency"，idfは"Inverse Document Frequency"の省略で．それぞれ単語出現頻度、逆文書頻度となります． tfは単語出現頻度そのままです．文書の中に特定の単語がどの程度出現するかというものです．頻度が高いほど，その単語について詳しい情報が書かれていると判断できます． idfはある単語が全文書のうちどのくらい割合の文書で利用されているのかを表すものです．使用されている割合が小さい単語の方が多くの文書で利用されている単語よりも，その文書の特長を詳しく表していると考えられるます．単純化した計算式としては全文書数を特定の単語が出現する文書数で割っ

授業で，日本語文書を単語に切り分け索引語リストを作りtf-idfを求めよという課題が出たので，Pythonで取り組んでみることにしました．基本的には初心者なので，誤りなどあればご指摘いただければ幸いです． まずは日本語文書を形態素解析するために，オープンソースの形態素解析エンジンMeCabをインストールします．形態素解析とは文を形態素という言語で意味を持つ最小単位に分割し，それぞれの品詞を判別する技術です．自然言語処理の基礎技術でかな漢字変換や機械翻訳などに使われたりします．形態素解析 - Wikipedia．国立国会図書館の前館長である長尾真先生は自然言語処理における第一人者で，形態素解析エンジンには長尾先生の研究室で作成され現在も開発が続けられているJumanというシステムもあります．*1 Try JUMAN MeCabのインストール 公式のページからPythonバインディングも提供さ

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog Yahoo!デベロッパーネットワークの中野(@Hiraku)です。先日、爆速JSONPを使うと、JSONPのWebAPIを簡単に使いこなせることを示しました。 とは言っても、JSONPに対応していないWebAPIも数多くあります。ニュースAPI、知恵袋API…。これらは現時点ではXMLしか対応しておらず、爆速JSONPではブログパーツ化できません。 …いや、「ブログパーツ化できませんじゃなくて、とっととJSONPに対応しろよ」とお叱りを受けるところなんですが、実はXMLなら何でもJSONPに変換することのできる「YQL」というサービスがあり、これを使うことでカバーする方法があるのです！ YQLの説明は後にして、まずはデモをご覧くだ