はてなブックマーク

まず、問題が起きるようになったプログラムの概要。 MySQLのデータベースを操作するとあるバッチ処理がありまして、その中でテーブルA（InnoDB）とテーブルB（MyISAM）を更新します。（実際はテーブルはもっと多いです） テーブルAの更新→テーブルBの更新は1セットであり、それぞれ行レベルの更新であり、それが1回のバッチ処理の実行で何回も実行されます。 この1セットが1トランザクションに相当します。（オートコミットはオフ） そしてバッチ処理の最後にテーブルAの全行を対象とした更新処理が行われます。 処理の流れは以下のとおり。 トランザクション開始 ↓ テーブルAの更新（行レベル） ↓ テーブルBの更新（行レベル） ↓ コミット ↓ （繰り返し） ↓ トランザクション開始 ↓ テーブルAの更新（行レベル） ↓ テーブルBの更新（行レベル） ↓ コミット ↓ 最後のトランザクション開始 ↓

Windows 10を使い始めてから画面の右側に表示されるアクションセンターについて、通知領域としてなんか良さそうだなぁと思っていたのですが、私が使ってるソフトだとほとんど対応してなくてもったいないなぁと思っていました。 その辺ストアアプリだと当たり前のように対応してるんでしょうけどね…デスクトップアプリしか使わないので… デスクトップアプリについてはオープンソースでもない限りそれぞれの開発者さんの対応を待つしかないとは思うんですが、自力で実装する際に具体的にどうやったらデスクトップアプリでアクションセンターに通知を表示できるのか知りたかったので試してみました。 個人的なメモです。 まず、Visual Studio 2015の新しいプロジェクトのテンプレートから”Visual C#”→”Windows”→”クラシックデスクトップ”→”Windowsフォームアプリケーション”でプロジェクトの

iOS 7 SDKにSpriteKitなるものが追加された。 これは2Dスプライトを簡単に扱えるようにするためのもので、アニメーションの機能や物理エンジンやパーティクルシステムなども含まれているみたい。 実際にひと通り使ってみないと使い勝手は分からないけど、簡単な2DゲームならSpriteKitで事足りるんではなかろうかと思う。 ということで、とりあえず今回はXcode 5にあらかじめ用意されている、SpriteKit Gameプロジェクトテンプレートを使ってプロジェクトを作成し、自動作成されるソースとアプリの動きを見てみる。 まず、SpriteKit Gameテンプレートを選択。 実際にやる前は、OpenGL Gameテンプレートを選んでからSpriteKitのフレームワークを追加するようなやり方かなと思っていたけど、テンプレート自体別になってるし、自動で作成されるプロジェクトはSpri

以前書いたCUDAの記事のOpenCL版。 こちらも、いちばん簡単なんてタイトル付けてるけど実は他のやり方をあまり調べてないというか、OpenCLはじめて数時間の初心者なので、もっといい方法があれば教えてください。 0. 準備 今回使ったのはXcode 4.6.2。 CUDAのときはCUDAドライバやtoolkitのインストールが必要だったけど、最近のMacはOpenCLに標準対応してるのでXcodeさえあればすぐに開発をはじめられるはず。 OpenCLは特にGPU限定のAPIってワケじゃないけど、今回はGPUの利用を前提とした説明となる。 1. Xcodeで新規プロジェクトを作成 OS X → Application → Command Line Tool を選択。 今回は言語をC++とした。 ちなみにCUDAのときはホストコードの言語をCにしたけど、CUDAカーネルはC++で書ける。

最近の投稿 問題: 積み木を10個積み上げるのにかかる時間は 2020/8/20 木曜日 Google の G Suit Team から “[Action Required] Remove internal links to the G Suite Domain Contact page for your organization” ていうメールが来た 2020/8/14 金曜日 NZXT H1 と ROG STRIX B550-I GAMING で組んでみた 2020/7/17 金曜日 花粉症対策2019 2019/3/16 土曜日 マルチディスプレイ時のDisplayPort問題を何とかしてみた 2019/1/12 土曜日 REALFORCEソフトウェアがインストールできない(解決済) 2018/12/6 木曜日 GeForce RTX 2080 Founders Edition を買

独自言語の実装を通してLLVMについて学ぶためのオフィシャルなチュートリアル、Kaleidoscope: Implementing a Language with LLVM、の8章全ての日本語訳をこれから掲載していく。 チュートリアルは全部で8章から成るが、章単位だとかなり長くなるので、節単位で掲載していく。 原文を読み解くために私が適当に書いた日本語のメモ書きが元になってるので、間違ってる部分も多々あるかもしれない。 また、分かりやすくするためにかなり意訳を多めにしてるので、その点でも多少正確性が犠牲になっているかもしれない。 間違いの指摘は大歓迎である。 各記事では原文へのリンクを必ず入れるようにするので、是非原文も読んで欲しい。 細かい点になるが、記事の中で中括弧の中に英文もしくは英単語が書かれてる部分がある。 これは、その直前に書かれた日本語訳に対応する原文の一部であり、訳に自信が

XenServer 6.2になってからOSSになって、無料でも全ての機能が利用出来るようになったみたい。（未確認） ただ、無料で全部利用出来るといっても、それはあくまでもxeコマンド上での話みたいで、ライセンス買わないとXenCenterからアップデート（セキュリティパッチの適用）が出来なかったりと、少し不便な点も増えた。 xeコマンドでパッチをインストールするには まず前提としてパッチファイル（〜.xsupdate）をシトリックスのサイトからDLしてXenServerのコンソールからアクセスできる場所に配置しておく事が必要。 今回はrootのホームディレクトリ直下に配置したXS62E002.xsupdateを例に説明する。 1. パッチファイルを登録 [root@xenserver ~]# xe patch-upload file-name=XS62E002.xsupdate 2. 登録

本格的にGPGPUをはじめざるを得ない可能性が個人的に高まってきたのでメモ。 いちばん簡単なんてタイトル付けてるけど実は他のやり方をあまり調べてないので、もっといい方法があれば教えてください。 0. ひとくちにCUDAと言っても… CUDAには大きく分けてCUDA Runtime APIを使う方法と、CUDA Driver APIを使う方法がある。 どちらもデバイスコードの書き方は同じだが、ホストコードの書き方が違う。 Runtime APIが上位、Driver APIが下位なので、コードを書くのは前者の方が短くて済む。 しかし今回はDriver APIを使う方法を書いていく。 Driver APIのほうがかゆい所に手が届くし、デバイスコードとホストコードを分離出来るし、多分実際のアプリではDriver APIを使う人が過半数なのではないかと思う。 それに何よりDriver APIだと普通

プロビジョンド IOPS ボリュームというとボリュームのIOPSを2000まで設定出来、かなりランダムアクセスに強いEBSボリュームということでちょっと前に発表され話題になったりしましたね。 今回の記事の内容とは関係ないですが、そのIOPSどうやって実現してるんでしょうね？ まぁバックエンドにSSDを使ってるんだろうなとは思いますが、調べてみるとSSDを使ってますと公式に明記されてるサービスは、DynamoDBとEC2のハイI/Oインスタンスだけなんですよね。 とりあえずその辺の疑問は置いといて、とにかく速いということは高いんだろうなと思って、懐寒い私としてはどうせ使わない（使えない）だろうなーと思って料金を調べてませんでした。 そしたら最近、プロビジョンド IOPS ボリュームの利用を検討したいなと思える案件がありまして、調べてみた次第です。 これが公式の料金表（バージニア北部の場合）で

ここ最近ZFS絡みの記事をいくつか投稿してきました。 どの記事も、ZFS利用中に問題が起き、そして何となく解決した（解決しそう）という事を書いた記事で、問題が起きた原因や解決した理由を、勝手な想像レベルでしか記していませんでした。 実は今回も、バックアップを取った後、不必要になったデータセットをzfs destroyした後にマシンが停止し、再起動後プールのインポートが出来なくなりまして、こう立て続けに問題が起きると今後もずっと運用で困りそうなので、ZFSの事を少し勉強することにしました。 （ちなみに、もの凄く時間は掛かりましたが今回も何事も無かったかのように復帰させることができました。） 同じような問題を回避するため、そしてもし問題にぶち当たってしまったら落ち着いて正しい操作を行うためです。 で、色んなところに分散している情報を総合してここにまとめようかと思ってたのですが、ZFSの仕組みや

最近個人的にXenServerの微妙感が増してきました。 冷静な判断によるものというよりは、ほとんど感情的なものなんですが。（違うものを試すための口実といいますか…） まだKVMに移行するかどうかは決めてません。 ロードマップ的にはそろそろXenServerの次のバージョンのbetaの発表がある頃だと思うので、その内容次第です。 しかしとにかくKVMに移行するのにどのくらい手間が掛かるかは見積もっときたいので、XenServerで使ってる準仮想化なCentOSゲストをひとつだけ完全仮想化なKVMへ移転してみました。 KVMホストは今回新たにFedora 17をセットアップして構築したものを利用。 移転を試したCentOSゲストのバージョンは5.8、仮想ディスク容量は30GB、パーティション構成は多分デフォルトのまま、仮想NICはブリッジモードで1つだけ割り当ててる状態、準仮想化カーネルを使

Pythonの組み込みdictでは存在しないキーで値を取り出そうとするとKeyErrorが発生するので、例えばキーで指定した値をインクリメントする処理なんかは、以下のようなお決まりのパターンで書くことが多いです。 d = {} if k in d: d[k] += 1 else: d[k] = 1 でも、1行で書きたければ以下のように書けます。 d = {} d[k] = d.get(k, 0) + 1 defaultdict（v2.5から標準モジュールになってる）を使うと次のようにも書けます。 （ちなみにgetを使う方法よりdefaultdictを使うほうが速いそうです） from collections import defaultdict d = defaultdict(int) d[k] += 1 defaultdictに渡す引数はデフォルト値を返すcallable objectで

現状ではまだ一部のデータは救出出来ない可能性が残ってるものの、最終的にはほとんどのデータが救出できそうではあります。 最重要データは置いてなかったので全部消えても喪失感だけで実害は大きくなかったかもしれませんが、今回かなり焦りました。 とりとめのない内容だし、何かのHow toになるとも思えないんですが、一応メモとして出来事を書き連ねておきます。 経緯 2TBのディスクx6のraidz2にZILとL2ARCを追加したプールの空きが少なくなってきた（使用率95%ほど）ので、不要な巨大スパースファイル２つ（iSCSIターゲット用のディスクイメージ、合わせて1.5TBほど）を消去。 消去した時点で、空き容量が回復しないことに気づいた。 しかし以前も同じようなことがあり、そのときは空き容量が回復しない事以外の問題はなく、最終的にsend/recvで他のプールに移したときに自動的に問題は解消。 それ

PDF: peta-okechan/xv6textjp [xv6 #0] xv6ソースコードリーディングの準備 継続的にブログを更新するネタとしてxv6という教育用OSのソースコードを読んでいき、その感想をメモ書き程… [xv6 #1] Chapter 0 - Operating system interfaces テキストの7,8ページ 概要 xv6はユーザー空間とカーネル空間に分かれている。 ユーザー空間のプロセ… [xv6 #2] Chapter 0 - Operating system interfaces - Code: Processes and memory テキストの8〜10ページ 概要 xv6のプロセスは、命令とデータとスタックを置くためのユーザー空間のメ… [xv6 #3] Chapter 0 - Operating system interfaces - Code:

調べてみてもASCII形式でpickle化するか、バイナリ形式でpickle化しつつBASE64を使う方法しか見つけれなかった。 （不思議なのが、一番多く目にするパターンが、ASCII形式でpickle化しつつBASE64を使ってCharFieldに保存する方法なんだけど、CharFieldに保存するならどっちか片方でよくない？それこそ無駄に容量食うし。） そこでバイナリ形式でpickle化したものをそのまま保存する方法を考えてみた。 ASCII形式でpickle化したり、BASE64使ったりするとデータ量が増えるから嫌だ。 セオリーどおりdjango.db.models.Fieldを継承して新しいモデルフィールドを定義した。 環境はDjango1.2とPython2.7 from django.db import models from django.conf import settin

継続的にブログを更新するネタとしてxv6という教育用OSのソースコードを読んでいき、その感想をメモ書き程度につらつらと書いていきたいと思います。 Xv6とは？ Xv6, a simple Unix-like teaching operating system（英語） xv6 – Plan9日記（日本語） とりあえずビルド ソースに変更を加えて動作確認しようとかは思ってませんが、とりあえずどんなものか知るために動かしてみます。 Xv6 on VirtualBox – Plan9日記（参考） ビルド用のOSにはFedora 16 x86（on VMware Player on Windows 7 x64）を使いました。 ビルドに必要な物は以下のコマンドで入れました。 yum groupinstall 開発ツール yum install qemu gitで適当なディレクトリにソースを落とした後、

PythonでTDD（テスト駆動開発）する方法をググったら、標準のunittestの使い方とか、標準ではないけどnoseの使い方とかがたくさん出てきますが、どれもクラスや関数の使い方の説明に終始してて、実際の開発におけるテストケースを書いたソースファイルのディレクトリ構成や具体的なワークフローについて説明してる所はあまり無く。ググり方が悪いんですかね。 柔軟性が高いというかあまりディレクトリ構成やワークフローに影響を受けないから、各自好きにしろってことなのかな。 しかし、どんな方法にも対応出来るとはいっても、良い方法もあれば悪い方法もあるはず。 てことで自分的に良いと思われる方法・構成を考えてみた。 ただし気に入らない点があるので（後述）、後で解決方法を考える。 前提条件というか目標というか テストには標準のunittestのみを利用する（なんとなくテストについては標準じゃないものに頼りた

メモ。一応解決方法まで。 最近のFreeNASはWebGUIでチェックボックスを一つオンにするだけで、AFTなHDDに対応したZFS仮想デバイスを作成できますが、そのディスクを別のマシンに移動すると問題が起きるかも知れません。 今回はディスク（FreeNAS本体: USBメモリ、ZFS raidz2プール: WD20EARSx6）を別マシンに移設した際の問題です。 FreeNASでAFT対応にした場合、ZFSによるディスクアクセスと実ディスクの間で、NOP GEOMクラスによる4kセクタアクセスをするように内部的に設定されます。 また、（FreeNASでは普通にやるとそうなると思いますが）ディスクをまるごとZFS用にした場合、GPT等でパーティションが切られる事はありません。 上記のようにパーティションを切らずにディスクを直接使いつつNOP GEOMクラスを使うという事は、例えば /dev

ServersMan@VPSをやめた理由は以下のとおり。 当初 /etc/hosts と /etc/sysconfig/network が再起動でリセットされる仕様だった メンテナンスが長いうえにやらかしおった メモリが足りない（というかOpenVZ特有のメモリ割り当て方式が良く解らん） それぞれの詳細は以下のとおり。 1. 当初 /etc/hosts と /etc/sysconfig/network が再起動でリセットされる仕様だった これはあくまでも「当初」であり今はそんな仕様ではないため、仕様だけ見ると問題ないとも言えるのですが、サービス提供側がどういう意識でやってるかという事まで考えると、「ゲストOS内のファイルはユーザーのものという意識が弱かったのではないか」という気がします。 また、すぐにその仕様が改められたのはある意味素晴らしいことですが、逆に言えば今まで見切り発車だったの？