はてなブックマーク

たまにシェル上での処理を並列実行したくなりますよね？単にバックグラウンドで実行するだけなら&だけでいいんですが、定期的に実行するような時間のかかるスクリプトを複数CPU使って速く終わらせたい場合はとてもあると思います。そういう時に便利なのがxargs（macOSに最初から入っているので良い）。 find . -name *.txt -print0 | xargs -0 -L1 -P4 ./script.sh こんな感じで自分でfor-loopとか使って頑張らなくても勝手に標準入力から入力内容を読み取ってくれて、入力に応じて並列に処理を進めてくれる。(ちなみにfindの-print0とxargs -0は組み合わせて使うことを意図されていて、入力の分割を改行・空白ごとではなく\0 null文字でしてくれるようになるのでfindで見つけたファイル名に空白が含まれていても処理がおかしくなることがな

同僚の @kaorimatz と @takanabe_w と計3人で「海南鶏飯」（全員初参加。決起会の時にチキンライスを食べに行ったためそう名付けられた。）としてISCUONに初参加した。 言語はRubyを利用して金曜夜に第6回の予選問題をみんなで通して解いてみるなどをやってみた。 結果としては、いわゆる"Cache-Control: public"を最後までつけられずに304でアイコン画像を配信出来ず、 各サーバーの帯域が足りなくなって負荷レベルをあげられず思うように行かなかった。 "Cache-Control: public"に関しては色々言われているけどハマった側の体験としては、 画像をキャッシュされて配信しないと2段階目以上負荷レベルがあげられず、 他の処理がタイムアウトしてしまうことが多かったため、簡単に出来る改善部分もやりきってこれ以上何すれば良いんだろうか？ という状態で詰ま

9/19に早稲田大でiOSDCで15分のトーク、9/21に広島のRubyKaigiでLTをしてきました。 完全に日程が連続していて資料作るの大変だった。どちらも今年取り組んでいたことでどっかで話したいなーと思っていたものの、 どちらも通るとか思わずにノリでどちらにもプロポーザルを送ったら通ってしまったので両方で話すこととなった。 iOSDCの方はServer Side Swiftに関する話。 Sidekiqというgemが好きすぎてSwiftに移植してみて(ainame/Lumpik)その際に困ったことなどを話しました。 Server Side Swiftは、CのAPI呼び出しさえすればとりあえず動くものを作ることは出来るけど、 IO周りのライブラリが貧弱だったり、まだまだ世に出回っているServer Side用のOSSのパフォーマンスは良くないという内容でした。 Server Side S

2017年6月16日よりクックパッド株式会社に入社した。 転職する際に海外への移住を前提とした入社を進めていて、昨年 結婚した＆妻を追って海外に行く - ainameの日記 のような記事を書いてからの一連の行動を続けてきて海外への移住がようやく道筋が見えてきたという具合。 何してるの 海外事業部という部署に所属していて、レシピ投稿サイトのcookpad.comの海外版を開発する仕事をしてる。 一応iOSエンジニアとして入社しているが必要あればサーバーやインフラにも触っていける雰囲気があるのでやっていきたい 💪 直近では海外版のつくれぽ機能のCooksnap機能周りを改修した。 組織 海外版の開発をするGlobalのチームは国内の海外事業部にもそれなりにメンバーは在籍しているものの、イギリスのBristolという都市にあるUKの海外本社や その他各国にある海外の拠点に所属する方々や、各国に

ここ2年ぐらいffmpegとかopencvとかRuby + CUDAみたいなやつとか たまーにビルド職人になることがあって上手くコンパイルするために各種コマンドを使うことがあるのだけど、 使い方はおろか、普段あんまり使わないのでコマンド名すら忘れることが多々あるためコマンド名とか使い時を覚えている限りざっくりメモしとく。 あとはmanを読めば良い。 pkg-config インストール済みのライブラリをコンパイルに利用するときに必要なコンパイルオプションを返してくれるやつ .pcファイルを元に返してくれる。 PKG_CONFIG_PATHを指定して利用したりする。 ldd .so（Shared Object）ファイルが動的リンクで依存しているライブラリへの依存関係を表示してくれる。 何かをコンパイルした結果、共有ライブラリがリンクできているかを調べるのに使える。 $ ldd `which f

mixiグループアドベントカレンダー2016 1日目です。 今回は、自分が今まで利用したRubyでの並列処理を書くためのgemとか知見を紹介します。 機運 先日のRubyKaigi 2016で、Ruby3ではGuildという新しい並列処理のモデル*1が、導入されるというセッションがあったり、concurrent-rubyというgemの開発が流行り初めて居たりと、Ruby界隈でも何となく並列処理がブームきているように感じます。 マルチプロセス/スレッド しかしRubyで並列処理するのは言語の仕様としてそれなりに制限があり、他の言語のようにThreadをバンバン立ててマルチコアで計算！爆速化！！みたいなのは難しいです。 というのも、Ruby1.9からネイティブスレッドは導入されたものの多くのC拡張を使ったgemのスレッドセーフ性が問題となるため、GIL(Global interpreter l

ここ2年半ほど卓球ハウスという目黒区にあったシェアハウスに住んでいたのだけど、この度シェアハウスそのものを解散するということで渋谷区に引っ越した。 2013年の6月末からシェアハウスをしていて、@gong023が大江戸RubyKaigiでシェアハウスしませんかと自分に声かけてきたのがその発端だったと記憶している。 当時、大学を卒業してそのまま学生の頃から住んでいた、大学からはめっちゃ近いけど狭くて駅から遠くて不便な場所に住んでいたのでたまたま引越したいと思っていた時期だったから 二つ返事でOKした*1そっからいろんな人に声かけたり物件探したりなんてのをやっていった。 住んでいる間は、住人全員がエンジニアなため他社ではこうやっているだとか最近こういうの作ったみたいな話ができてエンジニアとしては結構良い環境だった。 トルネでアニメが撮り貯められていきリビングで快適に見られて前よりもアニメを見る

mixiグループアドベントカレンダー1日目です。 「家族アルバム みてね」の開発知見について書きます。 家族アルバムみてねとは今年の4月から正式にリリースして以来開発を続けている写真共有アプリです。 現在みてねは、エンジニア4名、コードの書けるデザイナー1名、他チームと兼任しているテスター1名というメンバーで開発しています。 特徴的なのは、スクラムを採用したチーム開発を行っていて、さらに可能な限り属人化を排除するためにiOS/Android/サーバー(Rails)の開発のタスク、 それぞれの分野に担当を持たせず全員がすべてのスプリントバックログを取っていくというやり方で進めていることです。 スクラムチームで、属人化を排除することによって色々なことが可能となるのですが、 今回は効率の良いスプリントの回し方（バックログの取り方）の話を書こうかと思います。*1 そもそも属人化って？ 属人化とは、

speakerdeck.com Realmとはmobile向けのDBなのだけど、みてねでは7月にリリースしたv1.5.0から利用していて、その経緯とか背景とか実装内容ついて話してきました。 内容的には他の人とか過去の発表と被るのを避けるためRealm的な話は薄くて、普段の開発スタイルとか同期APIの実装の話がメインだったりする。 あと質疑応答で、「今回の実装でAndroidとiOSで設計が違ってきた場所ってなんですか？」という質問があって「AndroidはRxJavaを使って通知を飛ばしてUIにデータを反映させてるが、iOSだとNSNotificationCenterを使って素朴に実装している」みたいな返答しちゃったけどiOSではモデルをKVOで監視してUIに反映の間違いでした。（細かい） 懇親会では、スクラムを導入したい・しているけどよくわからない的な方々とお話する機会があり、 うちでは

iPhone6sとiPad Pro発表されましたね。早くXCode7をstore配布して欲しいです。 スクラムチームで属人化させずにiOSもAndroidもRailsもAWSも全部やっていく話 - ainameの日記 この記事で、スマホアプリのチーム開発のことを書こうと思って先週はちょっとリリース前とか飲み会で忙しかったのであまり手がついておらず、どうやって書いてくかを考えてはいたけれど書いてこうとすると大分壮大になっていくので、ひとまず日常的な行いを少しづつ書きためていき、リンクで参照できるようにしておくことにした。 ということで今回は、社内で最近行っているプラクティスというか勉強手法で、動画でスマホアプリの技術を学ぶ方法を紹介する。 動画で学ぶ 近年、Youtubeとか動画配信環境が良くなったおかげで各種技術系カンファレンスの発表が綺麗な画質でネット上に公開されている。 特に海外のカン

去年から「家族アルバムみてね」というスマホアプリの開発を担当している。（公にはそんなに言ってなかったので改めて宣言しておきます。） 子供の居る家庭向けのデジタルアルバムサービスで、お子さんが居る方はぜひ使ってみてください。 mitene.us 自分は子供どころか結婚もしていないのでターゲットユーザという感じではないけど、 社内の新規プロジェクトとして初期から関わらせていただくことが出来て、 スマホアプリ開発どころかAPIサーバーのRails以外に関しては経験がほとんどないままここまでやってきた。 開発者が（ほぼ）4人という割りと少人数チームでそれぞれのエキスパートのような人がチーム内に居ない中、 iOS版のためにObjective-C書いてAndroid版のためにJava書いてAPIなりWeb版のためにRuby書いて本番環境のために AWS一から学んで環境構築したりして改めて振り返るとやっ

ひとでさんのこの前のYAPCでの発表（ベストスピーカーおめでとうございます）の はてなブログではドメイン駆動など使ってイケてるサービスを作り続けているぜっていう話、 オブジェクト指向やらドメイン駆動の話とかいろいろあったけれども、 結局のところイケてるサービスを作り続けるためには継続的にコードベースも良くしていかなければいけない っていうメッセージがあったのだったのだと勝手に解釈していてすごい共感している。 エリック・エヴァンスの本自体買って中途半端に読んで読みっぱなしなので、 ドメイン駆動設計については何も意見できるところはまだない。 でも最近思うのが、複雑な仕様を手続き的に実装すると確実に複雑なままになってしまうので、 やっぱりビジネス上に現れるルールは単語で表現してコードに起こすという作業をしないと ダメだと思って、ここ数日過去に作ったコードに手を加えるついでに大幅に書き直している。

YAPCに参加してきたので感想を書く。 会社がスポンサーやっていたのでスポンサー枠で行けそうだったけど、例年あえて自腹でチケット買ってTシャツもらっている。 今年は、ラストのYAPCってことでトークがやらたらと豪華というか幅が広いというか面白いものが多かった。 観たやつ並べる。 8/21 メリークリスマス！ (60 分) Larry Wall 世界展開する大規模ウェブサービスのデプロイを支える技術 (60 分) aereal TBD (60 分) Yukihiro "Matz" Matsumoto Perlの上にも三年 〜 ずっとイケてるサービスを作り続ける技術 〜 (60 分) 趣味はマリンスポーツです Yet Another Perl Cooking (30 分) moznion 大規模でも小中規模サービスでも捗る microservices な Web サービスのつくりかた (30

MySQLでもヒストグラム的なものをサクッと作ることが出来るらしい。これならいちいちCSV化してExcelに貼り付けて〜〜みたいなことまでしなくても簡単にデータの分布が見れる。 SELECT ROUND(numeric_value, -2) AS bucket, COUNT(*) AS COUNT, RPAD('', LN(COUNT(*)), '*') AS bar FROM my_table GROUP BY bucket; ROUNDで数値のカラムの値を丸めてRPADでバーを描画。 RPAD( 文字列1, 文字数, 文字列2 )という使い方で本来は第一引数の文字列を表示するために第三引数でパディングを埋めるための関数らしいけど、この場合第一引数を空にして任意の数だけバーを描画するようにしていて賢い。 バーの長さはカウント数の自然対数で正規化していて割りとそれっぽい値に見える。 +--

最近、機械学習に興味がありちょっとずつではあるけど勉強始めているので、今回は検索と機械学習を活用したシステムの話という濃い内容のHatena Engineer Seminar #5 @ Tokyoに参加してみた。 Hatena Engineer Seminar #5 @ Tokyo - connpass 以下発表内容の転載と感想。 はてなブックマーク全文検索の精度改善 id:takuya-a / @takuya_a はてなブックマークには膨大な量の URL がインデックスされており、本文検索での検索ノイズが多いことが課題でした。 はてなブックマークに蓄積されたタグの情報と、検索エンジン Elasticsearch の機能をうまく使って、検索精度を向上する方法を紹介します。 はてなブックマークのタグ情報を元にタグ付けされた記事から記事の特徴語を抽出して関連したキーワードからElasticse

github.com 複雑な動画の処理を記述するためのmediakitを作り始めた - ainameの日記, ffmpegがハングしたことを検知したらkillするための実行環境 - ainameの日記 に引き続いてmediakitを鋭意開発中。 先日timeoutの実装がうまく行ったおかげではずみがついた。 v0.0.10という絶賛互換性無視で変更を加えていく可能性のあるバージョンではあるけど、Rubyからffmpeg叩きたいときに必要な基本的な機能は割と揃ってきた。 開発方針として高級（動画オブジェクトとかトランスコーダークラスみたいなもので扱う）なAPIと低級（ffmpegのコマンドをひたすら手続き的に記述する感じの）なAPI両方用意しておいて使う側が好きなインターフェイスを利用できるようにするというようになっていて、今現在低級な部分をシコシコ作っている段階です。 高級・低級みたいなの

先日から作り始めているmediakitにread timeout的な機能を追加した。 read timeout read timeoutというのは入力待ち状態に制限を設けて、制限いっぱいまで待っても入力が得られない場合はタイムアウトとして終了するような機能で、ネットワーク周りのライブラリにはよく実装されている気がする。 ffmpegのハングアップ検知 日々Sidekiqなどの非同期ジョブサーバー上でffmpegを用いてエンコードを実行していると、たまになかなか終了しなくて長時間生き残ってしまうプロセスがいるので、そういう状態を検知して殺していかなければ、キューが詰まってしまうことになる。 read timeoutと似たような枠組みで、ffmpegにもハングアップしたことを検知してkillする処理を実装できる。ffmpegはコマンドを普通に実行すると標準エラーにエンコードの進行状況を書き込ん

最近業務で複雑気味な動画の処理をプログラミングする機会があって、ffmpegをよく使うのだけどこれを扱うための既存ソリューションが気に食わなかったので、 自分が満足するやつを一から書き始めて、v0.0.1をリリースした。 https://github.com/ainame/mediakit mediakitというのは単にffmpegラッパーであるだけでなく、最終的にSoxとかImageMagickとかも取り扱えたら便利だなという意味でつけた名前。 （〜〜kitの部分は家の住人がServerkitというものを作っていたり、iOSのSDK公開するときにXXXKitとつける慣習があるっぽいのにインスパイアされてる。） モチベーション Rubyからffmpegをさわろうとするといろいろ困ることがある。 ファイルのメタ情報どうする？ どうやってユニットテストする？ FFmpegのバージョンごとの差異

potatotips初参加した。 業務で写真アプリを作っていたのでその際にiOSで写真をバックグラウンドでアップロードし続けようという機能を実装することになったのでその時の知見を話した。 内容としては、iOSのバックグラウンドでの活動を延長するために写真のアップロードごとにSilent Remote Notificationを送りつけるというものだった。発表時にSilent Remote Notificationにはレートリミットが存在していて、実際には無限には出来ないとご指摘いただいたので資料を修正加筆しました。 iOSで無限バックグラウンドアップロード（に挑戦してみた話） // Speaker Deck Silent Pushのレートリミットを含む挙動についてについて検証した記事 http://t.co/8x9GMIr6or #potatotips— kishikawa katsumi