＜この記事の著者＞ かいり - Tech Team Journal QAエンジニア 文系未経験から開発エンジニアとしてSIerに新卒入社する。その後Web系事業会社も経て開発経験を積んだのち、得意なシステムテスト技術をより活かせるQAエンジニアにジョブチェンジした。 現在は「テストが得意なエンジニア」として上流工程からのテスト活動を推進している。 最近はChatGPTといったAIの台頭もあり、インターネット上での調べ物が格段にやりやすくなりました。一方で、それを使う私たちのネットリテラシーもより問われる時代になってきました。 私も普段開発エンジニアやQAエンジニアの仕事をしているときに調べ物をする機会が頻繁にあるのですが、その際に一次情報を調べるようにすると何かと捗ることが多かったので共有します。 一次情報とは 一次情報は「その情報の源から直接得られるデータや情報」を指し、二次情報は「一次

ブログ「読書猿 Classic: between/beyond readers」主宰。「読書猿」を名乗っているが、幼い頃から読書が大の苦手で、本を読んでも集中が切れるまでに20分かからず、1冊を読み終えるのに5年くらいかかっていた。 自分自身の苦手克服と学びの共有を兼ねて、1997年からインターネットでの発信（メルマガ）を開始。2008年にブログ「読書猿Classic」を開設。ギリシア時代の古典から最新の論文、個人のTwitterの投稿まで、先人たちが残してきたありとあらゆる知を「独学者の道具箱」「語学の道具箱」「探しものの道具箱」などカテゴリごとにまとめ、独自の視点で紹介し、人気を博す。現在も昼間はいち組織人として働きながら、朝夕の通勤時間と土日を利用して独学に励んでいる。 『アイデア大全』『問題解決大全』（共にフォレスト出版）はロングセラーとなっており、主婦から学生、学者まで幅広い層か

自然言語処理とは、人間が自然に使っている英語や日本語などの言語をコンピュータで処理する技術です。自然言語処理でできることには機械翻訳、要約生成、感情分析などがありますが、今回は比較的シンプルな例として類似文書検索に焦点を当ててみたいと思います。類似文書検索はテーマとしては真新しいものではありませんが、本記事では単語の分散表現を用いる手法や Watson Discovery も含めた各種の類似文書検索手法について、日本語データに対して精度比較試験をした結果を紹介します。複数の手法を同一の日本語データで比較した記事はあまり見ないので面白いのではないでしょうか。 1. 始めに 本記事では類似文書検索の各手法について、単語の分散表現を用いる手法や Watson Discovery も含めて精度比較試験をした結果を紹介します。まず各手法の概要を紹介しますが、ここでは数学的な細かい説明などは省くので概

ノイズレスサーチは邪魔なサイトを除外してGoogle検索できる検索エンジンです。 NAVERまとめ・キュレーションサイト・知恵袋・まとめサイト・2ch転載・Amazon・楽天・価格コムなどの通販サイト・食べログ・クックパッド、Pinterest、その他多数のサイト（約5000個）を除外しています。 レシピ検索、医療検索、商品レビュー、仕事や論文の調べ物、観光地・グルメ検索で威力を発揮します。 Chrome拡張機能「ノイズレスサーチ+」を開発していただきました。ショートカットキーでランチャー起動が可能です。 初めての人はまずこちらをどうぞ。 ・概要 ・レシピ検索について ・カスタマイズ（スマホは検索ランチャーアプリの使用をおすすめします） ※ノイズレスサーチはおかげさまで多くのユーザーにリピートしていただいていますが、一般的にはまだ知名度が低いサービスです。今後の継続のためにも、気に入ってい

こんにちは、晴れて2020新卒になったmipsparcです。最近は趣味の鉄道技術系同人誌の新版が出来上がって喜んでいます。 本記事では、入力値には必ずと言っていいほど混入する不必要な制御文字への対処方法をご紹介します。ユーザーに文字列を入力してもらうことのあるすべてのサービスで活用できる話かと思います。 不要な制御文字が入ることで生じる問題 前提として、この記事は制御文字類が必ずしも邪魔と言いたいわけではありません。 制御文字は多言語対応(特に右から左方向に記述する言語)などで重要なときもありますが、今回は問題が発生しうるケースのお話をします。 「‪腐向け」 「メリークリスマス‬」 「ゾンビ」 なんの変哲もない3つのイラストタグですが、どれも不可視の制御文字が混入しています。 $ php -r "var_dump(json_encode('腐向け'));" string(26) ""\u2

Data VFD Dataset (Japanese) 概要 言語処理のトップ会議EMNLPにて発表した論文“A Visually-grounded First-person Dialogue Dataset with Verbal and Non-verbal Responses”のデータセットです。 論文では様々な社会的状況で画像内の人物が話しかけた言葉の返答をモデル化しています。 本データセットはGazeFollow Dataset （Recasens et al.,2015）に基づいており、GazeFollow Datasetに存在する、（1）シーン画像、（2）話者の視線情報を引き継いでいます。 論文で使用したデータセットを作成するため、新たに日本語で（3）話者の発話テキスト、および（4）返答者の言語的および非言語的返答の２つのアノテーションを弊社クラウドソーシングサービスを利用し

みなさんこんにちは。フジサワです。前回の記事でお伝えしていたElasticsearchの検証がひと段落しましたので、検証結果をレポートいたします。 連載目次 『全文検索 〜 Elasticsearchとデータ匿名化手法』 『全文検索の探求 Elasticsearch(1) 』: プロジェクト方針およびElasticsearch概要 大量データを検索するサービスでElasticsearchはRDBの代替候補になりうるか？(Elasticsearch vs pg_bigm)』 ←今読んでいる記事 データ匿名化 第1回：匿名化された個人情報とは何なのか データ匿名化 第2回：個人情報は匿名化しても意味がないのではないか？ データ匿名化 第3回：個人情報を匿名化するプロセス データ匿名化 第4回：匿名化のために行うデータ項目の一般化とは データ匿名化 第5回：データ匿名化の指標 データ匿名化 第6

2015-07-08 今までで一番ブログ更新を辞めたくなった2015年6月の話 連載・総括まとめ 先月の振り返りと今月の目標を書いていくが…主に数字じゃなくて、自分の気持ちとできごとをさきにヅラヅラ書く。 数字だけだったら17万アクセス。 2ヶ月連続の減とはいえ、100はてブ以上ヒットした記事もあり悪いことばかりでは決してなかったが…落ちたには落ちたなりの理由もあり、ゆえにすごく辛かった。 そんな挫折の話が中心だ。苦難に立たされたけど、苦難に立ったからこそ色々考えることがあったからそのことをきっちり語りたい。 6月ほどブログ辞めたくなったことはない。 ・今までで一番大きくて、僕でも対応／吹っ切るのに一週間かかった炎上をする。 →普通の人ならkanoseが扇動してる古参のはてな民と、本物川率いるTwitterのフェミクラ・ふたばを追い出された人達に板挟みにされたらブログ辞めるか、一時的にネッ

自分の困り事は、他の誰かにとっても困り事あなたが何かに困ったとき、どうしますか？ 「自分で考える」人は素晴らしいですが、「Googleで調べる」という方も多いでしょう。 ということは、「誰かが困りそうなこと」の解決法をブログに書けば読んでもらえるのです。 ではその「誰かが困りそうなこと」をどう探すか。 「自分の過去の困り事」を思い出せばよいのです。 自分が困ったということは、他の誰かも同じ問題で困る可能性があります。 そこで役立つのが、Googleです。 「Googleウェブ履歴」を見れば自分の過去の困り事がわかるGoogle - ウェブ履歴を見ると、自分が過去に何をGoogleで検索したか、分かります。 たとえば私の場合、こんな感じ。 頭のなかが、丸見えですね（笑）。 ここで、自分が困ったこと結果的に解決したことを探すのです。 あとはそれを自分の視点でブログ記事にするだけ。カンタンですね

株式会社nanapi代表取締役。1981年6月2日生まれ。早稲田大学政治経済学部卒業。2000年に学生コミュニティであるミルクカフェを立ち上げ、月間1000万pvの大手サイトに成長させる。2004年、レンタル掲示板を運営する株式会社メディアクリップの代表取締役社長に就任。翌年、株式会社ライブドアにしたらばJBBSを事業譲渡後、同社にてCGM事業の立ち上げを担当。2006年、株式会社リクルートに入社、事業開発室にて新規事業立ち上げを担当。2009年6月リクルートを退職し、Howtoサイト「nanapi」を運営する株式会社ロケットスタート(現・株式会社nanapi)代表取締役に就任、現在に至る。

履歴 トレンド 1.誹謗中傷 2.#おは戦50713jm 3.#津島善子生誕祭2023 4.#佐久間宣行ANN0 5.#乃木坂46ANN 6.トランスフォーマーの主題歌 7.第538回 8.#ヨハネ生誕祭2023 9.女性ホルモン 10.嶺ちゃん 11.関さんマスター 12.善子ちゃん 13.自分勝手 14.ナイスの日 15.れいちぇる 16.ヨハネちゃん 17.ばらかもん 18.エクセル関数レベル 19.りゅうちぇるさん 20.ルシファー 21.Twitterエラー 22.オカルト記念日 23.上級エクセラー 24.線状降水帯 25.Wordle 754 26.第百二十三話 27.Twitter調子 28.Twitter変 29.ハンソヒ 30.まーたTwitter 31.ホルモンバランス 32.小矢部川 33.ヴォルタ1周年 34.デビュー1周年 35.山手線の駅 36.嶺二さん 37

YaCyはWeb検索データをP2Pで共有するフリーソフトの検索エンジン。 試しに動かしてみた例　http://www.suri.cs.okayama-u.ac.jp:8090 YaCyは正式には日本語検索に対応していないが、誰かが日本語検索データをP2Pネットワーク上にあげてくれれば日本語検索が可能にできる。その日本語検索データ作成方法は以下 Linuxで動かす手順( windowsでの手順はここ http://d.hatena.ne.jp/niitsuma/20100416/1273138280 ) kakasi　 libtext-kakasi-perl をインストール ubuntuなら sudo apt-get install kakasi libtext-kakasi-perl またはgentooなら emerge dev-perl/Text-Kakasi app-i18n/kaka

オンページSEOとは、ウェブサイトの内部をユーザーと検索エンジンに最適化する施策です。ユーザーと検索エンジンの両方に対してわかりやすい構造を提供することのほか、ユーザーの検索意図を的確に満たすコンテンツを作成し管理するコンテンツSEOと、技術的な側面を最適化しサイトを検索エンジンに正しく理解・取得させるテクニカルSEOが含まれます。

エンジニアtypeは、各種エンジニアをはじめ「創る人たち」のキャリア形成に役立つ情報を発信する『＠type』のコンテンツです。

暑くなりましたね、Milkode0.9をリリースしました。Webアプリの使い勝手向上が主な修正点です。 サジェスト検索、パッケージセレクタ、ダイレクトジャンプといった新機能が入り、直感的に検索出来るようになりました。 デモアプリでは試しにmruby等のソースコードを検索することが出来ます。 インストール $ gem install milkode 詳しくはこちらをどうぞ - ダウンロード, Gems サジェストその1 : キーワードにマッチするファイルを合わせて表示 'README'で検索すると、各行に'README'を含む物以外に、ファイル名に含むものを一緒に表示してくれます。 サジェストその2 : 関連ファイルを表示 .hや.hppを開いている時に.cや.cppへのリンクを表示してくれます。 パッケージセレクタ 検索対象のパッケージを切り替えながら検索することが出来ます。 ダイレクトジ

このエントリでは、ネット上で「SQLインジェクション対策」でGoogle検索した結果の上位15エントリを検証した結果を報告します。 SQLインジェクション脆弱性の対策は、既に「安全なSQLの呼び出し方」にファイナルアンサー（後述）を示していますが、まだこの文書を知らない人が多いだろうことと、やや上級者向けの文書であることから、まだ十分に実践されてはいないと思います。 この状況で、セキュリティのことをよく知らない人がSQLインジェクション対策しようとした場合の行動を予測してみると、かなりの割合の人がGoogle等で検索して対処方法を調べると思われます。そこで、以下のURLでSQLインジェクション対策方法を検索した結果の上位のエントリを検証してみようと思い立ちました。 http://www.google.co.jp/search?q=SQLインジェクション対策 どこまで調べるかですが、以前NH

「なんでも質問する」姿勢と「ググってから質問する」行動や質問の仕方による回答の相場観に関連した話。 卒論生に対して、毎日のように「何でも質問して」というのだけど、まだ質問がでない。なので、どこまで自主努力したら十分努力したとみなすかを具体化してみた。自己規制気味の方は以下をたたき台にしてみてください（なお、指導教員や上司ごとに方針は違うと思うのであくまでたたき台としてご利用ください）。 基本方針 以下のケース別下準備の行動をすべて行なった上で、なお、「すっきりしない」や「納得できない」場合は、指導教員や上司に相談すること。 もっと、念入りに下準備したい場合は自問自答すればよい。 質問の型をいくつか持っておくと便利 一匹狼のための一人Ｑ＆Ａ大会 ケース1： 研究の背景、目的、位置づけについて 自分のわからないと思うことを文章で丁寧に書く（親や高校生ぐらいのいとこに説明するつもりで） 研究ノー

ブログを引っ越ししましたので，5秒後に移動します