こんにちは！ABEJAでデータサイエンティストをしている藤原です。ABEJAアドベントカレンダー2024 の11日目のブログになります！ キーフレーズ抽出を簡単に試すという機会がよくあるのですが、簡単に検証する範囲だといつも同じツール・モデルを使っているため、他の方法でも上手くキーフレーズ抽出ができないか？ということで今回いくつか検証してみました。やることとしては、まず Embedding Model を使って日本語の長めの文章からキーフレーズを上手く抽出できるか？というのを検証します。その上で、色々な Embedding Model 間で抽出されるフレーズがどのように違うか？も比較してみます。 目次 目次 はじめに キーワード抽出・キーフレーズ抽出とは？ キーフレーズ抽出の手法 1. グラフベース・統計ベース 2. LLM ベースのアプローチ 3. Embedding ベースのアプローチ

大統領選挙で「泡沫（ほうまつ）」と目されていた無所属候補が、まさかの最多得票を獲得。それだけでも異例だが、憲法裁判所が投票結果そのものを無効として、選挙のやり直しを命じた。東欧のルーマニアで実際に起きた出来事だ。 11月24日に実施されたルーマニアの大統領選挙。トップに立ったのは、無所属で出馬したカリン・ジョルジェスク氏だった。極右かつ親ロシア派として知られ、得票率は22.94％。200万以上もの票を集めた。 初の女性大統領を目指す野党「ルーマニア救出同盟（USR）」党首のエレナ・ラスコニ氏（得票率19.18％）が2位に入り、現首相で中道左派の与党「社会民主党（PSD）」を率いるイオン＝マルチェル・チョラク氏（同19.15％）は3位に沈んだ。 この結果は、ルーマニア内外に大きな衝撃を与えた。下馬評では、ジョルジェスク氏が勝つのはあり得ないと見られていたからだ。 ルーマニアのインスコップリサ

「Linuxカーネル2.6解読室」（以降、旧版）出版後、Linuxには多くの機能が追加され、エンタープライズ領域をはじめとする様々な場所で使われるようになりました。 それに伴いコードが肥大かつ複雑化し、多くのエンジニアにとって解読不能なブラックボックスとなっています。 世界中のトップエンジニア達の傑作であるLinuxカーネルにメスを入れ、ブラックボックスをこじ開けて、時に好奇心の赴くままにカーネルの世界を解読する「新Linuxカーネル解読室」プロジェクト。 本稿では、ネットワーク機能におけるパケットの受信処理についてカーネルv6.8のコードをベースに解説します。 はじめに 1. 前回のおさらい 2. 上位レイヤへの配送: e1000_receive_skb()関数以降の処理について 2.1 前提知識: EtherTypeとpacket_type構造体 2.2 概要 2.3 __netif_

新たな経済対策の裏付けとなる今年度の補正予算案は、一部が修正された上、衆議院本会議で採決が行われ、自民・公明両党と日本維新の会、国民民主党などの賛成多数で可決されて参議院に送られました。参議院では与党が過半数を確保していることから、補正予算案は今の国会で成立する見通しとなりました。 一般会計の総額がおよそ13兆9000億円の今年度の補正予算案は、衆議院予算委員会で締めくくりの質疑のあと採決が行われ、自民・公明両党と日本維新の会、国民民主党の賛成多数で可決されました。 委員会では、立憲民主党の求めに応じる形で自民・公明両党が提出した、能登半島の被災地支援を充実させる内容を盛り込んだ修正案も可決されました。 補正予算案はこの修正案を反映させて一部が修正され、衆議院本会議に緊急上程されました。 討論で国民民主党の浅野哲氏は「賛成する第1の理由は、いわゆる『年収103万円の壁』の引き上げとガソリン

本記事は 【Advent Calendar 2024】 11日目の記事です。 🌟🎄 10日目 ▶▶ 本記事 ▶▶ 12日目 🎅🎁 こんにちは、越川です。昨今の技術革新により、私たちの生活はますます便利になりました。しかし、こうした技術の進歩に伴い、私たちの仕事が将来奪われてしまうのではないか？という話も良く聞くようになりました。 これはエンジニアである私たちにとっても他人事ではなく、エンジニアの仕事も将来的に生成AIなどに代替されるのではないか？という類のコンテンツは増えてきたかと思います。 そこで今回は、SIerの中でエンジニアとして働く私が、今後、エンジニアに求められるものについてまとめてみようと思います。 なぜ今、生存戦略を練る必要があるのか どのようなエンジニアが求められるのか 重要なマインドセット 1.ラーニングゾーンに身を置く 2.仕組みを作る側に回る 3.問題解決を楽

ヨーグルトで腸活は、もう古い！健康のために毎日ヨーグルトを食べているという人はとても多いようです。スーパー、コンビニにはさまざまなタイプのヨーグルトが並び、パッケージに「生きた乳酸菌を腸に届ける」「○○菌が〜」「○○株が〜」などと書かれていると、なんとなく体によさそうという気がしてきますよね。 たしかに、かつては「生きた乳酸菌を腸に届けるヨーグルトは腸活にいい」と考えられていました。 しかし、ぶっちゃけ、ヨーグルトで腸ケアは、もう古い！　その理由のひとつが、ヨーグルトに含まれる乳酸菌の数です。 皆さんは、腸内細菌は生きて腸内に棲んでいることを知っているでしょう。そのため、「腸内細菌を増やすためには生きている菌を摂ったほうがいい」「生きて腸に届く菌がいい」と思い込んでいませんか？ 人間の腸内には約100兆個の細菌が棲んでいます。しかし、200mLのヨーグルトを食べたとしても、乳酸菌は20億個

電柱や電気設備を撮影するだけで、ポイ活さながらにお金を稼ぐ。そんなスマホアプリがある。 ブロックチェーンゲーム（Web3ゲーム）『ピクトレ〜ぼくとわたしの電柱合戦〜』だ。 運営元は2018年にシンガポールに誕生したスタートアップのDigital Entertainment Asset（DEA）。その背後で仕掛けているのは、東京電力グループ傘下の送配電事業である東京電力パワーグリッド（以下、東電PG）だ。 東電PGは、中部電力らとともにシンガポールにGreenway Grid Global（GGG）を設立し、新規事業創出などを進めている。2023年3月にGGGとDEAが基本合意（MOU）を締結すると、7月には東電PG自身もパートナーとして協力しながらピクトレを開発してきた。 電力業界大手が、Web3ゲームという言わば“異世界”とタッグを組む背景には、深刻なインフラ課題がある。 ピクトレは、ユ

2024.12.11 エンジニア組織のリアルな失敗経験から学ぶ！ 生産性向上＆チーム強化Tips

本記事では、最近流行りの「生成AIエージェント」に替わる「Agentless」（エージェントレス）という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、ソフトウェア開発自体を自動化する際の新しい手法「Agentless」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもAIエージェントとは？」については、知っている前提で進みます。確認する場合は、こちらの記事などをご参考下さい。 本題 ざっくりサマリー 最近、ソフトウェア開発で生成AIを使うことは当たり前になっています。（GitHub Copilot、Cursor、Devinなど、様々なツールがリリースされています。） 「AGENTLESS」は、ソフトウェア開発を自動化する、という文脈でLLMを使う際の、新しい手法

LLMOps基盤のシステムアーキテクチャ目次− 目次 − 対象読者 − TL;DR − 背景：LLMアプリケーション運用の課題 − LLMOps基盤のシステムアーキテクチャ −− 主なコンポーネントと役割 −− Langfuseを採用した理由 − 評価ドリブンなリリースライフサイクルの全体像 − オンライン評価プロセス −− 1. ログ・トレースデータの保存 −− 2. 評価とアノテーション − オフライン評価プロセス −− プロンプト実験 −− LLMアプリケーション統合実験 − 今後の展望 − 終わりに − 参考文献 こんにちは！Eureka AI Teamで、Pairs（ペアーズ）のMLOps Engineerをしているnariです。 こちらは、Eureka（Pairs） Advent Calendar 2024 の10日目の記事です。 本日は、私たちが構築した「LLMOps基盤」と

12月9日（現地時間）に、米OpenAIが一般提供を始めた動画生成AI「Sora」。リリース当初はアクセス集中により一部ユーザーが利用できない状態だったが、10日（日本時間）正午すぎから徐々に利用可能に。記者も使えるようになったので、いくつか思い付いた動画を生成してみた。 おさらい、Soraでできること まず、Soraの機能や利用条件を整理しておく。SoraはChatGPTの有料プラン「ChatGPT Plus」（月額20ドル）と「ChatGPT Pro」（月額200ドル）の利用者向けに提供。Plusユーザーは解像度480pか720pで、長さ5秒の動画を最大50本／月まで生成できる。ChatGPT Proユーザーは解像度480p、720p、1080pかつ、長さ5秒～20秒（5秒刻みで選択可能）の動画を最大500本／月まで、並行して5つまで生成可能。 Proの場合、生成できる動画のアスペクト

TOPICS 発行年月日 2025年01月17日 発売予定 PRINT LENGTH 468 （予定） ISBN 978-4-8144-0101-7 原書 Building Multi-Tenant SaaS Architectures FORMAT Print PDF SaaS（Software as a Service）とは、ソフトウェアをクラウド環境などでホストし、ユーザーにサービスとして提供する形態のビジネスモデルです。マルチテナントとは、複数のユーザーが同一のリソースを共有するモデルや、それらを統一された体験を通じて管理する仕組みを指します。セキュリティや可用性、運用面などで独自の考慮事項が必要となりますが、インフラストラクチャコストの削減や運用効率の向上が見込めるため、近年その採用件数は右肩上がりに増加しています。本書は、エンジニア向けの本格的なSaaS解説本として、マルチテナ

翻訳を担当した書籍『ソフトウェアアーキテクトのための意思決定術　リーダーシップ／技術／プロダクトマネジメントの活用』（インプレス）が明日2024年12月11日に発売となります。 本書は、2023年12月に出版されたSrinath Perera 著『Software Architecture and Decision-Making: Leveraging Leadership, Technology, and Product Management to Build Great Products』（Addison-Wesley Professional）の全訳となります。 ソフトウェアアーキテクトのための意思決定術　リーダーシップ／技術／プロダクトマネジメントの活用 作者:Srinath PereraインプレスAmazon 著者は、Apacheのオープンソース開発者として20年以上のキャリアを

シリア中部ハマで、市庁舎の壁に飾られていたバッシャール・アサド大統領の肖像の顔に撃ち込まれた銃弾の跡（Rami Alsayed/NurPhoto via Getty Images） シリアでバッシャール・アサド大統領の独裁政権があっけなく崩壊した事態は、増加の一途をたどる世界の紛争が相互に絡み合っている事実を浮き彫りにし、私たちの多くが深く考えないようにしてきた認めたくない真相を白日の下にさらけ出した。それは、第三次世界大戦はすでに始まっているということだ。ビジネスリーダーは、この事実を認識し、それに応じた計画を立てる必要がある。 こう考えているのは筆者だけではない。実際、JPモルガン・チェースのジェイミー・ダイモン最高経営責任者（CEO）が10月にまったく同じことを口にしている。国際金融協会（IIF）の年次総会で、ダイモンは「第三次世界大戦はもう始まっている。すでに複数の国々で同時多発的

総論→各論→演習とステップアップ。『SREをはじめよう』翻訳者が推薦する、SREへの理解を深める4冊 2024年12月10日 SRE書籍翻訳者 山口 能迪 アマゾンウェブサービスジャパン合同会社シニアデベロッパーアドボケイト。AWS製品の普及と技術支援を担当し、特にオブザーバビリティ、SRE、DevOpsといった領域を担当。OpenTelemetryやGoのコミュニティの支援も活発に行っている。『SREをはじめよう』『効率的なGo』『SLO サービスレベル目標』『オブザーバビリティ・エンジニアリング』『Go言語による並行処理』翻訳、『SREの探求』監訳をはじめ、技術書の翻訳に多数関わる。好きなプログラミング言語の傾向は、実用指向で標準の必要十分に重きを置くもので、特にGoやPythonを好んでいる。 X: @ymotongpoo GitHub: @ymotongpoo 1. 『SREをはじ

配信プラットフォームが活況を呈し、テレビの観られ方が大幅に変わりつつある今、番組のつくり方にもこれまでとは違う潮流が勃興しています。その変化の中で女性ディレクター／プロデューサーは、どのような矜持を持って自分が面白いと思うものを生み出しているのか。その仕事論やテレビ愛を聞く連載です。 今回は『1億人の大質問！？ 笑ってコラえて！』『with MUSIC』『おしゃれクリップ』 などに携わり、入社6年目にして『女芸人No.1決定戦 THE W 2024』のプロデューサーに就任した片岡明日香さんにお話を伺いました。（前後篇の前篇／後篇を読む） 「女性として見る気が起きない」「じゃあ、やってみろ」 ――今年の『THE W』のプロデューサーに就任されました。片岡さんは入社6年目とのことですが、『THE W』にはいつから携わられているのでしょう。 2021年からなので、4回目ですね。ずっとディレクター

こんにちは、今年の4月に新卒入社でABEJAに入社しました島倉と申します。 現在はプロジェクトマネージャーとして働いています。 これはABEJAアドベントカレンダー2024の9日目の記事です。 なぜFirecrackerが開発されたのか 従来の仮想化技術の課題 Firecrackerの設計要件 Firecrackerとは何か Firecrackerのアーキテクチャ Firecrackerのコード解説とその仕組み microVMの仕組み MicroVMはなぜ軽量なのか 1. 起動プロセスでカーネルを直接ロード 2. mmap による効率的なメモリ管理 3. KVMを利用したvCPU管理 4. Seccompで不要なシステムコールを制限 5. 最小限のVirtIOデバイス まとめ We Are Hiring! 今回は、生成AIの発展が注目されている中あえて、「地味だけど重要な技術」にフォーカス