Please note that both Megatron-LM and DeepSpeed have Pipeline Parallelism and BF16 Optimizer implementations, but we used the ones from DeepSpeed as they are integrated with ZeRO. Megatron-DeepSpeed implements 3D Parallelism to allow huge models to train in a very efficient way. Let’s briefly discuss the 3D components. DataParallel (DP) - the same setup is replicated multiple times, and each being

今、日本企業の間で「全社員のデジタル人材化」なるものが流行している。全社員を対象にDX（デジタルトランスフォーメーション）が何たるかを教え、ローコード／ノーコード開発ツールやデータ分析ツールの活用法などを学ばせて、ビジネスの現場でのアプリ開発やデータ分析に生かしてもらおうという取り組みだ。各社の事例ともあまりに似ているので、どこかのコンサルティング会社の入れ知恵かと疑ってしまうほどだ。 この「極言暴論」の読者ならよくご存じだと思うが、私はこの手の試みには懐疑的だった。というか、否定的だったと言ったほうがよいな。なぜ「だった」と過去形で書くのかと不審に思う人もいるだろうが、おいおい説明するので今は気にしないでほしい。で、何で否定的かというと、特にローコード／ノーコードといった類いの開発ツールを現場に使わせるのは筋が悪いからだ。かつてExcelなどの現場活用を推奨した結果、Excelのマクロだ

卒業研究をやりたくないまぁまぁ偏差値の高い大学に通う大学4年生です。 学部を卒業するためには、ある程度の単位を取っていれば、卒業研究は任意にしてほしい。私は大学四年時は、翌年から始まる社会人生活でのパフォーマンスを高めるための学習の時間や青春を謳歌するための時間に使いたい。 大学の教授はよく「大学は研究機関である」みたいなこと言うけど、それは教授のエゴの押し付けだ。大学にはもちろん研究目的で来ている学生もいれば、就職予備校として活用したい、青春を謳歌したいといった目的で来ている学生もいる。全学生に共通していることは、学費を納め、正規の手続きを行い、大学に在籍していることだ。全学生には4年間を自由に過ごす権利があるため、様々な4年間の過ごし方が認めるべきだ。大学教授は、学問の追求というエゴで研究を強要し、この権利を侵害しないでほしい。（私は研究する学生を否定しているわけではないし、やりたいな

自宅にこもり切りの超運動不足の方、筋トレ超初心者の方へ。まずは2分だけ動画の真似をしてみて欲しい。難易度は低いが、鈍り切った体に刺激が入り、眠っていた身体の活力を取り戻すキッカケになると思う。 「独房式・脂肪燃焼全身サーキット新… https://t.co/pMQHBJAlIA

G-gen の佐々木です。当記事では Google Cloud (旧称 GCP) の統合された機械学習プラットフォームである Vertex AI を解説します。 Vertex AI とは AutoMLとは Vertex AI における AutoML AutoML を使用したモデル作成 AutoML によるトレーニングの料金 カスタムトレーニング カスタムトレーニングを使用したモデル作成 カスタムトレーニングの料金 トレーニング方法の選択 モデル作成、予測に使用するツール Datasets Training Vertex AI Model Registry Endpoints Batch predictions Vertex AI に統合されたその他のツール Vertex AI Workbench Vertex AI Feature Store Vertex AI Labeling task

An illustration of various parallelism strategies on a three-layer model. Each color refers to one layer and dashed lines separate different GPUs. Training a neural network is an iterative process. In every iteration, we do a pass forward through a model’s layers to compute an output for each training example in a batch of data. Then another pass proceeds backward through the layers, propagating h

機械学習モデルの開発・運用を統合、「MLOps」で予測精度の低下を防ぐ MLOps（Machine Learning Operations） 機械学習の予測モデルを迅速に開発したり本番環境で高精度な予測モデルを継続的に運用したりするため、予測モデルの開発と運用を統合した基盤を築くことを指す。アプリケーション開発におけるDevOpsの概念を機械学習に応用したもの。DevOpsではソフトウエアのソースコードを管理するのに対し、「MLOpsではソースコードと学習データの両方を管理する」（DataRobot Japanの小川幹雄データサイエンスディレクター）点が異なる。 一般に予測モデルの開発は、「学習データの準備」「モデルの構築」「運用・保守」の3工程に大別される。予測モデルは時間とともに予測精度が低下するため、「つくったら終わり」ではなく、開発を終え本番環境で運用を始めてからも定期的に最新の学

以下の記事を参考に書いてます。 ・Reinforcement Learning for Software Quality Assurance 1. はじめに私は最近、強化学習を使用して、エージェントに画像の特徴の選択を教えるプロジェクトに取り組みました。エージェントは非常にうまく機能し、驚くべき結果を上げることができました。そして、このプロジェクトで最も印象的だったのが、エージェントがアプリ開発自体にどのように役に立ったかになります。 アプリを開発し、特定のマイルストーンを作成した時、エージェントに環境をテストさせました。エージェントはアプリにチート可能なルートやバグがあった場合、間違いなくそれを見つけました。実際、このアプリを人間でもテストしましたが、エージェントは一般的にバグをより迅速に発見しました。 以下は、このアプリの詳細記事へのリンクになります。 2. 品質保証の自動化実際、エー

起業家を生み、イノベーションを促す手段として根づくのか。経営者をめざす個人が自分で資金を調達して中小企業を買収し、価値を高めて投資家にも報いる「サーチファンド」の活用が世界的に増え始めた。波は日本にもおよんでいる。具体例をみてみよう。2年で買収先を決める東レに8年つとめた後、スペインに留学して経営学修士（MBA）を取得した志村光哉氏（35）。サーチファンドのM-Capital（山梨県韮崎市

Appleはあと数週間のうちに、「iPhone 14」シリーズを発表する見込みです。このシリーズで実現されると噂されているApple史上初の変化について、テック系メディア「MacRumors」が解説しています。 *Category：テクノロジー Technology｜*Source：MacRumors,Apple iPhone 14は冷却システム・カメラなどが大進化 iPhone 14シリーズの噂は年明け早々から大量に出回っています。 ◇ 【1】冷却システム 「iPhone 14」は、より大きなバッテリーを搭載し、CPUの処理能力も向上するはずです。そのため、通常の作業をしていても、本体温度を維持することが難しくなっています。 著名アナリストのミンチー・クオ氏によると、iPhone 14 ProとiPhone 14 Pro Maxは、この問題を回避するために「ベーパーチャンバーサーマルシス

TL;DR モチベーション ウェブページの背景に星空を見せたかった。それがちゃんと実際の星空の、リアルタイムの状況を反映していたら面白いよねと思った。 スタート時の状況 主に愛情のこもった手打ち HTML5 と 手打ち CSS でシンプルな Web ページを作っていた https://web.archive.org/web/20210212085818/celestian.io この前にどうやら React が世間では流行ってるらしいということで React と TypeScript を使った小さい 1 ページアプリを作った https://web.archive.org/web/20201202100627/https://celestian.io/ssr/ 今の https://celestian.io/sushi の前身 C# で WPF のデスクトップアプリとか作ってたことがあった

DMM.comは8月12日、VRSNSアプリ「DMM Connect Chat」の提供を8月31日に終了すると発表した。「良いサービスを提供するため、改善やイベントなど鋭意努力を続けていたが、今後の開発ならびにサービスの継続が困難だと判断した」と説明している。 DMM Connect Chatは3月15日にサービスを開始。アバターを操作し、他のユーザーとコミュニケーションを取れる機能などを提供している。個人向けにはユーザー同士の交流での場として提供。法人向けにも、バーチャルYouTuberなどによるVRライブ向けイベント用プラットフォームとして提供していた。 3Dアバターの外部連携サービス「DMM VR Connect」も8月31日に終了すると発表した。同サービスについては5月にサードパーティーとの連携機能の終了を予告済み。諸般の事情によりサービス継続が困難であるとして、新規クライアントの

pixivではNext.jsを用いたフロントエンドのリプレイスプロジェクトを2022年3月末より行っており、現時点(2022年8月)でリクエスト機能をNext.jsにてリプレイスしました。 今回のpixiv insideではピクシブ株式会社で働くエンジニアの取り組みとして、pixivのフロントエンドをNext.jsでリプレイスする取り組みについて実際に取り組んだメンバーからご紹介します。 まずは皆さんの自己紹介をお願いします namazu: pixivのウェブ領域に関するテックリードを担当しているnamazuです。今回のNext.js化プロジェクトではPjMやNext.jsのホスティング回りの実装を担当しています。 shu: 2022年3月に入社したshuです。Next.js化ではフロントエンドの設計、実装を担当しています。 mog: エンジニアとしてアルバイトをしているmogです。Nex

I am not a data scientist. And while I know my way around a Jupyter notebook and have written a good amount of Python code, I do not profess to be anything close to a machine learning expert. So when I performed the first part of our no-code/low-code machine learning experiment and got better than a 90 percent accuracy rate on a model, I suspected I had done something wrong. If you haven't been fo

はじめに 今月から機械学習の案件に携わっており、現在、BERTという自然言語処理モデルについて勉強しています。 最近は、時系列データにBERTを適用して特定の行動を予測するTabBERT(Tabular BERT)というモデルに関する論文を読んでいます。 一部がクレジットカードの使用歴から不正使用かどうかを判別するという内容なのですが、内部の処理が気になったため、GitHubにあがっているコードで論文と同じ結果が得られるかどうかを試してみることにしました。 ご丁寧にsetup.ymlが用意されていたので、Anacondaでちょちょいと動作を確認してみよ〜くらいのノリで環境構築を始めたところ、ResolvePackageNotFoundエラーでいきなり失敗しました。 (base) [9:10:58] → conda env create -f setup.yml Collecting pac

この記事は自作している強化学習フレームワーク SimpleDistributedRL の解説記事です。 前：MuZero Stochastic MuZero Stochasticはストキャスティック(stəkǽstik)と読み、"確率論的な"という意味です。 MuZeroは次の状態が決定的でないと学習できないという問題がありました。 マルコフ決定過程(MDP)の環境では次の状態が確率論的に決まる環境を想定しているため、適用できる環境が限定的です。 Stochastic MuZero は次の状態を確率的に予測できるようにしたMuZeroとなります。 参考 ・Planning in Stochastic Environments with a Learned Model (論文) 事後状態（Afterstates） 今の状態と次の状態の間に事後状態という概念を追加します。 今の状態 $s_t$

米ガートナー「先進テクノロジーのハイプサイクル2022年」を発表。分散IDやWeb3は過度な期待、機械学習によるコード生成、デジタルヒューマンなどは黎明期 米調査会社のガートナーは、「先進テクノロジーのハイプサイクル2022年」を発表しました。 ガートナーのハイプサイクルは、技術の登場から安定までを5つのステージに分けて説明したものです。5つのステージは、「黎明期」から始まり、「『過度な期待』のピーク期」「幻滅期」「啓発期」「生産性の安定期」まで。この途中で消えていく技術もあります。 2022年版では企業が競争上の差別化と効率化を推進するために必ず知っておくべき25のテクノロジーが紹介されています。同社はこれらのテクノロジーの多くが主流に到達するまでに10年以上かかると予想しています。 ハイプサイクルの左からいくつか注目したいテクノロジを見ていきましょう。 「黎明期」には機械学習によるコー

倫理に反する人工知能（AI）を提供すれば、巨額の制裁金が科される。そんな事態がいよいよ現実のものとなりそうだ。欧州連合（EU）で「AI規制案」が2024年に全面施行される可能性がある。AIの提供者にとって、AI倫理への取り組みは待ったなしの状況といえる。実際、米IBMやNTTデータなどAI倫理に取り組む企業は少なくない。AI規制案の動向とAI倫理への取り組み事例を解説する。 「EUのAI規制案は施行に向けて着々と準備が進んでいる。2024年には全面施行になる可能性がある」。渥美坂井法律事務所・外国法共同事業の三部裕幸弁護士は、EUの欧州委員会が整備を進めるAI規制案の状況をこう語る。 EU AI規制案はEU加盟国で販売したりサービスを提供したりするAIシステムのプロバイダー（提供者）が規制の対象になる。AIシステムにとどまらず、推論結果などのアウトプットをEUで提供する場合も対象に含まれる

慶応義塾大学とデータ解析支援のFRONTEO（フロンテオ）は会話から認知症の可能性を判断する人工知能（AI）を開発した。医療機器として開発を進め、国の承認を得てスクリーニング検査などで活用したい考えだ。高齢者と医療者などが交わす会話の内容から、認知症の可能性をAIが判定する。フロンテオが強みを持つ自然言語処理向けのAI技術を生かす。健康な人と認知症の人計135人の5～10分の会話432回分を

イギリスのロンドンとアメリカのロスアルトスを拠点とするスタートアップ・Stability AIが2022年8月10日、まるで人間のアーティストが描いたような高クオリティの画像を生み出せる画像生成AI「Stable Diffusion」を研究者向けにリリースしました。Stable Diffusionは間もなく一般公開も予定されていますが、人間のアーティストからは「アーティストの権利を侵害している」といった批判が寄せられています。 Stable Diffusion launch announcement — Stability.Ai https://stability.ai/blog/stable-diffusion-announcement Stable Diffusion draws controversy on Twitter from artists who say the AI in