タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
AWS Systems Manager Parameter Storeを便利に使うツール "ssmwrap" がv2になりました - KAYAC Engineers' Blog
SREチームの長田です。 今回はssmwrapという拙作CLIツールのはなしです。 ssmwrapとは ssmwrapは、AWS Systems Manager Parameter Store(以下SSM Params)から値を取得し、 環境変数またはファイルに出力した上でコマンドを実行するツールです。 secret類をSSM Paramsに保存している場合、アプリケーション実行時にSSM Paramsから必要な値を取得することになります。 AWSのサービスにアクセスするという操作は、それなりに手間がかかるものですが、 ssmwrapを使えば環境変数とファイルというより簡便な入出力インターフェイスを通してSSM Paramsの値を参照できます。 実装が簡潔になるだけでなく、アプリケーションからのAWS APIへの依存を排除することにもなります。 # SSM Paramsにこんな値が保存され
TypeScript: const type parameterを用いるとas const(constアサーション)が省略できる - Qiita
TypeScript: const type parameterを用いるとas const(constアサーション)が省略できるTypeScript この記事では、TypeScriptにおけるconst type parameterという概念と、それがどのようにas const（constアサーション）の使用を省略できるかについて説明します。これは初心者にとって少し複雑に感じるかもしれませんが、実際には非常に便利で強力な機能です。では、早速見ていきましょう。 基本的な関数の例 まずは、基本的な関数を2つ見てみましょう。 function withoutConst<T>(value: T): T { return value; } function withConst<const T>(value: T): T { return value; } ここで、withoutConstとwithC
Python3.12からPEP695-Type Parameter Syntax(型引数構文)が導入され、型変数を使ったクラスや関数の定義が大きく変わる - Qiita
# インスタンス属性`hoge`の型がなんであるかはコンストラクタ引数に # 渡された`hoge`引数の型で決まることを型チェッカーに伝える class Foo(Generic[_T]): hoge: _T def __init__(self, hoge: _T) -> None: ... # この関数が返す型がなんであるかは引数に渡されたシーケンスの型引数が # 何型かで決まることを型チェッカーに伝える def get_first(seq: Sequence[_T]) -> _T: return seq[0] 上記のコードでは、グローバルに宣言した_Tをまったく違う意味として使えてしまっています。 つまり、ひとつの型変数に過剰な責任が載せられてしまっています。 もちろん、別々の名前で宣言することで、意味が違うことを強調し、責任を分散させることもできます。 しかし、ジェネリッククラス、関数
GitHub - huggingface/peft: 🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
AWS Systems Manager Public Parameter で AWS サービスについてアレコレやってみた！ | DevelopersIO
AWS Systems Manager Public Parameter で AWS サービスについてアレコレやってみた！ 園部です。 今日は AWS Systems Manager（以降 SSM） の Parameter Store で AWS が提供している Public Parameter を利用して AWS サービスについて色々調べてみたいと思います！ Public Parameters とは 一部の AWS のサービスでは、共通のアーティファクトを Systems Manager パブリック パラメータとして公開します。たとえば、Amazon Elastic Compute Cloud (Amazon EC2) サービスは、パブリックパラメータとして Amazon マシンイメージ (AMI) の情報を公開します。GetParametersByPath、GetParameter、お
Secrets ManagerとParameter Storeの違いについてまとめてみた | DevelopersIO
Secrets Manager Secrets Manager とは AWS Secrets Manager とは AWS Secrets Manager は、アプリケーション、サービス、および IT リソースへのアクセスを管理するのに役立ちます。 これだけではよくわからないと思うので、特徴について整理します。 Secrets Manager の機能 シークレットの保存と管理 Secrets Manager は、セキュリティが重要な情報を暗号化して保存し、必要に応じてアクセスを提供します。AWS KMS（Key Management Service）を使用してシークレットを暗号化することで、データの安全性を確保します。 自動ローテーション シークレットを定期的に変更することはセキュリティのベストプラクティスです。Secrets Manager は、特定のスケジュールに基づいてシークレットを
AWS CDK で API Gateway を作った後、テストコードに URL を伝えるのは Parameter Store が便利だよという話 | DevelopersIO
やること AWS CDK で API Gateway （Mock API）をつくる URLを Parameter Store に登録する テストコードからURLを取得し、リクエストする AWS CDK で API Gateway（ダミー）をつくる サンプルとなる API Gateway を構築します。必要な AWS CDK モジュールをインストールしましょう。 > npm install --save-dev @aws-cdk/aws-apigateway @aws-cdk/aws-ssm 次に、CDK のコードを書きます。 import * as cdk from '@aws-cdk/core'; import * as apig from '@aws-cdk/aws-apigateway'; import * as ssm from '@aws-cdk/aws-ssm'; // ① f
2D顔画像→3D顔CG生成する論文「Face-to-Parameter Translation for Game Character Auto-Creation」を読んでみた - Qiita
2D顔画像→3D顔CG生成する論文「Face-to-Parameter Translation for Game Character Auto-Creation」を読んでみた機械学習ゲーム開発顔画像GANDeepL はじめに はじめまして。竜太（仮名）です。テクニカルアーティストしてます。最近はAIによるアセット生成にも興味持ってます。 本記事では、DeepL翻訳の検証がてらNetEaseさんの論文「Face-to-Parameter Translation for Game Character Auto-Creation」（2D顔画像→3C顔CG制御用パラメータ生成）の理解を深めるために冬休み中に読んでみました。ソウルキャリバーのようなキャラクリシステムがないと応用利かない技術ではありますがゲーム開発会社には有益そうだったので日本語化してみました。良ければご活用ください。また誤訳や詳しい
こんにちは、CX事業本部の若槻です。 AWS CLIでAWS Systems Manager パラメーターストア（SSM Parameter）からすべてのパラメータの名前や値などの情報を一括取得するコマンドを確認したのでご紹介します。 コマンド AWS CLIで以下のコマンドを実行すればすべてのパラメータの名前と値を一括取得できます。（ただし、階層が設定されていないパラメータに限る） aws ssm get-parameters-by-path --path "/" $ aws ssm get-parameters-by-path --path "/" { "Parameters": [ { "Name": "AAAAAAA", "Type": "String", "Value": "あああああああ", "Version": 1, "LastModifiedDate": 158523588
[アップデート] Lambdaから直接Parameter Store/Secrets Managerから値を取得できるようになりました！ | DevelopersIO
こんにちは 新卒の南です。 今回のアップデートでLambdaから直接Parameter Store, Secrets Managerから値を取得できるようになりましたのでご紹介します。 アップデート概要 これまでLambdaでParameter StoreやSecrets Managerから値を取得する際はSDK経由で直接APIを叩いていました。 それぞれAPIのコールごとに課金(パラメータストアAPIインタラクション1万回ごとに0.05 USD)されますので、自前でキャッシュを実装していた方もいるのではないでしょうか？ 今回のアップデートではLambdaから直接値を取ってこれるようになっただけではなく、AWS側でキャッシュしてくれることで、コストの削減•レイテンシーの改善を行うことができるようになります。 また、仕組みとしてはLambda Extensionsを使っており、関数呼び出しと
![[アップデート] Lambdaから直接Parameter Store/Secrets Managerから値を取得できるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/25fe5c76b0259f67cfbb0286bc1fd48c715f810f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-lambda.png)
Prompt Tuning : Model Tuningの精度に迫る最新チューニング手法 (The Power of Scale for Parameter-Efficient Prompt Tuningまとめ) - Qiita
Prompt Tuning : Model Tuningの精度に迫る最新チューニング手法 (The Power of Scale for Parameter-Efficient Prompt Tuningまとめ)自然言語処理DeepLearningチューニング深層学習論文読み こんにちは，Nakaiと申します． 今回はGoogle Researchから2021/04/18にarXivに投稿されたチューニング手法であるPrompt Tuningについてゼミで紹介するので，ついでにQiitaにも投稿させていただこうと思います． 原論文 : The Power of Scale for Parameter-Efficient Prompt Tuning codeの公開は今の所なさそうです(2021/05/01現在) 数式及び図は基本的に論文から引用しています． また，私は普段は画像認識の領域に関
🤗 PEFT: Parameter-Efficient Fine-Tuning of Billion-Scale Models on Low-Resource Hardware Motivation Large Language Models (LLMs) based on the transformer architecture, like GPT, T5, and BERT have achieved state-of-the-art results in various Natural Language Processing (NLP) tasks. They have also started foraying into other domains, such as Computer Vision (CV) (VIT, Stable Diffusion, LayoutLM) an
Make Every feature Binary: A 135B parameter sparse neural network for massively improved search relevance - Microsoft Research
Make Every feature Binary: A 135B parameter sparse neural network for massively improved search relevance Published August 4, 2021 By Junyan Chen , Principal Applied Science Manager Frédéric Dubut , Principal PM Manager, Core Search & AI Jason (Zengzhong) Li , Partner Group Engineering Manager Rangan Majumder , Vice President Recently, Transformer-based deep learning models like GPT-3 have been ge
EC2 Systems Manager の Parameter Store から最新の AWS Windows AMI の ID を取得して Amazon EC2 Windows インスタンスを構築した場合、構築直後の Windows Update は不要になりますか？ | DevelopersIO
EC2 Systems Manager の Parameter Store から最新の AWS Windows AMI の ID を取得して Amazon EC2 Windows インスタンスを構築した場合、構築直後の Windows Update は不要になりますか？ テクニカルサポートノート。サービス名：Systems Manager, Parameter Store, AWS Windows AMI, Amazon EC2 Windows
AWS Systems Manager Parameterと StoreSecrets Managerの違い - Qiita
初めに AWS Systems Manager Parameter Store と AWS Secrets Manager についてどちらも認証情報など、漏れてはいけない大切な情報を扱うサービス。という程度の理解で、いまいち使い分けがわからなかったので、簡単にまとめました。 この記事でわかること 2つのサービスの特徴と違い どのような値を保持しているのか それぞれの特徴 AWS Systems Manager Parameter Store 階層的にパラメータを整理できる。 バージョン管理が可能で、過去のパラメータ値にロールバックできます。 IAMポリシーを使用してアクセス制御が可能。 無料(一部制限あり) AWS Secrets Manager 自動的に機密情報のローテーションが可能。 IAMポリシーを使用してアクセス制御が可能。 AWS CloudTrailログを使用して、シークレット
“Low-Resource” Text Classification: A Parameter-Free Classification Method with Compressors
AbstractDeep neural networks (DNNs) are often used for text classification due to their high accuracy. However, DNNs can be computationally intensive, requiring millions of parameters and large amounts of labeled data, which can make them expensive to use, to optimize, and to transfer to out-of-distribution (OOD) cases in practice. In this paper, we propose a non-parametric alternative to DNNs tha
Using the AWS Parameter and Secrets Lambda extension to cache parameters and secrets | Amazon Web Services
AWS Compute Blog Using the AWS Parameter and Secrets Lambda extension to cache parameters and secrets This post is written by Pal Patel, Solutions Architect, and Saud ul Khalid, Sr. Cloud Support Engineer. Serverless applications often rely on AWS Systems Manager Parameter Store or AWS Secrets Manager to store configuration data, encrypted passwords, or connection details for a database or API ser
Parameter-Efficient LLM Finetuning With Low-Rank Adaptation (LoRA) - Lightning AI
← Back to blog Parameter-Efficient LLM Finetuning With Low-Rank Adaptation (LoRA) Posted on April 26, 2023 by Sebastian Raschka - Articles, Tutorials Key takeaway In the rapidly evolving field of AI, using large language models in an efficient and effective manner is becoming more and more important. In this article, you will learn how to tune an LLM with Low-Rank Adaptation (LoRA) in a computatio
Introducing LLaMA: A foundational, 65-billion-parameter language model
Introducing LLaMA: A foundational, 65-billion-parameter large language model UPDATE: We just launched Llama 2 - for more information on the latest see our blog post on Llama 2. As part of Meta’s commitment to open science, today we are publicly releasing LLaMA (Large Language Model Meta AI), a state-of-the-art foundational large language model designed to help researchers advance their work in thi
Turing-NLG: A 17-billion-parameter language model by Microsoft - Microsoft Research
Microsoft Research Forum Episode 3: Globally inclusive and equitable AI, new use cases for AI, and more In the latest episode of Microsoft Research Forum, researchers explored the importance of globally inclusive and equitable AI, shared updates on AutoGen and MatterGen, presented novel use cases for AI, including industrial applications and the potential of multimodal models to improve assistive
Robocopy コマンド作成及び実行作業手順及びパラメーター、オプション、Tips、History. How to Make and Execute Robocopy with Option, Parameter, and so on - Qiita
Robocopy コマンド作成及び実行作業手順及びパラメーター、オプション、Tips、History. How to Make and Execute Robocopy with Option, Parameter, and so onPowerShellcmdrobocopy Robocopyの問題点 アメリカにも本音と建前がある RobocopyはもちろんRobocopのようにRobotの如く堅牢で何があってもミラーリングする。 公式はRobust Copyと言っているが、それは建前でしかない。それならRobuCopyにしかならないのでおかしい。/ZBなどどうみてもゾンビでしかない。いわゆる日本人でいう建前と本音であろう。 記事が削除されて経緯がわからない 問題点としては、古くからある割に、公式のソースや、解説のブログも消えていることが多く、現在残っているものでは、オプションの追加や経
In deep learning, models typically reuse the same parameters for all inputs. Mixture of Experts (MoE) defies this and instead selects different parameters for each incoming example. The result is a sparsely-activated model -- with outrageous numbers of parameters -- but a constant computational cost. However, despite several notable successes of MoE, widespread adoption has been hindered by comple
【初心者】AWS Secrets Manager と AWS Systems Manager Parameter Store を使ってみる - Qiita
【初心者】AWS Secrets Manager と AWS Systems Manager Parameter Store を使ってみるAWS初心者parameter_storeSecretsManager 1. 目的 AWSのセキュリティ関連サービスの復習をしている。パスワードなどの保護すべき値を安全に保存するための仕組みであるAWS Secrets Manager と AWS Systems Manager Parameter Store について、それぞれを試して使い勝手などを確認する。 機能の差異や使い分けについては、Qiita記事「AWSのParameter StoreとSecrets Manager、結局どちらを使えばいいのか？比較」に詳しく整理、網羅されており、それを読むだけで一通り理解できるが、一応自分でどんなものか試してみる。 2. やったこと RDSと、RDSへ接続し
Flask（Python）及びExpress（Node.js）における、Get parameter 及び Post body の取得 , CORSの有効化 - Qiita
以下、6項目についてみていきます。HTMLファイルから送信しています。 送信も受信もローカルで行っています。サーバで試すなら、ドメインとか適宜読み替えてください。 Flask Get Parameter取得 Flask Post Body取得 Flask Cors有効化 Express Get Parameter取得 Express Post Body取得 Express Cors有効化 注意点として、Content-Typeはすべてapplication/jsonで送受信しています。他の様式を使う方は適宜読み替えてください~。 HTML（送信側） ブラウザで表示して、実行してください <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=dev
ピュア Ruby で Ruby 2.7 の Numbered parameter を実装してみよう！ - Qiita
Ruby Advent Calendar 2019 1日目の記事になります。 本記事では Ruby 2.7 で実装される Numbered parameter っぽい機能をピュアRuby で実装してみたいと思います。 またこの記事の実装は以下の記事を参考にして書いています。 Rubyのブロックつらい問題を解決する暗黙のブロックパラメータ - Qiita 4年以上前にこういうのが書かれていたのすごい。 Numbered parameter とは Numbered parameter、略してナンパラです。 ナンパラは『暗黙的にブロックの引数を参照する構文』になります。 通常ブロックで引数を受け取る場合、仮引数を定義して受け取ります。 # it という名前の仮引数を定義して、それで引数を参照する [1, 2, 3].map { |it| it.to_s + it.to_s } # => ["11
GitHub - facebookresearch/MobileLLM: MobileLLM Optimizing Sub-billion Parameter Language Models for On-Device Use Cases. In ICML 2024.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
AWS CloudFormation accelerates dev-test cycle with new ChangeSets parameter
AWS CloudFormation launches a new parameter OnStackFailure for the CreateChangeSet API that allows customers to control the rollback behavior of ChangeSets. Customers use ChangeSets to preview the impact of a stack operation on active resources. Customers can deploy ChangeSets with an ExecuteChangeSet operation. With this launch, customers can modify the actions that CloudFormation will take when
`router.query` returns undefined parameter on first render in Next.js · vercel/next.js · Discussion #11484
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Node.jsでSSM Parameter Storeから値を取得・作成・更新・削除する方法 | DevelopersIO
はじめに リテールアプリ共創部のるおんです。 先日、Node.jsを用いたLambda関数でAWS Systems ManagerのParameter Storeから値を取得する機会がありました。 今回は、Node.jsからParameter Storeの値の操作(取得・作成・更新・削除)する方法について解説します。 3行まとめ Parameter Storeからの値の取得は、AWS SDK for JavaScriptのGetParameterCommandを使用。 Parameter Storeからの値の作成は、AWS SDK for JavaScriptのPutParameterCommandを使用。更新する際はOverwriteプロパティをtrueにする。 Parameter Storeからの値の削除は、AWS SDK for JavaScriptのDeleteParameterC
Amazon Linux 2023 の 最新 AMI ID は Parameter Store から取得しよう！ | DevelopersIO
こんにちは！ AWS事業本部コンサルティング部のたかくに（@takakuni_）です。 今回は、タイトルの通り Amazon Linux 2023 の AMI ID は Parameter Store から取得しようです。 Terraform では、 data ブロックを使用して各 OS の最新 AMI ID を取得できます。 以下は Amazon Linux 2 OS で最新の AMI ID を取得する例です。 # Parameter Store のパブリックパラメーターを利用して AMI ID を取得 data "aws_ssm_parameter" "amazonlinux_2" { name = "/aws/service/ami-amazon-linux-latest/amzn2-ami-hvm-x86_64-gp2" # x86_64 # name = "/aws/servic
TerraformでAWS CodeCommitのGit認証情報を生成してAWS Systems Manager Parameter StoreやAWS Secrets Managerに保存する | DevelopersIO
「Terraformで作ったCodeCommitのGit認証情報をいい感じに管理したい」 GitLabリポジトリをCodeCommitにミラーリングしたい時がありました。 以下の記事で設定できました。(感謝！) GitLabのリポジトリをCodeCommitにミラーリングする流れとしては、以下になります。 CodeCommit作成 IAMポリシーとIAMユーザー作成 CodeCommit Git認証情報の作成 GitLabにてミラーリングの設定(Git認証情報をセット) Terraformを使うにあたり、「3.CodeCommit Git認証情報の作成」の部分で作成するGit認証情報の管理すればいいんだろうと少し悩みました。 結論: Git認証情報の作成: 「aws_iam_service_specific_credential」で作成可能 認証情報の管理: SystemManager P
In this work, we explore "prompt tuning", a simple yet effective mechanism for learning "soft prompts" to condition frozen language models to perform specific downstream tasks. Unlike the discrete text prompts used by GPT-3, soft prompts are learned through backpropagation and can be tuned to incorporate signal from any number of labeled examples. Our end-to-end learned approach outperforms GPT-3'
最近公開された論文 “Low-Resource” Text Classification: A Parameter-Free Classification Method with Compressors (Jiang et al., Findings 2023) は、gzip で圧縮したデータの長さを活用し、テキスト分類課題で BERTよりも優れたパフォーマンスを発揮すると述べています。面白そうだったので、自分でこの方法を実装して試してみました。その結果、実際に livedoor ニュースコーパス を用いたテキストのカテゴリー分類では、日本語 BERTよりも優れた結果が出ました。 どんな手法なのか やっていることはシンプルで、まずNCD(Normalized compression distance)を算出します。例では圧縮アルゴリズムに gzip を使っています。 個々のデータxとyを圧
Discover how companies are responsibly integrating AI in production. This invite-only event in SF will explore the intersection of technology and business. Find out how you can attend here. Parameters are the key to machine learning algorithms. They’re the part of the model that’s learned from historical training data. Generally speaking, in the language domain, the correlation between the number
INTELLECT–1: Launching the First Decentralized Training of a 10B Parameter Model
INTELLECT–1: Launching the First Decentralized Training of a 10B Parameter Model We're excited to launch INTELLECT-1, the first decentralized training run of a 10-billion-parameter model, inviting anyone to contribute compute and participate. This brings us one step closer towards open source AGI. Recently, we published OpenDiLoCo, an open-source implementation and scaling of DeepMind’s Distribute
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The Secret Parameter, LFR, and Potential RCE in NodeJS Apps
AWS CLIですべてのSSM Parameterを一括取得する | DevelopersIO
Parameter-Efficient Fine-Tuning using 🤗 PEFT
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
The Power of Scale for Parameter-Efficient Prompt Tuning
gzip + kNN のテキスト分類で BERT 超え論文 "Low-Resource" Text Classification: A Parameter-Free Classification Method with Compressors を実装し試す - A Day in the Life
Google trained a trillion-parameter AI language model
b.hatena.ne.jp
note.com/gameape
note.com/yumimas
search.app
www.inabasan.com
www.devex.com