openai-community/gpt2 · Hugging Face
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper and first released at this page. Disclaimer: The team releasing GPT-2 also wrote a model card for their model. Content from this model card has been written by the Hugging Face tea
gpt2-japaneseã®ä½¿ã„æ–¹ (2) - GPT-2ã®ãƒ•ã‚¡ã‚¤ãƒ³ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ï½œnpaka
「gpt2-japaneseã€ã®ã€Œsmallモデルã€ã¨ã€Œãƒ•ã‚¡ã‚¤ãƒ³ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã®ã‚³ãƒ¼ãƒ‰ã€ãŒå…¬é–‹ã•ã‚ŒãŸã®ã§ã€æ—¥æœ¬èªžã«ã‚ˆã‚‹GPT-2ã®ãƒ•ã‚¡ã‚¤ãƒ³ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã‚’試ã—ã¦ã¿ã¾ã—ãŸã€‚ å‰å›ž (1) Google Colabã®ãƒŽãƒ¼ãƒˆãƒ–ックを開ã。 (2) メニュー「編集→ノートブック→ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ã‚¢ã‚¯ã‚»ãƒ©ãƒ¬ãƒ¼ã‚¿ã€ã§ã€ŒGPUã€ã‚’é¸æŠžã€‚ (3) 以下ã®ã‚³ãƒžãƒ³ãƒ‰ã§ã€ã€Œgpt2-japaneseã€ã‚’インストール。 # gpt2-japaneseã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ« !git clone https://github.com/tanreinama/gpt2-japanese %cd gpt2-japanese !pip uninstall tensorflow -y !pip install -r requirements.txt2. モデルã®ãƒ€ã‚¦ãƒ³ãƒãƒ¼ãƒ‰ã€Œsmallモデルã€ã‚’「gpt2-japaneseã€ãƒ•ã‚©ãƒ«ãƒ€ã«ãƒ€ã‚¦ãƒ³
Linguistic Features · spaCy Usage Documentation
GuidesGet startedInstallationModels & LanguagesFacts & FiguresspaCy 101New in v3.7New in v3.6New in v3.5GuidesLinguistic FeaturesPOS TaggingMorphologyLemmatizationDependency ParseNamed EntitiesEntity LinkingTokenizationMerging & SplittingSentence SegmentationMappings & ExceptionsVectors & SimilarityLanguage DataRule-based MatchingProcessing PipelinesEmbeddings & TransformersLarge Language ModelsTr
自然言語処ç†ã«ãŠã‘ã‚‹è‡ªå·±ç›¸äº’æƒ…å ±é‡ (Pointwise Mutual Information, PMI)
è‡ªå·±ç›¸äº’æƒ…å ±é‡ã¨ã¯, 2ã¤ã®äº‹è±¡ã®é–“ã®é–¢é€£åº¦åˆã„を測る尺度ã§ã‚ã‚‹(è² ã‹ã‚‰æ£ã¾ã§ã®å€¤ã‚’ã¨ã‚‹). 自然言語処ç†ã§ã¯è‡ªå·±ç›¸äº’æƒ…å ±é‡ãŒç›¸äº’æƒ…å ±é‡ã¨å‘¼ã°ã‚Œã‚‹ã“ã¨ãŒã‚ã‚‹. ã—ã‹ã—, æƒ…å ±ç†è«–ã§å®šç¾©ã•ã‚Œã‚‹ç›¸äº’æƒ…å ±é‡(後述ã™ã‚‹)ã¨ã¯å…¨ãç•°ãªã‚‹ãŸã‚, è‡ªå·±ç›¸äº’æƒ…å ±é‡ã¨å‘¼ã¶ã®ãŒè³¢æ˜Žã§ã‚ã‚‹. 自然言語処ç†ã«é–¢ã™ã‚‹æœ¬ã‚„è«–æ–‡ã§ã¯ç•¥ç§°ã®PMIãŒã‚ˆã用ã„られる. PMIã®å®šç¾©ç¢ºçŽ‡å¤‰æ•°ã®ã‚る実ç¾å€¤xã¨, 別ã®ç¢ºçŽ‡å¤‰æ•°ã®ã‚る実ç¾å€¤yã«å¯¾ã—ã¦, è‡ªå·±ç›¸äº’æƒ…å ±é‡PMI(x, y)ã¯, $PMI(x, y) = \log_2\frac{P(x, y)}{P(x)P(y)}$ ・・・(1) ã¨å®šç¾©ã•ã‚Œ, 値ãŒå¤§ãã‘ã‚Œã°å¤§ãã„ã»ã©xã¨yã®é–¢é€£ã—ã¦ã„る度åˆã„ãŒå¼·ã„. PMIãŒæ£ã®å€¤ã®å ´åˆ $P(x, y) > P(x)P(y)$ ⇒ $PMI(x, y) > 0$ xã¨yãŒä¸€ç·’ã«å‡ºç¾ã—ã‚„ã™ã„. (独立よりも)共起ã—ã‚„ã™ã„傾å‘ã«ã‚ã‚‹.
ã€æ—¥æœ¬èªžæ–‡ç« ã®è¡¨ç¤ºã‚µãƒ³ãƒ—ルã‚り】Pythonã®ãƒ¯ãƒ¼ãƒ‰ã‚¯ãƒ©ã‚¦ãƒ‰ã§ä½¿ãˆã‚‹ã‚«ãƒ©ãƒ¼ãƒžãƒƒãƒ—一覧✰ matplotlib/WordCloud✰ - ãªã‚ã†åˆ†æžè¨˜éŒ²
Pythonã®ãƒ¯ãƒ¼ãƒ‰ã‚¯ãƒ©ã‚¦ãƒ‰ã§ä½¿ãˆã‚‹ã‚«ãƒ©ãƒ¼ãƒžãƒƒãƒ—一覧 Pythonã®WordCloudパッケージã§ã¯â€matplotlibâ€ã«ã‚るカラーマップãŒä½¿ç”¨ã§ãã¾ã™ã€‚ ã“ã“ã§ã¯å®Ÿéš›ã«ãƒ¯ãƒ¼ãƒ‰ã‚¯ãƒ©ã‚¦ãƒ‰ã‚’使ã£ãŸã¨ãã®å…¨ç¨®é¡žã®ã‚«ãƒ©ãƒ¼ãƒžãƒƒãƒ—表示例一覧をã”紹介ã—ã¾ã™ã€‚ 表示例 WordCloudウドã§ã®ã‚«ãƒ©ãƒ¼ãƒžãƒƒãƒ—指定例 wordcloud = WordCloud(background_color=bg_color, colormap=â€ã“ã“ã§ã‚«ãƒ©ãƒ¼ãƒžãƒƒãƒ—を指定â€, font_path="./ipag.ttf",width=300,height=200).generate(sample_text) zipã§æ¬²ã—ã„人ã¯ã“ã¡ã‚‰ã‹ã‚‰ sample.zip - Google ドライブ 5.3MB æ—¥æœ¬èªžæ–‡ç« ã§ã®è¡¨ç¤ºã‚µãƒ³ãƒ—ル 白背景 inferno magma plasma viridis Blues BuGn BuP
Microsoft Flow 㧠Cognitive Service ã®æ´»ç”¨æ–¹æ³•ã‚’考ãˆã¦ã¿ã‚‹ - Oh! 365 blog
一ã¤å‰ã®è¨˜äº‹ã‚’公開ã—ãŸã¨ã“ã‚ã€Microsoft Flow ã‚’æ¥å‹™ã§åˆ©ç”¨ã—ã¦ã„る使ã£ã¦ã„ã‚‹å‹äººã‹ã‚‰ã‚³ãƒ¡ãƒ³ãƒˆã‚’もらã†ã“ã¨ãŒã§ãã€ã‚¢ã‚¤ãƒ‡ã‚¢ãŒè†¨ã‚‰ã‚“ã§ããŸã®ã§è‰²ã€…試ã—ã¦ã¿ã¾ã—ãŸã€‚ å‰å›žã®è¨˜äº‹ã¯ã“ã¡ã‚‰ Microsoft Flow 㨠SharePoint Online ã§è‡ªå‹•æŽ¡ç•ªæ©Ÿèƒ½ã‚’実装ã—ã¦ã¿ãŸ 目的をæŒã£ã¦å®Ÿè£…ã™ã‚‹ã»ã†ãŒå¦ã³ã‚‚多ã„ã¨æ€ã†ã®ã§ã€ä»Šå¾Œã¯ä»¥ä¸‹ã®ã‚ˆã†ãªã‚·ãƒŠãƒªã‚ªã‚’仮定ã—ã€Flow を使ã£ã¦å¯¾å¿œã§ããªã„ã‹ã‚’考ãˆã¦ã¿ã¾ã™ã€‚（何ã‹ã‚¢ã‚¤ãƒ‡ã‚¢ãŒã‚ã‚Œã°ã‚„ã£ã¦ã¿ã‚‹ã®ã§æ•™ãˆã¦ã»ã—ã„ã§ã™ï¼ï¼‰ 利用シナリオ : カスタマーサãƒãƒ¼ãƒˆ ãŠå®¢æ§˜ã‹ã‚‰å•ã„åˆã‚ã›ãƒ¡ãƒ¼ãƒ«ã‚’å—ä¿¡ã™ã‚‹ å•ã„åˆã‚ã›ãƒ¡ãƒ¼ãƒ«ã®è¨˜è¼‰å†…容をもã¨ã«ã€Q&A サイトや自社データベースã‹ã‚‰é–¢é€£ã™ã‚‹æƒ…å ±ã‚’å–å¾—ã™ã‚‹ å–å¾—ã—ãŸæƒ…å ±ã‚’ã€è‡ªå‹•è¿”信メールã®æœ¬æ–‡ã«è¨˜è¼‰ã™ã‚‹ 作æˆã—ãŸè‡ªå‹•è¿”信メールをãŠå®¢æ§˜ã¸è¿”ä¿¡ã™ã‚‹ 上記ã®ã‚ˆã†ã«ã€ç¬¬ä¸€æ¬¡å—付を完了ã—ã¾ã—ãŸã¨ã„ã†ã‚ˆã†ãªè‡ªå‹•
英文ã®ã‚¨ãƒ³ãƒˆãƒãƒ”ー
æƒ…å ±æºã®ã‚¨ãƒ³ãƒˆãƒãƒ”ーã¯ï¼‘９４ï¼å¹´ä»£ã«ã‚·ãƒ£ãƒŽãƒ³ï¼ˆC.E.Shannon）ã«ã‚ˆã£ã¦ã¯ã˜ã‚ã¦å®šç¾©ã•ã‚Œã¾ã—ãŸã€‚　シャノンã¯ã€è«–文（"Prediction and Entropy of Printed English", The Bell System Technical Journal, January 1951）ã§è‹±æ–‡ã®ã‚¨ãƒ³ãƒˆãƒãƒ”ーを計算ã—ã¦ã„ã¾ã™ã€‚　ã¾ãšã€ã‚¢ãƒ«ãƒ•ã‚¡ãƒ™ãƒƒãƒˆã®ãƒžãƒ«ã‚³ãƒ•æ€§ï¼ˆã‚¢ãƒ«ãƒ•ã‚¡ãƒ™ãƒƒãƒˆã®é †åºåˆ†å¸ƒï¼‰ã‚’利用ã—ã¦ã‚¨ãƒ³ãƒˆãƒãƒ”ーã®è¨ˆç®—を進ã‚ã€ãã‚Œã«ã¯é™ç•ŒãŒã‚ã‚‹ã“ã¨ã‚’è¿°ã¹ã€æ¬¡ã«å˜èªžã®é »åº¦åˆ†å¸ƒã« Ｚｉï½ï½†  ã®æ³•å‰‡ãŒã‚ã‚‹ã“ã¨ã‚’利用ã—ã¦ã€è‹±æ–‡ã‚’â€å˜èªžã‚’無記憶ã«ç™ºç”Ÿã™ã‚‹æƒ…å ±æºâ€ã¨è¦‹åšã—ãŸã¨ãã®ã‚¨ãƒ³ãƒˆãƒãƒ”ーを求ã‚ã¦ã„ã¾ã™ã€‚　英å˜èªžã®å¹³å‡ã‚¢ãƒ«ãƒ•ã‚¡ãƒ™ãƒƒãƒˆæ•°ã¯ï¼”．５文å—ãªã®ã§ã€ãれを４．５ã§å‰²ã‚Œã°ã‚¢ãƒ«ãƒ•ã‚¡ãƒ™ãƒƒãƒˆå½“ãŸã‚Šã®ã‚¨ãƒ³ãƒˆãƒãƒ”ーãŒå¾—られã¾ã™ã€‚以下ã«ã€ã‚·ãƒ£ãƒŽãƒ³ã®è«–æ–‡ã®å‰åŠéƒ¨åˆ†ã‚’è¦ç´„ã—ã¾ã™ã€‚ 注：実際ã«ã¯ã€å˜
åŒå¯¾åˆ†è§£ã«ã‚ˆã‚‹æ§‹é€ å¦ç¿’ - Preferred Networks Research & Development
入力\(x\)ã‹ã‚‰å‡ºåŠ›\(y\)ã¸ã®é–¢æ•°ã‚’å¦ç¿’ã™ã‚‹æ©Ÿæ¢°å¦ç¿’ã®ä¸ã§ã€å‡ºåŠ›ãŒæ§‹é€ を有ã—ã¦ã„ã‚‹å•é¡Œã¯æ§‹é€ å¦ç¿’（Structured Output Learning）ã¨å‘¼ã°ã‚Œã€è‡ªç„¶è¨€èªžå‡¦ç†ã‚’ã¯ã˜ã‚ã€æ¤œç´¢ã®ãƒ©ãƒ³ã‚ングå¦ç¿’ã€ç”»åƒè§£æžã€è¡Œå‹•åˆ†æžãªã©å¤šãã®åˆ†é‡Žã§ã¿ã‚‰ã‚Œã¾ã™ã€‚ 今回ã¯ãã®ä¸ã§ã‚‚複数ã®æ§‹é€ æƒ…å ±ã‚’çµ„ã¿åˆã‚ã›ã¦ã‚‚効率的ã«å¦ç¿’・推論ãŒã§ãã‚‹åŒå¯¾åˆ†è§£ã«ã‚ˆã‚‹æ§‹é€ å¦ç¿’ã«ã¤ã„ã¦ç´¹ä»‹ã‚’ã—ã¾ã™ã€‚ # æ§‹é€ å¦ç¿’ã«ã¤ã„ã¦ã‚ˆã知ã£ã¦ã„ã‚‹ã¨ã„ã†æ–¹ã¯åŒå¯¾åˆ†è§£ã«ã‚ˆã‚‹æ§‹é€ å¦ç¿’ã®ã¨ã“ã‚ã¾ã§èªã¿é£›ã°ã—ã¦ãã ã•ã„。 æ§‹é€ å¦ç¿’ã®å°Žå…¥ æ§‹é€ ã‚’æœ‰ã—ãŸå‡ºåŠ›ã®ä¾‹ã¨ã—ã¦ã€ ラベル列　（å“è©žã€å½¢æ…‹ç´ 列ã®æŽ¨å®šã€æ™‚系列ã«ãŠã‘るアクションã®æŽ¨å®šã€ã‚»ãƒ³ã‚µåˆ—） 木　　　　（係りå—ã‘解æžã«ãŠã‘ã‚‹ä¿‚ã‚Šå—ã‘木ã€æ§‹æ–‡è§£æžæœ¨ã€è«‡è©±åˆ†æžã€å› 果分æžï¼‰ グラフ　　（DAG:è¿°èªžé …æ§‹é€ ã«ã‚ˆã‚‹æ„味解æžã€€äºŒéƒ¨ã‚°ãƒ©ãƒ•ãƒžãƒƒãƒãƒ³ã‚°:機械翻訳ã®å˜èªžå¯¾å¿œï¼‰ é †ä½ä»˜é›†åˆï¼ˆæ¤œç´¢ã«ãŠã‘ã‚‹é †ä½
64bit Windows + python 2.7 + MeCab 0.996　ãªç’°å¢ƒã‚’ã¤ãã‚‹ - Qiita
ä¿®æ£å±¥æ´ 2016/2/19 コードã®ä¿®æ£ãƒ»å¿…è¦ãªãƒ•ã‚¡ã‚¤ãƒ«ã®æ›´æ–° 2016/2/19 トラブルシューティングã®è¿½åŠ ã¯ã˜ã‚ã« ãã‚‚ãã‚‚Windowsã§ãªãœï¼Ÿã¨ã„ã†è©±ãŒã‚ã‚‹ã¨æ€ã„ã¾ã™ãŒã€ç†ç”±ã¯ä¸€ã¤ã€‚Windowsã«ã¯å¼·åŠ›ãªIDEã§ã‚ã‚‹Visual StudioãŒã‚ã‚‹ã‹ã‚‰ã§ã™ã€‚ コード補完ã€ã‚¹ãƒ‹ãƒšãƒƒãƒˆã€ãƒ‡ãƒãƒƒã‚°ãƒ»ãƒ»ãƒ»ãƒ»å¤šãã®ãƒ¡ãƒªãƒƒãƒˆãŒã‚ã‚‹IDEã§ã™ãŒã€ã„ã‹ã‚“ã›ã‚“Windowsã§ã®ç’°å¢ƒæ§‹ç¯‰ã«ã¯é›£æ‰€ãŒå¤šãã€Python関係ã ã¨ãƒ“ルドã®å•é¡Œã§è©°ã¾ã‚‹ã“ã¨ãŒå¤šã„よã†ã§ã™ã€‚ ç†ç”±ã¯æ§˜ã€…ã§ã™ãŒã€Unixã®ã‚³ãƒžãƒ³ãƒ‰ãŒé€šç”¨ã—ãªã‹ã£ãŸã‚Šã€ãƒ•ã‚¡ã‚¤ãƒ«ãƒ‘スã®æ›¸ãæ–¹ãŒé•ã£ãŸã‚Šã¨ã„ã£ãŸã“ã¨ãŒã‚ã’られã¾ã™ã€‚ 今回ã¯ã€ãã‚“ãªãƒãƒ¼ãƒ‰ãƒ«ã‚’乗り越ãˆã€è‡ªç„¶è¨€èªžå‡¦ç†å±‹ã•ã‚“御用é”ã€MeCabã®Pythonライブラリを入れã¦ã¿ã‚ˆã†ã¨ã„ã†è©±ã§ã™ã€‚ MeCabã£ã¦ï¼Ÿ MeCabã¯ã€å½¢æ…‹ç´ 解æžãƒ„ãƒ¼ãƒ«ã€‚å½¢æ…‹ç´ ã¯æ„味ã®é€šã‚‹å˜èªžã®æœ€å°ãƒ–ãƒãƒƒã‚¯ã¨ã„ã£ãŸæ„Ÿ
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
GitHub - tanreinama/Japanese-BPEEncoder: Japanese-BPEEncoder
DeepL APIã‚’Pythonã‹ã‚‰åˆ©ç”¨ã—ã¦æ—¥æœ¬èªžã®æ–‡ç« を翻訳ã™ã‚‹ - deepblue
pycld2
Classify Text Using spaCy – Dataquest
GitHub - atefm/pDMM: Python implemetation for Dirichlet Multinomial Mixture (DMM) model
biterm
Latent Dirichlet Allocation ゆるãµã‚入門 - ã‚らã³ã日記
http://blog.yuku-t.com/entry/20110623/1308810518
{{#tags}}- {{label}}
{{/tags}}