はじめに 「ChatGPT/LangChainによるチャットシステム構築」 という本が素晴らしかったので、ちゃんと身につけるために Python だけじゃなくて Node.js でも動かしてみました。同じことをやろうとした人のために、ここにそのときの記録を残します。特に callbacksやmemoryについて、詳細に記載しようと思います。 書籍の説明につながるようなことはできる限り書きません！めっちゃ良書なので、ご興味持っていただけた方は購入してもらえますと 🙏 5章まではPython固有のToolを利用しており、6章の中身は7章とかなり近いところがあるので、7章のプログラムだけここに記載します。LangChainの学習に注力したいので、Serverelss Frameworkに関連するコードは省略しました。また、Momentoや @slack/bolt に関する説明はしません。 プロ

An open source load testing tool. Define user behaviour with Python code, and swarm your system with millions of simultaneous users. Define user behaviour in code No need for clunky UIs or bloated XML. Just plain code. Distributed & Scalable Locust supports running load tests distributed over multiple machines, and can therefore be used to simulate millions of simultaneous users Proven & Battle-te

5ch(旧2ch)ではここ数年はTwitterを使用するようになってしまいましたが、ネットのミームの発信地点であって、様々なスラングを生み、様々な文化を作ってきたと思います。 学生時代、2chまとめとか見ていたので、影響を受けてきたネット文化で、感覚値からすると、どうにも流行り廃りがあるようです。 5chの過去ログを過去18年ほどさかのぼって取得する方法と、懐かしいネットスラングのドキュメントに占める出現具合を時系列でカウントすることで、時代の変遷でどのように使用の方法が変化したのか観測することができます。 文末に「orz」って付けたら若い人から「orzってなんですか？」と聞かれて心身共にorzみたいになってる— ばんくし (@vaaaaanquish) October 19, 2018 図1. 今回集計したorzの結果 例えば、今回集計した5chの書き込み500GByte程度のログからで

タイトルはアオリです。全然使いこなせてないので予めご了承ください。 やりたいこと Python素人なので勉強したい。 Webスクレイピング素人なので実装したい。 自然言語処理(NLP)素人なので使ってみたい。 →PythonでWebスクレイピングしてその結果を言語処理するアプリケーションを作る。 作ったもの スクリプトに引数として単語を与えると、その単語のWikipedia記事を解析。 「いつ」「どこで」「だれが」「なにを」「どうした」に分解し、ランダムにそれらを組み合わせて表示する。 動作例 (豊臣秀吉のページ解析) $ python cotoha_api_wikipedia.py "豊臣秀吉" word:豊臣秀吉 text_number:170 100%|███████████████████████████████████████████████████████████| 170/1

Pythonを使ってみよう～Webスクレイピングに挑戦し初歩を学ぶ～ 話題のPythonを使って学んでみましょう！ 今回はWebスクレイピングにトライし、その初歩を学びます。 Pythonの最初のバージョン(0.9)は、1991年に登場しました。C#の登場が2000年なので、Pythonの歴史は意外に古い印象です。本稿を執筆している2018年3月時点でのPythonのバージョンは3で、バージョン2とは、かなり仕様が異なります。本稿では、Python3を使用します。 さて、Pythonの特長は、簡潔な言語仕様と、学習のしやすさです。筆者は、これまでC++など、多くのコンピュータ言語を使用してきました。C++などに比べて、Pythonは同じことをするにも、少ないコード量で済み、また学習する時間も節約できます。何らかのコンピュータ言語をすでに使える人であれば、１日勉強すれば、ある程度、Pytho

【プログラミング】初心者がPythonでウェブスクレイピングをするためのURL資料まとめ JavaScriptにPHPに覚えることが山ほどあるにもかかわらず、Pythonにも興味が湧いてきた…。どうやら、ウェブの情報をスクレイピング(自動収集)できる。これだけでもかなり魅力的だ。さらにAI化することもできるらしい…。 ということで2018年からPython生活もスタートするためにも資料URLを集めてみたよ…。 ❏Python(パイソン)は、汎用のプログラミング言語である。コードがシンプルで扱いやすく設計されており、C言語などに比べて、さまざまなプログラムを分かりやすく、少ないコード行数で書けるといった特徴がある ❏Pythonは、オランダ人のグイド・ヴァンロッサムが開発した。名前の由来は、イギリスのテレビ局 BBC が製作したコメディ番組『空飛ぶモンティ・パイソン』である。Pythonとい

注：この猫ちゃん画像は昔私が撮影した猫ちゃんで、ネットから落とした画像ではありません 追記：現在このスクリプトは使用できないようです Yahoo画像検索の仕様が変わったらしく、2018/08/12 の時点でこのスクリプトは使用できないようです。仕様が変わると適用できなくなるのは、スクレイピングのスクリプトの宿命ですね。今のところ対応の予定はありません。申し訳ございません。 ネットから画像収集しようとしたら意外に大変だった 最近、以下で書いているように機械学習に興味津々だったりします。 機械学習やディープラーニングを試していると、やっぱり試したくなるのが、チュートリアルで使用しているデータセット以外のデータにも同じ手法が適用できるかどうかですね。 とりあえず画像をネットから収集しようかなと思い、googleの画像検索の結果を一つ一つ右クリックで落とし始めたのですが、どう考えても非人間的過ぎま

こんにちは、ほけきよです。 ここ数回に分けて書いた『面倒がすぎる内容をpythonにさせよう』シリーズの集大成。 ブログ最適化のために必要なものを『全て』『一気に』抜き出すプログラム、作りました！ この記事を読めば、下記の情報がゲットできます ※ 現在ははてなブログのみ対応となっています。WordPress用にも作成中なので、少々お待ちを。 *1 ・記事とURLとブックマークの情報 ・記事内画像を全て抜きとったもの ・自サイトの内部リンクがどうなっているかを可視化したもの ・リンク切れリスト ・はてなブックマークがどのような伸び方でついたかを可視化したもの 使い方(情報技術に明るい人) 使い方(一般向け) 環境構築 実行するコード コマンド一発！実行する 中身がどうなっているか 注意 出力結果 pythonを勉強したい方に まとめ 使い方(情報技術に明るい人) 情報技術に明るい人と、そうで

- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ

今回はソケットプログラミングについて。 ソケットというのは Unix 系のシステムでネットワークを扱うとしたら、ほぼ必ずといっていいほど使われているもの。 ホスト間の通信やホスト内での IPC など、ネットワークを抽象化したインターフェースになっている。 そんな幅広く使われているソケットだけど、取り扱うときには色々なアーキテクチャパターンが考えられる。 また、比較的低レイヤーな部分なので、効率的に扱うためにはシステムコールなどの、割りと OS レベルに近い知識も必要になってくる。 ここらへんの話は、体系的に語られているドキュメントが少ないし、あっても鈍器のような本だったりする。 そこで、今回はそれらについてざっくりと見ていくことにした。 尚、今回はプログラミング言語として Python を使うけど、何もこれは特定の言語に限った話ではない。 どんな言語を使うにしても、あるいは表面上は抽象化さ

はじめまして。 本業はアスキーアート (以下AA) 職人のOsciiArtといいます (本業ではない)。 AlphaGo対イ・セドルの対局を見て、「僕もディープラーニングで神AA職人を倒したい！」と思い、pythonをインストールしてちょうど一年の成果を書いていきます。 コードはこちらにアップしてあります。 https://github.com/OsciiArt/DeepAA ここで扱うアスキーアートとは ここで扱うAAとは、 こういうの……↓ ではなく、こういうの……↓ でもなく、こういうの……↓ ともちょっと違って、こういうの……↓ ではもちろんなく、こういうのです。↓ このような、線画を文字を作って再現した「トレースAA」と呼ばれるタイプのAAをここでは扱います。 詳細はwikipediaの「アスキーアート」のページの「プロポーショナルフォント」の項を参照してください。 wikipe

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

アメリカ大統領選挙候補者であるドナルド・トランプ氏をイメージした Pythonベースのプログラミング言語「TrumpScript」が公開されています。 特徴が滅茶苦茶だったのでご紹介します。 GitHub - samshadwell/TrumpScript: Make Python great again どうやら米ライス大学の24時間ハッカソンで作られたようです。 ハッカソンでの優勝は逃したものの、日々issueにバグ報告が上がっており、 よりトランプ氏らしくなるように改善がされているようです。 特徴 浮動小数点型は使えず整数のみ。アメリカは中途半端なことはしない。 数値は100万より大きくなくてはいけない。それより小さい数字は取るに足らない。 importは使えない。全てのコードはアメリカ製でなければならない。 True,Falseの代わりにfact,lieを使う。 変数名に使えるのは

プログラミング教育や社員の健康をサポートする「CHO室」の取り組みなど、DeNAのCSRに関する情報を発信するブログ

Python勉強し始めて一ヶ月くらいたったんで一度復習を兼ねてまとめてみようと思います。僕が今までPHPとかPerlとかJavaScriptを使っていて、Pythonはこうやるのかーとか、これは便利だなーと思ったところ、開発していてはまったところなどピックアップしてみました。 初めてのPythonを読んで初心者向け勉強会に参加した程度の知識です。とりあえず初めてのPythonがかなりいいのでこれ読むだけで大体基礎は習得できた気がします。基本的な文法の説明だけでなく、大事なことは何回も繰り返し書いてあったり、Pythonの思想などにも触れているのでなぜこういう実装になっているかということも理解できます。これオススメ。 尚、このエントリーではPythonのバージョンは2.5をベースにしてます（主にGoogleAppEngineで使ってるので）。間違えなどあったらツッコミお待ちしてます。 文法、

OAuth 調べてみたら難しくて理解出来なかったので， Python で標準ライブラリだけで 1 から書いてみました． ／　　 　 　＼ ／　 _ノ 　ヽ､_　 ＼ ／ oﾟ(（●）) (（●）)ﾟo ＼ 　twitter の OAuth 難しいお… |　　　　 （__人__）'　　　　| ＼　　 　　｀⌒´ 　 　 ／ ＿＿＿_ ／⌒　　⌒＼ ／（ ●） 　（●）＼ ／::::::⌒（__人__）⌒::::: ＼ 　　だからやる夫でやるお！ |　　　　　|r┬-|　　　　　| ＼ 　　 　 `ー'´ 　 　 ／ Python のサンプルコードを付けていますが， 上から順に読めるようにおもいっきり手続き型で書いています． コメントで実際の処理の説明を書いています． Consumer Key と Consumer Secret の入手 ／￣￣＼ ／　　　 u　 ＼ 　　　　　.＿＿＿_ |: