“「LLMの生成物は何のコミュニケーションも目的としない、誰によって書かれたものでもない、非常に雑多なものです。これをwordfreqのデータに含めてしまうと、単語の使用頻度データが歪んでしまいます」”

hobo_kinghobo_king のブックマーク 2024/09/24 14:05

その他

このブックマークにはスターがありません。
最初のスターをつけてみよう!

自然言語ライブラリ「wordfreq」がAIで汚染され更新不可能になったと作者が報告

    さまざまなデータベースをもとに、自然言語の使用頻度を調べるためのPythonライブラリが「wordfreq」です。そんなwordfreqが、「AIで汚染され更新不可能となってしまった」と開発者のRobyn Speer氏が報告していま...

    \ コメントが サクサク読める アプリです /

    • App Storeからダウンロード
    • Google Playで手に入れよう