Malaking modelong pangwika

Ang isang malaking modelong pangwika o large language model ( LLM ) ay isang modelo ng wika na kapansin-pansin para sa kakayahang makamit ang pangkalahatang layunin ng pagbuo ng wika at iba pang mga natural na gawain sa pagproseso ng wika tulad ng pag-uuri . Nakukuha ng mga LLM ang mga kakayahang ito sa pamamagitan ng pag-aaral ng mga relasyong istatistikal mula sa mga dokumento ng teksto sa panahon ng isang computationally intensive self-supervised at semi-supervised na proseso ng pagsasanay. Maaaring gamitin ang mga LLM para sa pagbuo ng teksto, isang anyo ng generative AI, sa pamamagitan ng pagkuha ng ininput na teksto at paulit-ulit na paghula sa susunod na token o salita.

Ang mga LLM ay mga artipisyal na neural network . Ang pinakamalaki at pinaka may kakayahang ay binuo gamit ang isang pang-decoder lang na nakabaseng transformer na arkitektura habang ang ilang kamakailang pagpapatupad ay batay sa iba pang mga arkitektura, tulad ng mga paulit-ulit na variant ng neural network at Mamba (isang state space model).

Hanggang noong 2020, ang fine tuning ang tanging paraan para maiangkop ang isang modelo para magawa ang mga partikular na gawain. Ang mga mas malalaking modelo, gaya ng GPT-3, gayunpaman, ay maaaring ihenyerihan kaagad upang makamit ang mga katulad na resulta. Ipinapalagay na nakakakuha sila ng kaalaman tungkol sa sintaks, semantiks at "ontolohiya" na likas sa corpora ng wika ng tao, ngunit pati na rin ang mga kamalian at bias na nasa corpora.

Ang ilang kilalang LLM ay ang GPT na serye ng mga modelo ng OpenAI (hal., GPT-3.5 at GPT-4, ginagamit sa ChatGPT at Microsoft Copilot ), PaLM at Gemini ng Google (ang huli ay kasalukuyang ginagamit sa chatbot ng parehong name ), xAI's Grok, mga pamilya ng mga open-sourced na modelong LLaMA ng Meta, mga Claude model ng Anthropic, at mga open source na modelo ng Mistral AI.