ITmedia NEWS > �Ȋw�E�e�N�m���W�[ >
ITmedia AI{ AIp̂܂

��OpenAI�u���\���Ȃ��Łc�c�v�@�u���b�N�{�b�N�X�ł���LLM�̒��g���g���ށh�U���@��Google�炪���\�FInnovative Tech

» 2024�N03��14�� 08��00�� ���J
[�R���T�B�CITmedia]

Innovative Tech�F

���̃R�[�i�[�ł́A2014�N�����[�e�N�m���W�[�̌�����_���P�ʂŋL���ɂ��Ă���Web���f�B�A�uSeamless�v�i�V�[�����X�j����ɂ���R���T�B�������M�B�V�K���̍����Ȋw�_�����R�������s�b�N�A�b�v���A�������B

Twitter: ��shiropen2

�@��Google DeepMind�Ȃǂɏ������錤���҂炪���\�����_���uStealing Part of a Production Language Model�v�́A��OpenAI��GPT-4���Google��PaLM-2�Ȃǂ̃N���[�Y�h�ȑ�K�͌��ꃂ�f���iLLM�j����A���f���̈ꕔ�𓐂ݏo���U�����Ă��������񍐂ł���B���ꃂ�f����API�ւ̃N�G����ʂ��āA��R�X�g�Ń��f���̓����\���Ɋւ�����𒊏o���邱�Ƃɐ��������B

�u���b�N�{�b�N�X�ł���LLM�̓����\���𓐂ލU���@

�@GPT-4��PaLM-2�Ȃǂ̍Ő�[AI���f���́AAPI��ʂ��Ĉ�ʃ��[�U�[�ɒ񋟂���Ă��邪�A�����\����w�K�Ɏg�p���ꂽ�f�[�^�Z�b�g�Ȃǂ̏ڍׂ͌��J����Ă��Ȃ��B���̌����ł́AAPI�����p���āA�u���b�N�{�b�N�X�����ꂽ���ꃂ�f������������𓐂ݏo���V���Ȏ�@���J�������B

�@�����҂炪���ڂ����̂́A���ꃂ�f���̍ŏI�w�ł���uEmbedding Projection Layer�v���B���̑w�͉B��w�i���͑w�Əo�͑w�̒��Ԃɂ���w�j�̏o�͂��󂯎��A��b�i�����j�T�C�Y�̎����������u���W�b�g�x�N�g���v�ɕϊ����������S���B�B��w�̎�����������b�T�C�Y�̂ق����傫�����߁A���̍ŏI�w�̏d�ݍs��̓t�������N�ł͂Ȃ��A�჉���N�ɂȂ�B�����҂�͂��̐����𗘗p���A���f����API�ɐ헪�I�ɃN�G���𑗂邱�ƂŁA�ŏI�w�̏d�݂𕜌�������@���l�Ă����B

�@�ŏI�w�̏d�݂𕜌����邱�Ƃɂ���āA���f���̉B��w�̎�������������B�B��w�̎������́A���΂��΃��f���̑S�̓I�ȃp�����[�^���Ƒ��ւ����邽�߁A���f���̋K�͂𐄒肷�邽�߂̎�|����ɂȂ蓾��B

�_���̃g�b�v�y�[�W

�@�����ł́A�킸��20�h�������̔�p�ŁAOpenAI��ada���f����babbage���f���̍ŏI�w�S�̂𕜌����邱�Ƃɐ��������B����ɂ��Aada���f����1024�����Ababbage���f����2048�����̉B��w�����‚��Ƃ����炩�ɂȂ����B

�@�܂�gpt-3.5-turbo���f���ɑ΂��Ă��U�������݂��Ƃ���A�B��w�̎���������肷�邱�Ƃ��ł����B����ɁA2000�h�����x�̔�p�ōŏI�w�S�̂𕜌��ł���ƌ��ς����Ă���B

5�‚̈قȂ�N���[�Y�h���ꃂ�f���ł̍U��������

�@�_�����̕\4�iTable 4�j�ɂ͒��߂Ƃ��āu�ӔC��������J�̈�‚Ƃ��āAOpenAI�͂��̐��l�����\���Ȃ��悤���߂Ă���v�Ə�����Ă���Agpt-3.5-turbo�̉B��w�̃T�C�Y���������Ă���B

�@�����҂�́A���������U����@�̏ڍׂ��A���̐Ǝ㐫�̉e�����󂯂�T�[�r�X�񋟎ґS�ĂɊJ�������B���̏�񋤗L���󂯁A�ΏۂƂȂ���Google��OpenAI�́A�΍�Ƃ��čU���̖h�������������B

Source and Image Credits: Nicholas Carlini, Daniel Paleka, Krishnamurthy Dj Dvijotham, Thomas Steinke, Jonathan Hayase, A. Feder Cooper, Katherine Lee, Matthew Jagielski, Milad Nasr, Arthur Conmy, Eric Wallace, David Rolnick, Florian Tramer. Stealing Part of a Production Language Model



Copyright © ITmedia, Inc. All Rights Reserved.

'; e_dlv.innerHTML = html; adRequest({position:dlv_pos,dom:true}); }else if(ad_type === 'gam'){ var html = '
'; e_dlv.innerHTML = html; refreshGam('InArtSpecialLink'); }else if(ad_type === 'logly'){ var html = '
'; e_dlv.innerHTML = html; loglySet(g_id); }else if(ad_type === 'google'){ var html = '
'; e_dlv.innerHTML = html; googletag.cmd.push(function(){ var slot8 = googletag.defineSlot('/43042345/nlab_artinsert_RT',[[336,280],[300,250],'fluid'],'div-gpt-ad-1551176482959-0').addService(googletag.pubads()); googletag.pubads().enableSingleRequest(); googletag.enableServices(); googletag.display('div-gpt-ad-1551176482959-0'); googletag.pubads().refresh([slot8]); }); } }; var insert_ok = function(_target,_str){ var clearfix = d.createElement('div'); clearfix.className = 'colBoxClear'; if(ad_float_fix){ e_body.insertBefore(e_dlv,_target); e_body.insertBefore(clearfix,_target.nextElementSibling); }else{ e_body.insertBefore(e_dlv,_target); } set_dlv(); }; var insert_ng = function(_str){ e_dlv.style.display = 'none'; }; var main = function(){ var e_nodes = e_body.childNodes; // BODY �����q�v�f var e_tags = []; // BODY �����^�O var p_num = []; // BODY ���� P �^�O�ʒu var p_target_num; // �g�}����ʒu var o_float = {}; // ��荞�ݗv�f var o_this = {}; // �A�N�e�B�u�^�O var o_next = {}; // �A�N�e�B�u�^�O�̎��̃^�O var flag_insert = 0; // �}���t���O // ��荞�ݗv�f�`�F�b�N var check_float = function(_e){ var e = 0; if(_e.id.match(/^col\d{3}(l|r)$/)){ e = _e; } return e; }; // �v�f�� Y ���W�ƍ����̍��v�l var get_element_y = function(_e){ var ey = 0; var eh = _e.offsetHeight; while(_e){ ey += _e.offsetTop; _e = _e.offsetParent; } return ey + eh; }; var check_ptag = function(_e){ var e = 0; if(_e.tagName && _e.tagName === 'P'){ e = _e; } return e; }; var try_insert = function(){ p_target_num = Math.floor(p_num.length / 2) - 1; if(p_target_num >= _maxrange) p_target_num = _maxrange; if(dis_con) p_target_num = 0; for(var i = p_num[p_target_num]; i < e_tags.length; i++){ o_this.e = check_ptag(e_tags[i]); if(o_this.e){ o_next.e = check_ptag(e_tags[i + 1]); if(o_next.e){ if(!o_float.e || check_float(e_tags[i - 1])){ o_float.e = check_float(e_tags[i - 1]); o_float.n = i - 1; } if(o_float.e && o_float.n < i + 1){ o_float.y = get_element_y(o_float.e); o_this.y = get_element_y(o_this.e); set_line(o_float.y,'red'); set_line(o_this.y,'blue'); if(o_float.y < o_this.y){ flag_insert = 1; insert_ok(o_next.e,_threshold + ' �p���ȏ��荞�݂���'); break; } }else{ flag_insert = 1; insert_ok(o_next.e,_threshold + ' �p���ȏ��荞�݂Ȃ�'); break; } } }else{ o_float = {}; } } if(!flag_insert){ insert_ng('�}���ʒu�Ȃ�'); } }; // �S�q�v�f����^�O�̂ݔz��ɓ���� for(var i = 0; i < e_nodes.length; i++){ if(e_nodes[i].tagName){ e_tags.push(e_nodes[i]); } } // �S�^�O���� P �^�O�ʒu��z��ɓ���� for(var i = 0; i < e_tags.length; i++){ if(e_tags[i].tagName === 'P') p_num.push(i); // �ŏ��̉�荞�ݗv�f���i�[ if(!o_float.e){ o_float.e = check_float(e_tags[i]); o_float.y = get_element_y(o_float.e); o_float.n = i; } } if(p_num.length >= _threshold){ try_insert(); }else{ insert_ng('P �^�O ' + _threshold + ' �ȉ�'); } }; if(e_body){ main(); }else{ insert_ng('�L���{���Ȃ�'); } })(document,4,5);