法律 / 犯罪: まるちゃんの情報セキュリティ気まぐれ日記

Irish Data Protection Commission fines Meta €251 Million	アイルランドデータ保護委員会、メタに2億5100万ユーロの罰金
The Irish Data Protection Commission (DPC) has today announced its final decisions following two inquiries into Meta Platforms Ireland Limited (‘MPIL’). These own-volition inquiries were launched by the DPC following a personal data breach, which was reported by MPIL in September 2018.	アイルランドデータ保護委員会（DPC）は本日、メタ・プラットフォームズ・アイルランド・リミテッド（以下「MPIL」）に対する2件の調査に関する最終決定を発表した。これらの自主的な調査は、2018年9月にMPILが報告した個人データ漏えいを受けて、DPCが開始した。
This data breach impacted approximately 29 million Facebook accounts globally, of which approximately 3 million were based in the EU/EEA. The categories of personal data affected included: user’s full name; email address; phone number; location; place of work; date of birth; religion; gender; posts on timelines; groups of which a user was a member; and children’s personal data. The breach arose from the exploitation by unauthorised third parties of user tokens[1] on the Facebook platform. The breach was remedied by MPIL and its US parent company shortly after its discovery.	このデータ漏えいは世界で約2,900万のFacebookアカウントに影響を与え、そのうち約300万はEU/EEAに拠点を置くアカウントであった。影響を受けた個人データのカテゴリーには、ユーザーのフルネーム、メールアドレス、電話番号、所在地、勤務先、生年月日、宗教、性別、タイムラインへの投稿、ユーザーがメンバーとなっているグループ、および子供の個人データが含まれていた。この違反は、Facebookプラットフォーム上のユーザートークン[1]を無許可のサードパーティが不正利用したことによって発生した。違反は、発見後すぐにMPILとその米国親会社によって是正された。
The decisions, which were made by the Commissioners for Data Protection, Dr. Des Hogan and Dale Sunderland, included a number of reprimands and an order to pay administrative fines totalling €251 million.	データ保護委員であるデス・ホーガン博士とデール・サンダーランド氏によって下された決定には、数多くの叱責と総額2億5100万ユーロの行政罰金の支払命令が含まれていた。
The DPC submitted a draft decision to the GDPR cooperation mechanism in Sept 2024, as required under Article 60 of the GDPR[2]. No objections to the DPC’s draft decision were raised. The DPC is grateful for the cooperation and assistance of its peer EU/EEA supervisory authorities in this case.	DPCは、GDPR第60条の規定に従い、2024年9月にGDPR協力メカニズムに決定のドラフトを提出した[2]。DPCの決定のドラフトに対する異議は提起されなかった。DPCは、この件に関して、EU/EEAの同等の監督当局から協力と支援を得られたことに感謝している。
The DPC’s final decisions record the following findings of infringement of the GDPR:	DPCの最終決定では、GDPR違反に関する以下の調査結果が記録されている。
Decision 1	決定1
Article 33(3) GDPR - By not including in its breach notification all the information required by that provision that it could and should have included. The DPC reprimanded MPIL for failures in regards to this provision and ordered it to pay administrative fines of €8 million.	GDPR第33条(3) - 違反通知に、同条項で要求されているすべての情報が含まれていなかったこと。DPCは、この条項に関するMPILの不履行を叱責し、800万ユーロの行政罰金の支払いを命じた。
Article 33(5) GDPR - By failing to document the facts relating to each breach, the steps taken to remedy them, and to do so in a way that allows the Supervisory Authority to verify compliance. The DPC reprimanded MPIL for failures in regards to this provision and ordered it to pay administrative fines of €3 million.	GDPR 第33条(5) - 各違反に関する事実、その是正措置、および監督機関によるコンプライアンスの検証を可能にする方法でそれらを文書化しなかったこと。DPCは、この規定に関する違反を理由にMPILを叱責し、300万ユーロの行政罰金の支払いを命じた。
Decision 2	決定 2
Article 25(1) GDPR - By failing to ensure that data protection principles were protected in the design of processing systems. The DPC found that MPIL had infringed this provision, reprimanded MPIL, and ordered it to pay administrative fines of €130 million.	第25条(1) GDPR - 処理システムの設計においてデータ保護の原則が防御されていることを確保しなかったこと。DPCは、MPILがこの規定に違反したことを認め、MPILを叱責し、1億3000万ユーロの行政罰金の支払いを命じた。
Article 25(2) - By failing in their obligations as controllers to ensure that, by default, only personal data that are necessary for specific purposes are processed. The DPC found that MPIL had infringed these provisions, reprimanded MPIL, and ordered it to pay administrative fines of €110 million.	第25条（2） - 特定の目的に必要な個人データのみがデフォルトで処理されるよう確保するという、管理者としての義務を怠ったこと。DPCは、MPILがこれらの規定に違反したと判断し、MPILを叱責し、1億1000万ユーロの行政罰金の支払いを命じた。
DPC Deputy Commissioner Graham Doyle commented:	DPC副委員長であるグラハム・ドイル氏は次のようにコメントした。
“This enforcement action highlights how the failure to build in data protection requirements throughout the design and development cycle can expose individuals to very serious risks and harms, including a risk to the fundamental rights and freedoms of individuals. Facebook profiles can, and often do, contain information about matters such as religious or political beliefs, sexual life or orientation, and similar matters that a user may wish to disclose only in particular circumstances. By allowing unauthorised exposure of profile information, the vulnerabilities behind this breach caused a grave risk of misuse of these types of data.”	「今回の措置は、設計および開発サイクル全体を通じてデータ保護要件を組み込まなかった場合、個人が深刻なリスクや被害にさらされる可能性があることを浮き彫りにしています。Facebookのプロフィールには、宗教や政治的信条、性生活や性的指向など、ユーザーが特定の状況下でのみ開示したいと考えるような情報が含まれていることがあり、実際にそうした情報が記載されていることもよくあります。プロファイル情報の無許可エクスポージャーを許可することで、この違反の背後にある脆弱性は、これらのタイプのデータの悪用という重大なリスクをもたらした。
The DPC will publish the full decision and further related information in due course.	DPCは、決定の全文と関連情報を今後公表する予定である。
Further information	詳細情報
[1] User tokens are coded identifiers that can be used to verify the user of a platform or utility, and to control access to particular platform features and to personal data of the user and their contacts.	[1] ユーザートークンは、プラットフォームやユーティリティのユーザーを識別し、特定のプラットフォーム機能やユーザーおよびその連絡先の個人データへのアクセスを制御するために使用されるコード化された識別子である。
[2] Article 60 of the GDPR regulates the cooperation procedure between the Lead Supervisory Authority and the other Concerned Supervisory Authorities.	[2] GDPR第60条は、主監督当局とその他の関係監督当局間の協力手続きを規定している。
Background	背景
The breach that gave rise to the DPC’s Decisions arose from the deployment of a video upload function on the Facebook platform in July 2017. Facebook’s ‘View As’ feature allowed a user to see their own Facebook page as it would be seen by another user. A user making use of this feature could invoke the video uploader in conjunction with Facebook’s ‘Happy Birthday Composer’ facility. The video uploader would then generate a fully permissioned user token that gave them full access to the Facebook profile of that other user. A user could then use that token to exploit the same combination of features on other accounts, allowing them to access multiple users’ profiles and the data accessible through them. Between 14 and 28 September 2018 unauthorised persons used scripts to exploit this vulnerability and gained the ability to log on as the account holder to approximately 29 million Facebook accounts globally, of which approximately 3 million were based in the EU/EEA. Facebook security personnel were alerted to the vulnerability by an anomalous increase in video upload activity and removed the functionality that caused the vulnerability shortly thereafter.	DPCの決定につながった違反は、2017年7月にFacebookプラットフォーム上で動画アップロード機能が展開されたことに起因する。Facebookの「View As」機能により、ユーザーは自身のFacebookページを他のユーザーから見えるように表示することが可能であった。この機能を利用するユーザーは、Facebookの「Happy Birthday Composer」機能と併用して動画アップローダーを起動することができた。すると、動画アップローダーが完全許可付きユーザートークンを生成し、他のユーザーのFacebookプロフィールへの完全アクセスが可能となった。ユーザーは、そのトークンを使用して他のアカウントでも同じ機能の組み合わせを利用することができ、複数のユーザーのプロフィールと、それらを通じてアクセス可能なデータにアクセスすることが可能となった。2018年9月14日から28日の間に、不正な人物がスクリプトを使用してこの脆弱性を悪用し、世界中で約2,900万のFacebookアカウントにアカウント保有者としてログインできるようになった。そのうち約300万はEU/EEAに拠点を置くアカウントであった。Facebookのセキュリティ担当者は、動画のアップロード活動の異常な増加により脆弱性に気づき、その後すぐに脆弱性の原因となる機能を削除した。

個人情報保護委員会のGDPR仮訳より...

● 個人情報保護委員会

・[PDF] 一般データ保護規則（GDPR）の条文

Article 25 Data protection by design and by default	第25 条データ保護バイデザイン及びデータ保護バイデフォルト
1. Taking into account the state of the art, the cost of implementation and the nature, scope, context and purposes of processing as well as the risks of varying likelihood and severity for rights and freedoms of natural persons posed by the processing, the controller shall, both at the time of the determination of the means for processing and at the time of the processing itself, implement appropriate technical and organisational measures, such as pseudonymisation, which are designed to implement data-protection principles, such as data minimisation, in an effective manner and to integrate the necessary safeguards into the processing in order to meet the requirements of this Regulation and protect the rights of data subjects.	1. 技術水準、実装費用、取扱いの性質、範囲、過程及び目的並びに取扱いによって引きこされる自然人の権利及び自由に対する様々な蓋然性と深刻度のリスクを考慮に入れた上で、管理者は、本規則の要件に適合するものとし、かつ、データ主体の権利を保護するため、取扱いの方法を決定する時点及び取扱いそれ自体の時点の両時点において、データの最小化のようなデータ保護の基本原則を効果的な態様で実装し、その取扱いの中に必要な保護措置を統合するために設計された、仮名化のような、適切な技術的措置及び組織的措置を実装する。
2. The controller shall implement appropriate technical and organisational measures for ensuring that, by default, only personal data which are necessary for each specific purpose of the processing are processed. That obligation applies to the amount of personal data collected, the extent of their processing, the period of their storage and their accessibility. In particular, such measures shall ensure that by default personal data are not made accessible without the individual's intervention to an indefinite number of natural persons.	2. 管理者は、その取扱いの個々の特定の目的のために必要な個人データのみが取扱われることをデフォルトで確保するための適切な技術的措置及び組織的措置を実装する。この義務は、収集される個人データの分量、その取扱いの範囲、その記録保存期間及びアクセス可能性に適用される。とりわけ、そのような措置は、個人データが、その個人の関与なく、不特定の自然人からアクセス可能なものとされないことをデフォルトで確保する。
3. An approved certification mechanism pursuant to Article 42 may be used as an element to demonstrate compliance with the requirements set out in paragraphs 1 and 2 of this Article	3. 第42 条により承認された認証方法は、本条の第1 項及び第2 項に定める要件の充足を証明するための要素として用いることができる。

Article 33 Notification of a personal data breach to the supervisory authority	第33 条監督機関に対する個人データ侵害の通知
1. In the case of a personal data breach, the controller shall without undue delay and, where feasible, not later than 72 hours after having become aware of it, notify the personal data breach to the supervisory authority competent in accordance with Article 55, unless the personal data breach is unlikely to result in a risk to the rights and freedoms of natural persons. Where the notification to the supervisory authority is not made within 72 hours, it shall be accompanied by reasons for the delay.	1. 個人データ侵害が発生した場合、管理者は、その個人データ侵害が自然人の権利及び自由に対するリスクを発生させるおそれがない場合を除き、不当な遅滞なく、かつ、それが実施可能なときは、その侵害に気づいた時から遅くとも72 時間以内に、第55 条に従って所轄監督機関に対し、その個人データ侵害を通知しなければならない。監督機関に対する通知が 72 時間以内に行われない場合、その通知は、その遅延の理由を付さなければならない。
2. The processor shall notify the controller without undue delay after becoming aware of a personal data breach	2. 処理者は、個人データ侵害に気づいた後、不当な遅滞なく、管理者に対して通知しなければならない。
3. The notification referred to in paragraph 1 shall at least:	3. 第1 項で定める通知は、少なくとも、以下のとおりとする：
(a) describe the nature of the personal data breach including where possible, the categories and approximate number of data subjects concerned and the categories and approximate number of personal data records concerned;	(a) 可能な場合、関係するデータ主体の類型及び概数、並びに、関係する個人データ記録の種類及び概数を含め、個人データ侵害の性質を記述する；
(b) communicate the name and contact details of the data protection officer or other contact point where more information can be obtained;	(b) データ保護オフィサーの名前及び連絡先、又は、より多くの情報を入手することのできる他の連絡先を連絡する；
(c) describe the likely consequences of the personal data breach;	(c) その個人データ侵害の結果として発生する可能性のある事態を記述する；
(d) describe the measures taken or proposed to be taken by the controller to address the personal data breach, including, where appropriate, measures to mitigate its possible adverse effects	(d) 適切な場合、起こりうる悪影響を低減させるための措置を含め、その個人データ侵害に対処するために管理者によって講じられた措置又は講ずるように提案された措置を記述する。
4. Where, and in so far as, it is not possible to provide the information at the same time, the information may be provided in phases without undue further delay	4. 同時に情報を提供できない場合、その範囲内において、その情報は、更なる不当な遅滞なく、その状況に応じて提供できる。
5. The controller shall document any personal data breaches, comprising the facts relating to the personal data breach, its effects and the remedial action taken. That documentation shall enable the supervisory authority to verify compliance with this Article.	5. 管理者は、その個人データ侵害と関連する事実関係、その影響及び講じられた救済措置を含め、全ての個人データ侵害を文書化しなければならない。その文書は、本条の遵守を検証するために、監督機関が利用できるものとしなければならない。

2024.12.22 13:45 in 情報セキュリティ / サイバーセキュリティ, in 個人情報保護 / プライバシー, in 法律 / 犯罪 | Permalink | Comments (0)
Tweet

2024.12.21

米国 CISA 2024の活動...

こんにちは、丸山満彦です。

CISAが、2024年の活動をわかりやすくウェブページで紹介していますね...

1年を振り返るにはわかりやすいかもです... 米国の話ではありますが...

● CISA

・2024 Year in Review

目次的なもの...

⇒	Letter from the Director	局長からの手紙
⇒	Election Security	選挙セキュリティ
⇒	CISA Goes Live!	CISAが稼働開始！
⇒	Secure by Design	セキュア・バイ・デザイン
⇒	Artificial Intelligence	人工知能
⇒	Cybersecurity	サイバーセキュリティ
⇒	Emergency Communications	緊急時の通信
⇒	Secure Our World	世界を守ろう
⇒	Target Rich, Cyber Poor Outreach	目標は成果の大きなところ、でも攻撃は弱いところから
⇒	Mitigating Nation-State Threats	国家による脅威の緩和
⇒	Forging Global Alliances	グローバルな提携関係の構築
⇒	Regional Support	地域サポート
⇒	Reducing Risk Together	リスクを共に軽減
⇒	Next Gen Cyber Workforce	次世代のサイバー人材
⇒	CISA @Work	CISAの業務
⇒	Conclusion	結論

2024.12.21 10:47 in 情報セキュリティ / サイバーセキュリティ, in 法律 / 犯罪, in 内部統制 / リスクマネジメント, in 危機管理 / 事業継続, in AI/Deep Learning, in 安全保障 | Permalink | Comments (0)
Tweet

欧州 EDPB AIモデルが匿名とみなされるのはどのような場合か？など、４つの質問に答える意見書を公表していますね...

こんにちは、丸山満彦です。

EDPBが、アイルランドの監督当局からの４つの質問に回答する意見書を公表していますね...

アイルランドの監督当局の質問...

人工知能（「AI」）モデルの開発・展開段階における個人データの処理に関するもので...

(1)いつ、どのようにAIモデルを「匿名」とみなすことができるのか、
(2)開発段階および(3)展開段階において、管理者は法的根拠としての正当な利益の適切性をどのように証明することができるのか、
(4)AIモデルの開発段階における個人データの違法な処理が、その後のAIモデルの処理または運用にどのような結果をもたらすのか、

というのが質問です...

ざっくりとした回答は...

(1)いつ、どのようにAIモデルを「匿名」とみなすことができるのか、

個人データを用いて学習されたAIモデルは、すべての場合において匿名であるとは言えないと考えている。故に、AIモデルの匿名性の主張は、管轄のSAがケースバイケースで評価すべきである。

(2)開発段階および(3)展開段階において、管理者は法的根拠としての正当な利益の適切性をどのように証明することができるのか、

監督当局が考慮すべき全般的な考慮事項として、次の３つをあげている...

(1) 管理者または第三者が追求する正当な利益を特定すること

(2) 追求する正当な利益の目的に対する処理の必要性を分析すること（「必要性テスト]）

(3) 正当な利益がデータ対象者の利益または基本的権利および自由に優先されないことを評価すること（「均衡テスト」）。

(4)AIモデルの開発段階における個人データの違法な処理が、その後のAIモデルの処理または運用にどのような結果をもたらすのか、

監督機関が侵害の可能性を評価し、個々の事案の状況を考慮して、適切かつ必要で相応の措置をとりなさい...

まずは、プレス...

● European data Protection Board；EDPB

・2024.12.17 EDPB opinion on AI models: GDPR principles support responsible AI

EDPB opinion on AI models: GDPR principles support responsible AI	AIモデルに関するEDPBの意見：GDPRの原則は責任あるAIを支援する
Brussels, 18 December - The European Data Protection Board (EDPB) has adopted an opinion* on the use of personal data for the development and deployment of AI models. This opinion looks at 1) when and how AI models can be considered anonymous, 2) whether and how legitimate interest can be used as a legal basis for developing or using AI models, and 3) what happens if an AI model is developed using personal data that was processed unlawfully. It also considers the use of first and third party data.	ブリュッセル、12月18日 - 欧州データ保護委員会（EDPB）は、AIモデルの開発および展開における個人データの利用に関する意見*を採択した。この意見書では、1）AIモデルが匿名とみなされるのはどのような場合か、2）AIモデルの開発または利用の法的根拠として正当な利益を適用できるか、また適用できる場合、その適用方法はどのようなものか、3）違法に処理された個人データを利用してAIモデルが開発された場合、どのような影響があるか、について検討している。また、ファーストパーティデータおよびサードパーティデータの利用についても考察している。
The opinion was requested by the Irish Data Protection Authority (DPA) with a view to seeking Europe-wide regulatory harmonisation. To gather input for this opinion, which deals with fast-moving technologies that have an important impact on society, the EDPB organised a stakeholders’ event and had an exchange with the EU AI Office.	この意見は、欧州全域での規制の調和を求めるという観点から、アイルランドデータ保護局（DPA）によって要請された。社会に重要な影響を与える急速に進化するテクノロジーを取り扱うこの意見のために意見を収集するため、EDPBは利害関係者のイベントを企画し、EU AI Officeと意見交換を行った。
EDPB Chair Talus said: “AI technologies may bring many opportunities and benefits to different industries and areas of life. We need to ensure these innovations are done ethically, safely, and in a way that benefits everyone. The EDPB wants to support responsible AI innovation by ensuring personal data are protected and in full respect of the General Data Protection Regulation (GDPR).”	EDPB議長のタラス氏は次のように述べた。「AI技術は、さまざまな産業や生活のさまざまな分野に多くの機会と利益をもたらす可能性がある。これらのイノベーションが倫理的かつ安全に、そしてすべての人に利益をもたらす形で実施されることを確保する必要がある。EDPBは、個人データの保護を確保し、一般データ保護規則（GDPR）を完全に尊重することで、責任あるAIイノベーションを支援したいと考えている。
Regarding anonymity, the opinion says that whether an AI model is anonymous should be assessed on a case by case basis by the DPAs. For a model to be anonymous, it should be very unlikely (1) to directly or indirectly identify individuals whose data was used to create the model, and (2) to extract such personal data from the model through queries. The opinion provides a non-prescriptive and non-exhaustive list of methods to demonstrate anonymity.	匿名性に関しては、AIモデルが匿名であるかどうかは、DPAsがケースバイケースで評価すべきであるという意見が述べられている。モデルが匿名であるためには、(1) モデルの作成に使用されたデータを持つ個人を直接または間接的に特定する可能性が極めて低く、(2) 問い合わせによりモデルからそのような個人データを抽出することができないものでなければならない。意見書では、匿名性を証明するための方法として、規定的でも網羅的でもないリストが提示されている。
With respect to legitimate interest, the opinion provides general considerations that DPAs should take into account when they assess if legitimate interest is an appropriate legal basis for processing personal data for the development and the deployment of AI models.	正当な利益に関しては、意見書は、AIモデルの開発および展開における個人データの処理について、正当な利益が適切な法的根拠であるかどうかを評価する際にDPAsが考慮すべき一般的な考慮事項を提示している。
A three-step test helps assess the use of legitimate interest as a legal basis. The EDPB gives the examples of a conversational agent to assist users, and the use of AI to improve cybersecurity. These services can be beneficial for individuals and can rely on legitimate interest as a legal basis, but only if the processing is shown to be strictly necessary and the balancing of rights is respected.	3段階テストは、正当な利益を法的根拠として使用するかどうかを評価するのに役立つ。EDPBは、ユーザーを支援する会話型エージェントや、サイバーセキュリティの向上を目的としたAIの利用を例示している。これらのサービスは個人にとって有益であり、法的根拠として正当な利益に依拠できるが、処理が厳密に必要なものであり、権利のバランスが尊重されている場合に限られる。
The opinion also includes a number of criteria to help DPAs assess if individuals may reasonably expect certain uses of their personal data. These criteria include: whether or not the personal data was publicly available, the nature of the relationship between the individual and the controller, the nature of the service, the context in which the personal data was collected, the source from which the data was collected, the potential further uses of the model, and whether individuals are actually aware that their personal data is online.	また、この意見書には、個人が自身の個人データの特定の用途を合理的に期待できるかどうかをDPAが評価する際に役立つ基準もいくつか含まれている。これらの基準には、個人データが公開されていたかどうか、個人と管理者との関係の性質、サービスの性質、個人データが収集された状況、データ収集元、モデルの今後の利用可能性、および個人が実際に自身の個人データがオンライン上にあることを認識しているかどうか、などが含まれる。
If the balancing test shows that the processing should not take place because of the negative impact on individuals, mitigating measures may limit this negative impact. The opinion includes a non-exhaustive list of examples of such mitigating measures, which can be technical in nature, or make it easier for individuals to exercise their rights or increase transparency.	バランステストにより、個人への悪影響を理由に処理を行わないべきであると示された場合、緩和措置によりこの悪影響を制限することができる。意見書には、このような緩和措置の例として、技術的なものや、個人が権利を行使しやすくするもの、透明性を高めるものなど、網羅的なリストではないが例示されている。
Finally, when an AI model was developed with unlawfully processed personal data, this could have an impact on the lawfulness of its deployment, unless the model has been duly anonymised.	最後に、違法に処理された個人データを用いてAIモデルが開発された場合、そのモデルが適切に匿名化されていない限り、その展開の適法性に影響を及ぼす可能性がある。
Considering the scope of the request from the Irish DPA, the vast diversity of AI models and their rapid evolution, the opinion aims to give guidance on various elements that can be used for conducting a case by case analysis.	アイルランドデータ保護委員会からの要請の範囲、AIモデルの多様性、およびその急速な進化を考慮し、意見書は、ケースバイケースの分析を行う際に使用できるさまざまな要素に関する指針を提供することを目的としている。
In addition, the EDPB is currently developing guidelines covering more specific questions, such as web scraping.	さらに、EDPBは現在、ウェブスクレイピングなど、より具体的な問題を扱うガイドラインを策定中である。
Note to editors:	編集後記：
*An Article 64(2) opinion addresses a matter of general application or produces effects in more than one Member State.	*第64条(2)に基づく意見は、複数の加盟国にわたって一般的に適用される問題を取り扱うか、または複数の加盟国に影響を及ぼすものである。

意見書...

・2024.12.18 Opinion 28/2024 on certain data protection aspects related to the processing of personal data in the context of AI models

・[PDF]

・[DOCX][PDF] 仮訳

1 Introduction	1 序文
1.1 Summary of facts	1.1 事実の概要
1.2 Admissibility of the Request for an Article 64(2) GDPR opinion	1.2 GDPR第64条2項意見書の請求の可否
2 Scope and key notions	2 範囲と重要な概念
2.1 Scope of the Opinion	2.1 意見の範囲
2.2 Key notions	2.2 主要な概念
2.3 AI models in the context of the Opinion	2.3 意見の文脈におけるAIモデル
3 On the merits of the request	3 要求の是非について
3.1 On the nature of AI models in relation to the definition of personal data	3.1 個人データの定義に関するAIモデルの性質について
3.2 On the circumstances under which AI models could be considered anonymous and the related demonstration	3.2 AIモデルが匿名とみなされる状況と、それに関連するデモンストレーションについて
3.2.1 General consideration regarding anonymisation in the context at hand	3.2.1 匿名化に関する一般的な考察
3.2.2 Elements to evaluate the residual likelihood of identification	3.2.2 識別の残存可能性を評価する要素
3.3 On the appropriateness of legitimate interest as a legal basis for processing of personal data in the context of the development and deployment of AI Models	3.3 AIモデルの開発・展開における個人データの処理の法的根拠としての正当な利益の妥当性について
3.3.1 General observations	3.3.1 一般的な見解
3.3.2 Considerations on the three steps of the legitimate interest assessment in the context of the development and deployment of AI models	3.3.2 AIモデルの開発と展開における正当な利益評価の3つの段階に関する考察
3.4 On the possible impact of an unlawful processing in the development of an AI model on the lawfulness of the subsequent processing or operation of the AI model	3.4 AIモデルの開発における違法な処理が、その後のAIモデルの処理または運用の適法性に及ぼす可能性のある影響について
3.4.1 Scenario 1. A controller unlawfully processes personal data to develop the model, the personal data is retained in the model and is subsequently processed by the same controller (for instance in the context of the deployment of the model)	3.4.1 シナリオ 1：管理者がモデル開発のために個人データを不法に処理し、その個人データがモデル内に保持され、その後同じ管理者によって処理される（例えばモデルの展開において）。
3.4.2 Scenario 2. A controller unlawfully processes personal data to develop the model, the personal data is retained in the model and is processed by another controller in the context of the deployment of the model	3.4.2 シナリオ2：管理者がモデル開発のために個人データを不法に処理し、個人データがモデル内に保持され、モデルの展開に関連して別の管理者によって処理される。
3.4.3 Scenario 3. A controller unlawfully processes personal data to develop the model, then ensures that the model is anonymised, before the same or another controller initiates another processing of personal data in the context of the deployment	3.4.3 シナリオ 3：管理者がモデルの開発のために個人データを違法に処理し、その後、同じ管理者または別の管理者が展開の文脈で個人データの別の処理を開始する前に、モデルが匿名化されるようにする。
4 Final remarks	4 最終発言

エグゼクティブサマリー...

Executive summary	エグゼクティブサマリー
AI technologies create many opportunities and benefits across a wide range of sectors and social activities.	AI技術は、幅広い分野や社会活動において、多くの機会と利益を生み出す。
By protecting the fundamental right to data protection, GDPR supports these opportunities and promotes other EU fundamental rights, including the right to freedom of thought, expression and information, the right to education or the freedom to conduct a business. In this way, GDPR is a legal framework that encourages responsible innovation.	データ保護の基本的権利を保護することで、GDPRはこうした機会を支援し、思想、表現、情報の自由、教育を受ける権利、事業を行う自由など、EUの他の基本的権利を促進する。このように、GDPRは責任あるイノベーションを奨励する法的枠組みである。
In this context, taking into account the data protection questions raised by these technologies, the Irish supervisory authority requested the EDPB to issue an opinion on matters of general application pursuant to Article 64(2) GDPR. The request relates to the processing of personal data in the context of the development and deployment phases of Artificial Intelligence (“AI”) models. In more details, the request asked: (1) when and how an AI model can be considered as ‘anonymous’; (2) how controllers can demonstrate the appropriateness of legitimate interest as a legal basis in the development and (3) deployment phases; and (4) what are the consequences of the unlawful processing of personal data in the development phase of an AI model on the subsequent processing or operation of the AI model.	アイルランドの監督当局は、これらの技術によって提起されるデータ保護上の問題を考慮し、GDPR第64条2項に従い、一般的な適用事項に関する意見を出すようEDPBに要請した。この要請は、人工知能（「AI」）モデルの開発・展開段階における個人データの処理に関するものである。具体的には、(1)いつ、どのようにAIモデルを「匿名」とみなすことができるのか、(2)開発段階および(3)展開段階において、管理者は法的根拠としての正当な利益の適切性をどのように証明することができるのか、(4)AIモデルの開発段階における個人データの違法な処理が、その後のAIモデルの処理または運用にどのような結果をもたらすのか、といった内容である。
With respect to the first question, the Opinion mentions that claims of an AI model’s anonymity should be assessed by competent SAs on a case-by-case basis, since the EDPB considers that AI models trained with personal data cannot, in all cases, be considered anonymous. For an AI model to be considered anonymous, both (1) the likelihood of direct (including probabilistic) extraction of personal data regarding individuals whose personal data were used to develop the model and (2) the likelihood of obtaining, intentionally or not, such personal data from queries, should be insignificant, taking into account ‘all the means reasonably likely to be used’ by the controller or another person.	最初の質問に関して、EDPBは、個人データを用いて学習されたAIモデルは、すべての場合において匿名であるとは言えないと考えているため、AIモデルの匿名性の主張は、管轄のSAがケースバイケースで評価すべきであると意見書は言及している。AIモデルが匿名であるとみなされるためには、(1)モデルの開発に個人データが使用された個人に関する個人データが直接（確率的なものを含む）抽出される可能性、および(2)意図的であるか否かにかかわらず、問い合わせからそのような個人データを取得する可能性の両方が、管理者または他の者によって「合理的に使用される可能性のあるすべての手段」を考慮して、重要でないことが必要である。
To conduct their assessment, SAs should review the documentation provided by the controller to demonstrate the anonymity of the model. In that regard, the Opinion provides a non-prescriptive and non-exhaustive list of methods that may be used by controllers in their demonstration of anonymity, and thus be considered by SAs when assessing a controller’s claim of anonymity. This covers, for instance, the approaches taken by controllers, during the development phase, to prevent or limit the collection of personal data used for training, to reduce their identifiability, to prevent their extraction or to provide assurance regarding state of the art resistance to attacks.	アセスメントを実施するために、SAは、モデルの匿名性を実証するために管理者から提供された文書を確認すべきである。この点に関して、本意見書は、管理者が匿名性を証明する際に使用することができ、したがってSAが管理者の匿名性の主張を評価する際に考慮することができる方法の非規定的かつ非網羅的なリストを提供している。例えば、開発段階において、管理者が、訓練に使用される個人データの収集を防止または制限するため、識別可能性を低減するため、抽出を防止するため、または攻撃に対する最新の耐性に関する保証を提供するためにとるアプローチが対象となる。
With respect to the second and third questions, the Opinion provides general considerations for SAs to take into account when assessing whether controllers can rely on legitimate interest as an appropriate legal basis for processing conducted in the context of the development and the deployment of AI models.	2つ目と3つ目の質問に関して、本意見は、AIモデルの開発・展開の文脈で行われる処理について、統制が正当な利益を適切な法的根拠として依拠できるかどうかを評価する際に、SAが考慮すべき全般的な考慮事項を示している。
The Opinion recalls that there is no hierarchy between the legal bases provided by the GDPR, and that it is for controllers to identify the appropriate legal basis for their processing activities. The Opinion then recalls the three-step test that should be conducted when assessing the use of legitimate interest as a legal basis, i.e. (1) identifying the legitimate interest pursued by the controller or a third party; (2) analysing the necessity of the processing for the purposes of the legitimate interest(s) pursued (also referred to as “necessity test”); and (3) assessing that the legitimate interest(s) is (are) not overridden by the interests or fundamental rights and freedoms of the data subjects (also referred to as “balancing test”).	意見書は、GDPRが規定する法的根拠には序列がなく、管理者が自らの処理活動に適切な法的根拠を特定する必要があることを想起している。その上で、法的根拠としての正当な利益の利用をアセスメントする際に実施すべき3段階のテスト、すなわち、以下の3点を挙げている。(1) 管理者または第三者が追求する正当な利益を特定すること、(2) 追求する正当な利益（）の目的に対する処理の必要性を分析すること（「必要性テスト」ともいう）、(3) 正当な利益がデータ対象者の利益または基本的権利および自由（「均衡テスト」ともいう）に優先されないことを評価すること（「均衡テスト」ともいう）。
With respect to the first step, the Opinion recalls that an interest may be regarded as legitimate if the following three cumulative criteria are met: the interest (1) is lawful; (2) is clearly and precisely articulated; and (3) is real and present (i.e. not speculative). Such interest may cover, for instance, in the development of an AI model - developing the service of a conversational agent to assist users, or in its deployment - improving threat detection in an information system.	第1段階に関して、本意見書は、以下の3つの累積的規準が満たされる場合、利益は合法的なものとみなされる可能性があることを想起している：(1)利益が合法的である、(2)明確かつ正確に明示されている、(3)現実に存在する（すなわち推測的ではない）。このような関心には、例えば、AIモデルの開発-ユーザーを支援する会話エージェントのサービス開発-や、その展開-情報システムにおける脅威検知の改善-が含まれる。
With respect to the second step, the Opinion recalls that the assessment of necessity entails considering: (1) whether the processing activity will allow for the pursuit of the legitimate interest; and (2) whether there is no less intrusive way of pursuing this interest. When assessing whether the condition of necessity is met, SAs should pay particular attention to the amount of personal data processed and whether it is proportionate to pursue the legitimate interest at stake, also in light of the data minimisation principle.	第2段階に関して、同意見は、必要性のアセスメントには、(1)処理活動が正当な利益の追求を可能にするかどうか、および(2)この利益を追求するために、より侵入的でない方法がないかどうかを検討することが含まれることを想起する。必要性の条件を満たすかどうかを評価する際、SAは、処理される個人データの量と、データ最小化の原則に照らしても、問題となっている正当な利益を追求するのに比例しているかどうかに特に注意を払うべきである。
With respect to the third step, the Opinion recalls that the balancing test should be conducted taking into account the specific circumstances of each case. It then provides an overview of the elements that SAs may take into account when evaluating whether the interest of a controller or a third party is overridden by the interests, fundamental rights and freedoms of data subjects.	第3段階に関して、意見書は、バランステストは各ケースの具体的な状況を考慮して実施されるべきであることを想起している。その上で、データ管理者またはサードパーティの利益が、データ対象者の利益、基本的権利および自由に優先するかどうかを評価する際に、SAが考慮しうる要素の概要を示している。
As part of the third step, the Opinion highlights specific risks to fundamental rights that may emerge either in the development or the deployment phases of AI models. It also clarifies that the processing of personal data that takes place during the development and deployment phases of AI models may impact data subjects in different ways, which may be positive or negative. To assess such impact, SAs may consider the nature of the data processed by the models, the context of the processing and the possible further consequences of the processing.	第3段階として、本意見書は、AIモデルの開発段階または展開段階のいずれかに出現する可能性のある、基本的権利に対する特定のリスクを強調している。また、AIモデルの開発・展開段階で行われる個人データの処理は、データ対象者に様々な形で影響を与える可能性があり、それは肯定的である場合も否定的である場合もあることを明確にしている。このような影響を評価するために、SAは、モデルによって処理されるデータの性質、処理の文脈、処理によって起こり得る更なる結果を考慮することができる。
The Opinion additionally highlights the role of data subjects’ reasonable expectations in the balancing test. This can be important due to the complexity of the technologies used in AI models and the fact that it may be difficult for data subjects to understand the variety of their potential uses, as well as the different processing activities involved. In this regard, both the information provided to data subjects and the context of the processing may be among the elements to be considered to assess whether data subjects can reasonably expect their personal data to be processed. With regard to the context, this may include: whether or not the personal data was publicly available, the nature of the relationship between the data subject and the controller (and whether a link exists between the two), the nature of the service, the context in which the personal data was collected, the source from which the data was collected (i.e., the website or service where the personal data was collected and the privacy settings they offer), the potential further uses of the model, and whether data subjects are actually aware that their personal data is online at all.	本意見書はさらに、均衡テストにおけるデータ対象者の合理的な期待の役割を強調している。これは、AIモデルで使用される技術が複雑であり、データ対象者がその潜在的な用途の多様性や、関連するさまざまな処理活動を理解することが困難であるという事実のために重要である。この点で、データ対象者に提供される情報と処理のコンテクストの両方が、データ対象者が個人データの処理を合理的に期待できるかどうかを評価するために考慮されるべき要素に含まれる可能性がある。コンテクストに関しては、個人データが公的に利用可能であったかどうか、データ対象者と管理者の関係の性質（および両者の間にリンクが存在するかどうか）、サービスの性質、個人データが収集されたコンテクスト、データが収集されたソース（すなわち、個人データが収集されたウェブサイトまたはサービスおよびそれらが提供するプライバシー設定）、モデルの潜在的なさらなる使用、およびデータ対象者が自分の個人データがオンライン上にあることを実際に認識しているかどうかが含まれる。
The Opinion also recalls that, when the data subjects’ interests, rights and freedoms seem to override the legitimate interest(s) being pursued by the controller or a third party, the controller may consider introducing mitigating measures to limit the impact of the processing on these data subjects. Mitigating measures should not be confused with the measures that the controller is legally required to adopt anyway to ensure compliance with the GDPR. In addition, the measures should be tailored to the circumstances of the case and the characteristics of the AI model, including its intended use. In this respect, the Opinion provides a non-exhaustive list of examples of mitigating measures in relation to the development phase (also with regard to web scraping) and the deployment phase. Mitigating measures may be subject to rapid evolution and should be tailored to the circumstances of the case. Therefore, it remains for the SAs to assess the appropriateness of the mitigating measures implemented on a case-by-case basis.	本意見書はまた、データ対象者の利益、権利および自由が、管理者またはサードパーティが追求する正当な利益に優先すると思われる場合、の管理者は、データ対象者に対する処理の影響を制限する緩和措置の導入を検討することができることを想起する。緩和措置は、GDPRの遵守を確保するために管理者がいずれにせよ採用することが法的に義務付けられている措置と混同してはならない。さらに、その措置は、ケースの状況や、その使用目的を含むAIモデルの特徴に合わせたものでなければならない。この点に関して、本意見書は、開発段階（ウェブスクレイピングに関しても）および展開段階に関する緩和措置の例を非網羅的に列挙している。緩和手段は急速に進化する可能性があり、事案の状況に合わせて調整されるべきである。したがって、ケースバイケースで実施される緩和措置の妥当性を評価するのは、依然としてSAの役割である。
With respect to the fourth question, the Opinion generally recalls that SAs enjoy discretionary powers to assess the possible infringement(s) and choose appropriate, necessary, and proportionate measures, taking into account the circumstances of each individual case. The Opinion then considers three scenarios.	第4の質問に関し、意見書は一般的に、SAが侵害の可能性を評価し、個々の事案の状況を考慮した上で、適切かつ必要で相応の措置を選択する裁量権を享受していることを想起している。その上で、本意見書は3つのシナリオを検討している。
Under scenario 1, personal data is retained in the AI model (meaning that the model cannot be considered anonymous, as detailed in the first question) and is subsequently processed by the same controller (for instance in the context of the deployment of the model). The Opinion states that whether the development and deployment phases involve separate purposes (thus constituting separate processing activities) and the extent to which the lack of legal basis for the initial processing activity impacts the lawfulness of the subsequent processing, should be assessed on a case-by-case basis, depending on the context of the case.	シナリオ1では、個人データはAIモデル内に保持され（つまり、最初の質問で詳述したように、モデルは匿名とはみなされない）、その後同じデータ管理者により処理される（例えば、モデルの展開において）。アセスメントでは、開発段階と展開段階が別個の目的を含むかどうか（したがって、別個の処理活動を構成する）、および最初の処理活動の法的根拠の欠如がその後の処理の合法性にどの程度影響するかは、事案の状況に応じてケースバイケースで評価されるべきであると述べている。
Under scenario 2, personal data is retained in the model and is processed by another controller in the context of the deployment of the model. In this regard, the Opinion states that SAs should take into account whether the controller deploying the model conducted an appropriate assessment, as part of its accountability obligations to demonstrate compliance with Article 5(1)(a) and Article 6 GDPR, to ascertain that the AI model was not developed by unlawfully processing personal data. This assessment should take into account, for instance, the source of the personal data and whether the processing in the development phase was subject to the finding of an infringement, particularly if it was determined by a SA or a court, and should be less or more detailed depending on the risks raised by the processing in the deployment phase.	シナリオ2では、個人データはモデル内に保持され、モデルの展開に関連して別の管理者によって処理される。この点に関して、意見書は、SAは、モデルを展開する管理者が、AIモデルが個人データの違法な処理によって開発されたものでないことを確認するために、第5条1項（a）および第6条GDPRの遵守を証明する説明義務の一環として、適切なアセスメントを実施したかどうかを考慮すべきであると述べている。このアセスメントは、例えば、個人データの出所や、開発段階における処理が侵害の認定対象者であったかどうか（特にSAまたは裁判所によって決定された場合）を考慮すべきであり、展開段階における処理によって生じるリスクに応じて、より詳細であるべきである。
Under scenario 3, a controller unlawfully processes personal data to develop the AI model, then ensures that it is anonymised, before the same or another controller initiates another processing of personal data in the context of the deployment. In this regard, the Opinion states that if it can be demonstrated that the subsequent operation of the AI model does not entail the processing of personal data, the EDPB considers that the GDPR would not apply. Hence, the unlawfulness of the initial processing should not impact the subsequent operation of the model. Further, the EDPB considers that, when controllers subsequently process personal data collected during the deployment phase, after the model has been anonymised, the GDPR would apply in relation to these processing operations. In these cases, the Opinion considers that, as regards the GDPR, the lawfulness of the processing carried out in the deployment phase should not be impacted by the unlawfulness of the initial processing.	シナリオ3では、管理者がAIモデルを開発するために個人データを違法に処理し、その後、同じ管理者または別の管理者が展開の文脈で個人データの別の処理を開始する前に、そのデータが匿名化されるようにする。この点に関して、EDPBは、その後のAIモデルの運用が個人データの処理を伴わないことを証明できる場合、GDPRは適用されないと考えるとしている。したがって、最初の処理の違法性は、その後のモデルの運用には影響しないはずである。さらに、EDPBは、モデルが匿名化された後、管理者が展開段階で収集された個人データの処理を行う場合、これらの処理業務に関してはGDPRが適用されると考えている。このような場合、GDPRに関しては、展開段階で行われた処理の合法性は、最初の処理の違法性によって影響されるべきではないと本意見書は考える。

2024.12.21 03:05 in 個人情報保護 / プライバシー, in 法律 / 犯罪, in AI/Deep Learning | Permalink | Comments (0)
Tweet

米国司法省財務省ファイアウォールを悪用するマルウェアを開発等の疑いで中国人を起訴し、関与した企業にも制裁 (2024.12.10)

こんにちは、丸山満彦です。

すっかり出遅れているのですが、溜まっている分を徐々にブログにあげていきます...

世界中の何万ものファイアウォールを悪用するマルウェアを開発・展開することに共謀したとして中国人を起訴し、彼を雇っていた？企業（中国の諜報機関の請負企業）に制裁を加えたと発表していますね...

司法省側の容疑者起訴編...

● U.S. Department of Justice

・2024.12.10 China-Based Hacker Charged for Conspiring to Develop and Deploy Malware That Exploited Tens of Thousands of Firewalls Worldwide

China-Based Hacker Charged for Conspiring to Develop and Deploy Malware That Exploited Tens of Thousands of Firewalls Worldwide	中国を拠点とするハッカー、世界の数万ものファイアウォールを悪用するマルウェアを開発・配備した共謀で起訴
Note: View the indictment here and FBI Wanted Poster here.	注：起訴状はこちら、FBI指名手配ポスターはこちら。
A federal court in Hammond, Indiana, unsealed an indictment today charging Guan Tianfeng, a citizen of the People’s Republic of China (PRC) for his involvement in a conspiracy to hack indiscriminately into firewall devices worldwide in 2020. Guan and his co-conspirators worked at the offices of Sichuan Silence Information Technology Co. Ltd. to discover and exploit a previously-unknown vulnerability (an “0-day” vulnerability) in certain firewalls sold by U.K.-based Sophos Ltd. (Sophos) – an information technology company that develops and markets cybersecurity products. The malware that exploited the vulnerability discovered by Guan was designed to steal information from infected computers and to encrypt files on them if a victim attempted to remediate the infection. In total, Guan and his co-conspirators infected approximately 81,000 firewall devices worldwide, including a firewall device used by an agency of the United States.	インディアナ州ハモンドの連邦裁判所は本日、2020年に世界中のファイアウォール・デバイスに無差別にハッキングする共謀に関与したとして、中華人民共和国（PRC）国籍の関天峰（Guan Tianfeng）を起訴する起訴状を公開した。関被告と共犯者らは、四川省沈黙信息技術有限公司（Silence Information Technology Co. Ltd.の事務所で、英国を拠点とする情報技術企業Sophos Ltd.（ソフォス）が販売する特定のファイアウォールの、これまで知られていなかった脆弱性（「0-day」脆弱性）を発見し、悪用した。(ソフォス社）は、サイバーセキュリティ製品を開発・販売するIT企業である。グアンが発見した脆弱性を悪用したマルウェアは、感染したコンピューターから情報を盗み出し、被害者が感染を修復しようとすると、そのコンピューター上のファイルを暗号化するように設計されていた。グアンとその共謀者は合計で、米国の某機関が使用するファイアウォール・デバイスを含む、世界中の約81,000台のファイアウォール・デバイスに感染させた。
“The defendant and his co-conspirators exploited a vulnerability in tens of thousands of network security devices, infecting them with malware designed to steal information from victims around the world,” said Deputy Attorney General Lisa Monaco. “Today’s indictment reflects the Justice Department’s commitment to working with partners across government and across the globe to detect and hold accountable malicious cyber actors based in China or elsewhere who pose a threat to global cybersecurity.”	リサ・モナコ司法副長官は、次のように述べた。「グアン被告とその共謀者は、何万台ものネットワーク・セキュリティ・デバイスの脆弱性を悪用し、世界中の被害者から情報を盗むために設計されたマルウェアに感染させた。本日の起訴は、政府全体および世界中のパートナーと協力し、世界のサイバーセキュリティに脅威を与える中国またはその他の国に拠点を置く悪意のあるサイバー行為者を検出し、責任を追及するという司法省のコミットメントを反映したものである。」
“The defendant and his conspirators compromised tens of thousands of firewalls and then continued to hold at risk these devices, which protect computers in the United States and around the world,” said Assistant Attorney General for National Security Matthew G. Olsen. “The Department of Justice will hold accountable those who contribute to the dangerous ecosystem of China-based enabling companies that carry out indiscriminate hacks on behalf of their sponsors and undermine global cybersecurity.”	マシュー・G・オルセン国家安全保障担当司法次官補は、次のように述べた。「被告とその共謀者は、何万ものファイアウォールを侵害し、米国と世界中のコンピュータを保護するこれらのデバイスを危険にさらし続けた。司法省は、スポンサーに代わって無差別ハッキングを実行し、世界のサイバーセキュリティを弱体化させる、中国を拠点とするイネーブリング企業の危険なエコシステムに加担する者の責任を追及する。」
“Our law enforcement actions, technical expertise, and enduring partnerships with private companies, like Sophos, demonstrate the reputation of the FBI as being a reliable and effective partner for stopping this malicious activity,” said Assistant Director Bryan Vorndran of the FBI’s Cyber Division. “Complementary actions prevented further victimization of U.S. businesses and individuals while contributing to the safety of U.S. citizens as they use the internet.”	FBIサイバー課のブライアン・ボーンドラン次長は、次のように述べた。「私たちの法執行活動、技術的専門知識、そしてソフォスのような民間企業との永続的なパートナーシップは、このような悪質な活動を阻止するための信頼できる効果的なパートナーとしてのFBIの評判を示している。相補的な行動により、米国企業や個人のさらなる被害を防ぐと同時に、インターネットを利用する米国市民の安全にも貢献した。」
“Today’s indictment underscores our commitment to protecting the public from malicious actors who use security research as a cover to identify vulnerabilities in widely used systems and exploit them,” said U.S. Attorney Clifford D. Johnson for the Northern District of Indiana. “Guan Tianfeng and his co-conspirators placed thousands of computer networks, including a network in the Northern District of Indiana, at risk by conducting this attack.”	インディアナ州北部地区連邦検事クリフォード・D・ジョンソンは、次のように述べた。「本日の起訴は、広く使われているシステムの脆弱性を特定し、それを悪用する隠れ蓑としてセキュリティ研究を利用する悪意ある行為者から一般市民を守るという我々のコミットメントを強調するものである。Guan Tianfengとその共謀者は、この攻撃を行うことで、インディアナ州北部地区のネットワークを含む数千のコンピュータ・ネットワークを危険にさらした。」
“The zero-day vulnerability Guan Tianfeng and his co-conspirators found and exploited affected firewalls owned by businesses across the United States, including in Indiana,” said Special Agent in Charge Herbert J. Stapleton of the FBI Indianapolis Field Office. “If Sophos had not rapidly identified the vulnerability and deployed a comprehensive response, the damage could have been far more severe. Sophos’s efforts combined with the dedication and expertise of our cyber squad formed a powerful partnership resulting in the mitigation of this threat.”	FBIインディアナポリス支局のハーバート・J・ステイプルトン特別捜査官は、次のように述べた。「Guan Tianfengとその共謀者が発見し悪用したゼロデイ脆弱性は、インディアナ州を含む全米の企業が所有するファイアウォールに影響を与えた。「もしソフォスが脆弱性を迅速に特定し、包括的な対応策を展開していなければ、被害ははるかに深刻なものになっていただろう。ソフォスの努力とサイバー部隊の献身的で専門的な技術が強力なパートナーシップを形成し、この脅威を軽減することができた。」
The Conspiracy to Exploit Common Vulnerabilities and Exposures (CVE) 2020-12271	The Conspiracy to Exploit Common Vulnerabilities and Exposures (CVE) 2020-12271
As alleged in the indictment, in 2020, Guan and his co-conspirators developed, tested, and deployed malware that targeted approximately 81,000 Sophos firewalls using a 0-day vulnerability that existed on those devices. The 81,000 Sophos firewalls were located throughout the world, including within victim organizations located in the Northern District of Indiana. The vulnerability was later designated CVE 2020-12271.	起訴状で主張されているように、2020年、グアンとその共謀者は、約81,000台のソフォスのファイアウォールを標的とし、これらのデバイスに存在する0日の脆弱性を利用したマルウェアを開発、テスト、配備した。81,000台のソフォスのファイアウォールは、インディアナ州北部地区の被害者組織を含む世界中に設置されていた。この脆弱性は、後にCVE 2020-12271に指定された。
Guan and his co-conspirators designed the malware to steal information from firewalls. To better hide their activity, Guan and his co-conspirators registered and used domains designed to look like they were controlled by Sophos, such as sophosfirewallupdate.com. Sophos discovered the intrusion and remediated its customers’ firewalls in approximately two days, which caused the co-conspirators to modify their malware. As modified, the malware was designed to deploy encryption software from a ransomware variant in the event the victims attempted to remove the malware. Their encryption efforts did not succeed, but demonstrated the conspirators’ disregard for the harm that they would cause to victims.	グアンとその共謀者は、ファイアウォールから情報を盗むためにマルウェアを設計した。活動を隠すために、Guan と共謀者は sophosfirewallupdate.com など、ソフォスが管理しているように見せかけたドメインを登録し、使用していた。ソフォスは侵入を発見し、約2日間で顧客のファイアウォールを修復した。修正されたマルウェアは、被害者がマルウェアを削除しようとした場合に、ランサムウェアの亜種の暗号化ソフトウェアを展開するように設計されていた。彼らの暗号化の努力は成功しなかったが、共謀者たちが被害者に与える害を軽視していたことが示された。
Guan Tianfeng’s Employment and Sichuan Silence’s Relationship with the PRC Government	Guan Tianfengの雇用とSichuan Silenceと中国政府との関係
According to court documents, Guan worked for Sichuan Silence, a PRC-based private company that has provided services to the PRC Ministry of Public Security, among other PRC organizations. According to Sichuan Silence’s website, it developed a product line which could be used to scan and detect overseas network targets in order to obtain valuable intelligence information.	裁判所の文書によると、GuanはSichuan Silenceに勤務していた。Sichuan Silenceは中国に拠点を置く民間企業で、他の中国組織の中でも特に中国公安部にサービスを提供している。Sichuan Silence社のウェブサイトによると、同社は、貴重な諜報情報を得るために、海外ネットワークのターゲットをスキャンして検出するために使用できる製品ラインを開発した。
In October, Sophos released a number of articles chronicling its separate long-running investigation, “Pacific Rim.” Sophos detailed PRC-based advanced persistent threat groups targeting its networking appliances for over five years, which it described as “unusually knowledgeable about the internal architecture of the device firmware.” One of the attacks described in the Pacific Rim report involved CVE-2020-12271.	10月、ソフォスは、長期にわたる調査「パシフィック・リム」をまとめた記事を発表した。ソフォスは、5年以上にわたってネットワーク・アプライアンスを標的にしてきたPRCベースの高度持続的脅威グループについて詳述し、「デバイスのファームウェアの内部アーキテクチャについて異常に詳しい」と説明している。パシフィック・リムのレポートに記載された攻撃の1つは、CVE-2020-12271に関係していた。
Soon after the Sophos announcements in October, the FBI issued a call for information regarding computer intrusions into Sophos edge devices. The FBI continues to solicit information on PRC-sponsored malicious actors targeting edge devices and network security appliances .	10月のソフォスの発表の直後、FBIはソフォスのエッジデバイスへのコンピュータ侵入に関する情報提供を呼びかけた。FBI は引き続き、エッジデバイスやネットワークセキュリティアプライアンスを標的とした、PRC がスポンサーとなっている悪意のある行為者に関する情報を募集している。
The U.S. Department of State also announced rewards today of up to $10 million for information leading to the identification or location of Guan or any person who, while acting at the direction or under the control of a foreign government, engages in certain malicious cyber activities against U.S. critical infrastructure in violation of the Computer Fraud and Abuse Act. The U.S. Department of the Treasury’s Office of Foreign Assets Control also announced sanctions on Sichuan Silence and Guan today.	また、米国国務省は本日、外国政府の指示または支配下で行動しながら、コンピュータ詐欺・乱用防止法に違反して米国の重要インフラに対して特定の悪質なサイバー活動を行ったグアンまたはその人物の特定または所在につながる情報に対して、最高1,000万ドルの報奨金を出すと発表した。米財務省外国資産管理局も本日、四川省サイレンス社とグアン社に対する制裁を発表した。
Trial Attorneys Jacques Singer-Emery and George Brown of the National Security Division’s National Security Cyber Section and Assistant U.S. Attorney Steven J. Lupa for the Northern District of Indiana are prosecuting the case.	国家安全保障部国家安全保障サイバー課のジャック・シンガー＝エメリー裁判弁護士とジョージ・ブラウン裁判弁護士、およびインディアナ州北部地区のスティーブン・J・ルパ連邦検事補がこの事件を起訴している。
The FBI continues to investigate Sichuan Silence’s hacking activities and intrusions into various edge devices.	FBIは、四川省サイレンス社のハッキング活動やさまざまなエッジ・デバイスへの侵入について捜査を続けている。
An indictment is merely an allegation. All defendants are presumed innocent until proven guilty beyond a reasonable doubt in a court of law.	起訴は単なる申し立てに過ぎない。すべての被告は、法廷で合理的な疑いを超えて有罪が証明されるまで、無罪と推定される。

指名手配

・GUAN TIANFENG

起訴状

・[PDF] Indictment

指名手配

・Most Wanted

・EDGE DEVICE INTRUSIONS

・[PDF] EDGE DEVICE INTRUSIONS Cyber Intrusions into Companies and Government Entities April 2020 to Present

Poster

報奨金

・Foreign Malicious Cyber Activity Against U.S. Critical Infrastructure

次は財務省...

・2024.12.10 Treasury Sanctions Cybersecurity Company Involved in Compromise of Firewall Products and Attempted Ransomware Attacks

Treasury Sanctions Cybersecurity Company Involved in Compromise of Firewall Products and Attempted Ransomware Attacks	財務省は、ファイアウォール製品の侵害とランサムウェア攻撃の未遂に関与したサイバーセキュリティ企業に対し制裁を科す
WASHINGTON — Today, the Department of the Treasury’s Office of Foreign Assets Control (OFAC) is sanctioning cybersecurity company Sichuan Silence Information Technology Company, Limited (Sichuan Silence), and one of its employees, Guan Tianfeng (Guan), both based in People’s Republic of China (PRC), for their roles in the April 2020 compromise of tens of thousands of firewalls worldwide. Many of the victims were U.S. critical infrastructure companies.	ワシントン - 本日、財務省外国資産管理局（OFAC）は、2020年4月に世界で発生した数万台のファイアウォールの侵害に関与したとして、中華人民共和国（PRC）を拠点とするサイバーセキュリティ企業、四川沈黙信息技術有限公司（Sichuan Silence Information Technology Company, Limited、以下「四川沈黙」）とその従業員の1人である関天峰（Guan Tianfeng、以下「関」）に対し制裁を科す。被害者の多くは米国の重要インフラ企業であった。
Malicious cyber actors, including those operating in China, continue to be one of the greatest and most persistent threats to U.S. national security, as highlighted in the 2024 Annual Threat Assessment released by the Office of the Director of National Intelligence.	国家情報長官室が発表した2024年の年間脅威評価でも強調されているように、中国を含む悪質なサイバー攻撃者は、米国の国家安全保障にとって最大かつ最も永続的な脅威のひとつであり続けている。
“Today’s action underscores our commitment to exposing these malicious cyber activities—many of which pose significant risk to our communities and our citizens—and to holding the actors behind them accountable for their schemes,” said Acting Under Secretary of the Treasury for Terrorism and Financial Intelligence Bradley T. Smith. “Treasury, as part of the U.S. government’s coordinated approach to addressing cyber threats, will continue to leverage our tools to disrupt attempts by malicious cyber actors to undermine our critical infrastructure.”	ブラッドリー・T・スミス財務次官代理（テロ・金融情報担当）は、次のように述べた。「本日の措置は、こうした悪質なサイバー活動（その多くが地域社会と市民に重大なリスクをもたらす）を摘発し、その背後にいる行為者の謀略に対する責任を追及するという我々のコミットメントを強調するものである。財務省は、サイバー脅威に対処するための米国政府の協調的アプローチの一環として、重要インフラを弱体化させようとする悪意あるサイバー行為者の試みを妨害するために、引き続き我々のツールを活用していく。」
Today, the Department of Justice (DOJ) unsealed an indictment on Guan for the same activity. Additionally, the U.S. Department of State announced a Rewards for Justice reward offer of up to $10 million for information about Sichuan Silence or Guan.	本日、司法省（DOJ）は、同じ活動でグアンを起訴した。さらに、米国務省は、四川省サイレンスまたはグアンに関する情報に対し、最高1000万ドルの司法報奨金を提供することを発表した。
April 2020 Firewall compromise	2020年4月ファイアウォールの侵害
Guan Tianfeng discovered a zero-day exploit in a firewall product. A zero-day exploit is a previously unknown vulnerability in a computer software or hardware product that can be used in a cyberattack. Between April 22 and 25, 2020, Guan Tianfeng used this zero-day exploit to deploy malware to approximately 81,000 firewalls owned by thousands of businesses worldwide. The purpose of the exploit was to use the compromised firewalls to steal data, including usernames and passwords. However, Guan also attempted to infect the victims’ systems with the Ragnarok ransomware variant. This ransomware disables anti-virus software and encrypts the computers on a victim’s network if they attempt to remedy the compromise.	Guan Tianfengがファイアウォール製品のゼロデイ・エクスプロイトを発見した。ゼロデイ・エクスプロイトとは、サイバー攻撃に利用できるコンピュータ・ソフトウェアやハードウェア製品の未知の脆弱性のことである。2020年4月22日から25日にかけて、Guan Tianfengはこのゼロデイ・エクスプロイトを利用して、世界中の数千の企業が所有する約81,000のファイアウォールにマルウェアを展開した。この悪用の目的は、侵害されたファイアウォールを使ってユーザー名やパスワードなどのデータを盗むことだった。しかし、Guanはまた、被害者のシステムをRagnarokランサムウェアの亜種に感染させようとした。このランサムウェアはアンチウイルス・ソフトウェアを無効にし、被害者が侵害を修復しようとすると、被害者のネットワーク上のコンピュータを暗号化する。
More than 23,000 of the compromised firewalls were in the United States. Of these firewalls, 36 were protecting U.S. critical infrastructure companies’ systems. If any of these victims had failed to patch their systems to mitigate the exploit, or cybersecurity measures had not identified and quickly remedied the intrusion, the potential impact of the Ragnarok ransomware attack could have resulted in serious injury or the loss of human life. One victim was a U.S. energy company that was actively involved in drilling operations at the time of the compromise. If this compromise had not been detected, and the ransomware attack not been thwarted, it could have caused oil rigs to malfunction potentially causing a significant loss in human life.	侵害されたファイアウォールのうち23,000台以上が米国にあった。このうち36のファイアウォールは、米国の重要インフラ企業のシステムを保護していた。これらの被害者のいずれかが、エクスプロイトを緩和するためにシステムにパッチを適用しなかったり、サイバーセキュリティ対策が侵入を特定し、迅速に対処しなかったりした場合、ラグナロク型ランサムウェア攻撃の潜在的な影響により、重傷を負ったり、人命が失われたりした可能性がある。被害者の1人は、侵害が発生した当時、掘削作業に積極的に関与していた米国のエネルギー企業だった。この侵害が発見されず、ランサムウェア攻撃が阻止されなかった場合、石油掘削装置の誤動作を引き起こし、人命に関わる重大な損失をもたらす可能性があった。
Guan Tianfeng and sichuan silence	Guan Tianfeng and sichuan silence
Guan is a Chinese national and was a security researcher at Sichuan Silence at the time of the compromise. Guan competed on behalf of Sichuan Silence in cybersecurity tournaments and posted recently discovered zero-day exploits on vulnerability and exploit forums, including under his moniker GbigMao. Guan was responsible for the April 2020 firewall compromise.	Guanは中国国籍で、漏洩当時はSichuan Silenceのセキュリティ研究者だった。GuanはSichuan Silenceを代表してサイバーセキュリティトーナメントに出場し、GbigMaoというニックネームで、脆弱性フォーラムやエクスプロイトフォーラムに最近発見されたゼロデイ・エクスプロイトを投稿していた。Guanは2020年4月のファイアウォール侵害の責任者だった。
Sichuan Silence is a Chengdu-based cybersecurity government contractor whose core clients are PRC intelligence services. Sichuan Silence provides these clients with computer network exploitation, email monitoring, brute-force password cracking, and public sentiment suppression products and services. Additionally, Sichuan Silence provides these clients with equipment designed to probe and exploit target network routers. A pre-positioning device used by Guan in the April 2020 firewall compromise was in fact owned by his employer, Sichuan Silence.	Sichuan Silenceは、成都を拠点とするサイバーセキュリティの政府請負業者であり、その中心的な顧客は中国の諜報機関である。Sichuan Silenceはこれらのクライアントに、コンピューター・ネットワーク搾取、電子メール監視、総当りパスワード・クラッキング、国民感情抑制の製品とサービスを提供している。さらに、四川サイレンス社は、標的のネットワーク・ルーターを調査し、悪用するように設計された機器をこれらのクライアントに提供している。2020年4月のファイアウォール侵害でグアンが使用した事前配置装置は、実際に彼の雇用主である四川省サイレンスが所有していた。
OFAC is designating Sichuan Silence and Guan pursuant to Executive Order (E.O.) 13694, as amended by E.O. 13757, for being responsible for or complicit in, or having engaged in, directly or indirectly cyber-enabled activities originating from, or directed by persons located, in whole or in substantial part, outside the United States that are reasonably likely to result in, or have materially contributed to, a significant threat to the national security, foreign policy, or economic health or financial stability of the United States and that have the purpose or effect of harming, or otherwise significantly compromising the provision of services by, a computer or network of computers that support one or more entities in a critical infrastructure sector.	OFACは、E.O.13757によって改正された大統領令（E.O.）13694に従って、四川サイレンスと関を指定している。13757 により修正された。米国外から発信された、または米国外にいる人物により指示された、直接的または間接的にサイバーを利用した活動の全部または実質的な一部に責任を負っているか、それに加担しているか、またはそれに関与している。その活動は、米国の国家安全保障、外交政策、または経済的健全性もしくは財政的安定に対する重大な脅威をもたらす可能性が合理的に高いか、それに重大な貢献をした。
SANCTIONS IMPLICATIONS	制裁の影響
As a result of today’s action, all property and interests in property of the designated persons described above that are in the United States or in the possession or the control of U.S. persons are blocked and must be reported to OFAC. In addition, any entities that are owned, directly or indirectly, individually or in the aggregate, 50 percent or more by one or more blocked persons are also blocked. Unless authorized by a general or specific license issued by OFAC, or exempt, OFAC’s regulations generally prohibit all transactions by U.S. persons or within (or transiting) the United States that involve any property or interests in property of designated or otherwise blocked persons.	本日の措置の結果、米国内にある、または米国人の所有もしくは管理下にある、上記の指定人物の財産および財産の権利はすべて封鎖され、OFACに報告しなければならない。さらに、直接的または間接的に、個人または総計で50％以上を1人または複数の指定された人物が所有している事業体もまた、封鎖される。OFACが発行した一般または特定のライセンスにより許可されるか、または免除されない限り、OFACの規制は一般的に、指定またはその他の方法でブロックされた人物の財産または財産に対する権益に関わる、米国人による、または米国内（または米国を通過する）でのすべての取引を禁止している。
In addition, financial institutions and other persons that engage in certain transactions or activities with the sanctioned entities and individuals may expose themselves to sanctions or be subject to an enforcement action. The prohibitions include the making of any contribution or provision of funds, goods, or services by, to, or for the benefit of any designated person, or the receipt of any contribution or provision of funds, goods, or services from any such person.	加えて、制裁対象団体や個人と特定の取引や活動を行う金融機関やその他の者は、制裁にさらされたり、強制措置の対象となる可能性がある。禁止事項には、指定された人物による、指定された人物への、または指定された人物の利益のための、資金、物品、またはサービスの寄付や提供、あるいはそのような人物からの資金、物品、またはサービスの寄付や提供の受領が含まれる。
The power and integrity of OFAC sanctions derive not only from OFAC’s ability to designate and add persons to the Specially Designated Nationals and Blocked Persons (SDN) List, but also from its willingness to remove persons from the SDN List consistent with the law. The ultimate goal of sanctions is not to punish, but to bring about a positive change in behavior. For information concerning the process for seeking removal from an OFAC list, including the SDN List, please refer to OFAC’s Frequently Asked Question 897 here. For detailed information on the process to submit a request for removal from an OFAC sanctions list, please click here.	OFACの制裁の権限と完全性は、OFACが特別指定国民及び要注意人物（SDN）リストに人物を指定し、追加する能力からだけでなく、法律に基づきSDNリストから人物を削除する意思からも派生する。制裁の最終的な目標は、罰することではなく、行動に前向きな変化をもたらすことである。SDNリストを含むOFACリストからの削除を求めるプロセスに関する情報については、OFACのよくある質問897を参照のこと。OFAC制裁リストからの削除要請の提出プロセスに関する詳細情報については、こちらを参照のこと。
Click here for more information on the individuals and entities designated today.	本日指定された個人および団体の詳細については、こちらを参照のこと。
###	###

ここで触れらている、米国情報機関の脅威報告書...

仮対訳をつけています...

↓

● まるちゃんの情報セキュリティ気まぐれ日記

・2024.03.14 米国インテリジェンス・コミュニティによる2024年の脅威評価

2024.12.21 00:00 in 情報セキュリティ / サイバーセキュリティ, in 法律 / 犯罪, in 安全保障 | Permalink | Comments (0)
Tweet

2024.12.20

個人情報保護委員会いわゆる3年ごと見直しに係る検討関係（第310回委員会、第6-7回検討会）

こんにちは、丸山満彦です。

前回紹介してから、少し時間がたっているので、まとめて紹介！

検討会報告書（案）が公表されていますね...

議論されて、少しかわりますかね...

課徴金についてもかなり丁寧に触れられていますね...

・2024.12.17 [PDF] 検討会報告書（案）

【目次】

第１はじめに
１開催の背景
２検討に影響を与える事項

第２課徴金制度
１検討に係る前提条件
（１）課徴金制度を検討する立法事実
（２）適正なデータ利活用への影響
（３）国内他法令における課徴金制度との関係
（４）外国制度との関係
２想定される制度
（１）課徴金納付命令の対象となる範囲
（２）算定方法
（３）その他

第３団体による差止請求制度及び被害回復制度
１検討に係る前提条件
（１）適格消費者団体の現状、他法令の運用
（２）認定個人情報保護団体等との関係
２想定される制度
（１）対象行為と運用
（２）その他（体制整備等）

第４おわりに

参考

● 個人情報保護委員会

・・個人情報保護委員会開催状況

・・個人情報保護法のいわゆる３年ごと見直しに関する検討会

・・個人情報保護法　いわゆる３年ごと見直しについて

2024.12.18	第７回個人情報保護法のいわゆる３年ごと見直しに関する検討会
	議事次第
資料１	現行制度と検討の方向性について（課徴金制度③）
資料２	検討会報告書（案）
参考資料１	これまでの主な論点及び関連御意見
参考資料２	第２回～第６回検討会における主な御意見
参考資料３	関係参考資料
参考資料4	「個人情報保護法のいわゆる３年ごと見直しの検討の充実に向けた視点」に関するヒアリングの概要について
議事録
2024.12.17	第310回個人情報保護委員会
資料１－１	「個人情報保護法のいわゆる３年ごと見直しの検討の充実に向けた視点」に関するヒアリングの概要について
資料１－２	事務局ヒアリングにおける主な御意見
参考資料１－１
参考資料１－２	事務局ヒアリングの各参加者提出資料
	議事概要
	議事録
2024.11.28	第６回個人情報保護法のいわゆる３年ごと見直しに関する検討会
	議事次第
資料１	現行制度と検討の方向性について（課徴金制度②）
資料２	現行制度と検討の方向性について（団体による差止請求制度及び被害回復制度③）
資料３	これまでの主な論点及び関連御意見 (PDF : 2006KB)
参考資料１	第２回～第５回検討会における主な御意見
議事録	第６回個人情報保護法のいわゆる３年ごと見直しに関する検討会

2024.11.12	第５回個人情報保護法のいわゆる３年ごと見直しに関する検討会
	議事次第
資料１	国内他法令における課徴金額の算定方法等について
資料２	現行制度と検討の方向性について（団体による差止請求制度及び被害回復制度②）
資料３	認定個人情報保護団体制度について
資料４	第４回までの主な論点及び関連意見
資料５	個人情報保護法のいわゆる３年ごと見直しの検討の充実に向けた視点・今後の検討の進め方
参考資料１	第２回～第４回検討会における主な御意見
参考資料２	関係参考資料
議事録	第５回個人情報保護法のいわゆる３年ごと見直しに関する検討会
2024.10.16	第304回個人情報保護委員会
資料１－１	個人情報保護法のいわゆる３年ごと見直しの検討の充実に向けた視点（案）
資料１－２	今後の検討の進め方
	議事概要
	議事録
2024.10.11	第４回個人情報保護法のいわゆる３年ごと見直しに関する検討会
	議事次第
資料１	全国消費生活相談員協会プレゼン資料
資料２	中川構成員プレゼン資料
資料３	第３回事務局資料に対する御質問と考え方
参考資料１	第２回及び第３回検討会における主な御意見
参考資料２	関係参考資料
前回資料１ー１	総合的な案内所（個人情報保護法相談ダイヤル）における受付状況
前回資料１ー２	名簿販売事業者に対する個人情報の保護に関する法律に基づく行政上の対応について
前回資料２	個人情報保護法の違反行為に係る事例等
前回資料３	現行制度と検討の方向性について（課徴金制度）
前回資料４	現行制度と検討の方向性について（団体による差止請求制度及び被害回復制度）
議事録	第４回個人情報保護法のいわゆる３年ごと見直しに関する検討会
2024.09.26	第３回個人情報保護法のいわゆる３年ごと見直しに関する検討会
	議事次第
資料１－１	総合的な案内所（個人情報保護法相談ダイヤル）における受付状況
資料１－２	名簿販売事業者に対する個人情報の保護に関する法律に基づく行政上の対応について
資料２	個人情報保護法の違反行為に係る事例等
資料３	現行制度と検討の方向性について（課徴金制度）
資料４	現行制度と検討の方向性について（団体による差止請求制度及び被害回復制度）
参考資料１	第２回検討会における主な御意見
参考資料２	個人情報の保護に関する基本方針
参考資料３	個人情報の保護に関する法律に基づく行政上の対応について（令和６年９月11日公表資料）
参考資料４	関係参考資料
議事録	第３回個人情報保護法のいわゆる３年ごと見直しに関する検討会
2024.09.05	第２回個人情報保護法のいわゆる３年ごと見直しに関する検討会
資料１	「個人情報保護法　いわゆる３年ごと見直しに係る検討の中間整理」に関する意見募集結果
資料２	「個人情報保護法　いわゆる３年ごと見直しに係る検討の中間整理」に関する意見募集結果（概要）
資料３	今後の検討の進め方
資料４	監視・監督活動及び漏えい等報告に関する説明資料
参考資料１	第1回検討会における主な意見
参考資料２	第1回検討会における主な質問及び回答
参考資料３	関係参考資料
議事録
2024.09.04	第299回個人情報保護委員会
資料1-1	「個人情報保護法　いわゆる３年ごと見直しに係る検討の中間整理」に関する意見募集結果
資料1-2	「個人情報保護法　いわゆる３年ごと見直しに係る検討の中間整理」に関する意見募集結果（概要）
議事概要
議事録
2024.07.31	第１回個人情報保護法のいわゆる３年ごと見直しに関する検討会
資料1	開催要綱（案）
資料2	主婦連合会御提出資料
資料3	新経済連盟御提出資料
資料4	全国消費者団体連絡会御提出資料
資料5	全全国消費生活相談員協会御提出資料
資料6	日本IT 団体連盟御提出資料
資料7	日本経済団体連合会御提出資料
参考資料1	「個人情報保護法いわゆる３年ごと見直しに係る検討の中間整理」概要
参考資料2	「個人情報保護法いわゆる３年ごと見直しに係る検討の中間整理」本文
議事録
2024.07.24	第296回個人情報保護委員会
資料1	個人情報保護法のいわゆる３年ごと見直しに関する検討会の設置について
議事概要
議事録
2024.06.26	第292回個人情報保護委員会
資料１	個人情報保護法いわゆる３年ごと見直しに係る検討の中間整理（案）
【委員長預かりで会議後に修正した資料】資料１	個人情報保護法　いわゆる３年ごと見直しに係る検討の中間整理
資料２−１	日EU相互認証の枠組みの拡大に向けた対応について
資料２−２	個人情報保護委員会藤原靜雄委員長と欧州委員会ベラ・ヨウロバー副委員長（価値・透明性担当）の会談に関する共同プレス・ステートメント（英語）
資料２−３	個人情報保護委員会藤原靜雄委員長と欧州委員会ベラ・ヨウロバー副委員長（価値・透明性担当）の会談に関する共同プレス・ステートメント（日本語仮訳）
資料３	一般送配電事業者及び関係小売電気事業者等における顧客情報の不適切な取扱事案に対する個人情報の保護に関する法律に基づく行政上の対応について
議事概要
議事録
2024.06.13	第290回個人情報保護委員会
資料１－１	第二次いわゆる３年ごと見直しへのコメント（ひかり総合法律事務所　板倉弁護士）
資料１－２	デジタル社会の個人情報保護法（新潟大学　鈴木教授）
議事概要
議事録
2024.06.12	第289回個人情報保護委員会
資料１－１	個人情報保護委員会「いわゆる３年ごと見直し」ヒアリング（国立情報学研究所　佐藤教授）
資料１－２	個人情報保護法３年ごと見直し令和６年に対する意見（産業技術総合研究所　高木主任研究員）
議事概要
議事録
2024.06.03	第287回個人情報保護委員会
資料１－１	個人情報保護法見直しに関するコメント（京都大学　曽我部教授）
資料１－２	いわゆる3年ごと見直しに関する意見（慶應義塾大学　山本教授）
資料１－３	３年ごと見直しヒアリング２０２４（英知法律事務所　森弁護士）
資料１－４－1	個人情報保護法のいわゆる３年ごと見直しに関する意見（東京大学　宍戸教授）
資料１－４－2	宍戸常寿氏御提出資料（令和元年５月21日提出）
議事概要
議事録
2024.05.29	第286回個人情報保護委員会
資料１	個人情報保護法いわゆる３年ごと見直し規定に基づく検討（実効性のある監視・監督の在り方③）
議事概要
議事録
2024.05.15	第284回個人情報保護委員会
資料２	個人情報保護法いわゆる３年ごと見直し規定に基づく検討（データ利活用に向けた取組に対する支援等の在り方）
資料３	個人情報保護法いわゆる３年ごと見直し規定に基づく検討（実効性のある監視・監督の在り方②）
議事概要
議事録
2024.05.10	第283回個人情報保護委員会
資料１－１	個人情報保護法における課徴金制度導入にかかる諸論点（名古屋大学林教授）
資料１－２	個人情報保護法における法執行の強化について（神戸大学中川教授）
議事概要
議事録
2024.04.24	第281回個人情報保護委員会
資料１	個人情報保護法の３年ごと見直しに対する意見
資料２	個人情報保護法　いわゆる３年ごと見直し規定に基づく検討（個人の権利利益のより実質的な保護の在り方③）
議事概要
議事録
2024.04.10	第280回個人情報保護委員会
資料１	個人情報保護法　いわゆる３年ごと見直し規定に基づく検討（個人の権利利益のより実質的な保護の在り方② ）
議事概要
議事録
2024.04.03	第279回個人情報保護委員会
資料１―１	AIと個人情報保護：欧州の状況を中心に（一橋大学生貝教授）
資料１―２	AI利用と個人情報の関係の考察（NTT社会情報研究所高橋チーフセキュリティサイエンティスト）
資料１−３	医療情報の利活用の促進と個人情報保護（東京大学森田名誉教授）
資料１―４	医療・医学系研究における個人情報の保護と利活用（早稲田大学　横野准教授）
議事概要
議事録
2024.03.22	第277回個人情報保護委員会
資料１	個人情報保護法　いわゆる３年ごと見直し規定に基づく検討（実効性のある監視・監督の在り方①）
議事概要
議事録
2024.03.06	第275回個人情報保護委員会
資料１	個人情報保護法　いわゆる３年ごと見直し規定に基づく検討（個人の権利利益のより実質的な保護の在り方①）
議事概要
議事録
2024.02.21	第273回個人情報保護委員会
資料４	個人情報保護法　いわゆる３年ごと見直し規定に基づく検討項目
【委員長預かりで会議後に修正した資料】資料４	個人情報保護法　いわゆる３年ごと見直し規定に基づく検討項目
議事概要
議事録
2024.02.14	第272回個人情報保護委員会
資料２－１	地方公共団体における個人情報保護法運用状況のヒアリング（京都府総務部政策法務課）
資料２－２	岡山市における個人情報保護法の運用状況（岡山市総務局行政事務管理課）
資料２－３	個人情報保護法運用状況について（都城市総務部総務課）
資料２－４	個人情報保護法運用状況について（上里町総務課）
議事概要
議事録
2024.02.07	第271回個人情報保護委員会
資料１	インターネット広告における個人に関する情報の取扱いについての取組状況（日本インタラクティブ広告協会）
議事概要
議事録
2024.01.31	第270回個人情報保護委員会
資料２	個人情報保護法の3 年ごと見直しに対する意見（日本経済団体連合会）
議事概要
議事録
2024.01.23	第268回個人情報保護委員会
資料１―１	(特定)適格消費者団体の活動について（消費者支援機構関西）
資料１―２	個人情報保護委員会ヒアリング資料（日本商工会議所）
議事概要
議事録
2023.12.21	第266回個人情報保護委員会
資料１―１	個人情報保護法の３年ごと見直しに関する意見（電子情報技術産業協会）
資料１―２	ヒアリング資料（全国商工会連合会）
議事概要
議事録
2023.12.20	第265回個人情報保護委員会
資料１―１	ACCJ Comments for the Personal Information Protection Commission Public Hearing（在米国商工会議所）
資料１―２	公開ヒアリングに向けたACCJ意見（在米国商工会議所）
議事概要
議事録
2023.12.15	第264回個人情報保護委員会
資料１―１	個人情報保護法の見直しについて（新経済連盟）
資料１―２	個人情報保護法見直しに関する意見（日本IT団体連盟）
議事概要
議事録
2023.12.06	第263回個人情報保護委員会
資料２	個人情報保護法に関する欧州企業の代表的な課題（欧州ビジネス協会）
議事概要
議事録
2023.11.29	第262回個人情報保護委員会
資料１	ヒアリング資料（一般社団法人日本情報経済社会推進協会）
議事概要
議事録
2023.11.15	第261回個人情報保護委員会
資料２－１	個人情報保護法　いわゆる３年ごと見直し規定に基づく検討
資料２－２	個人情報保護に係る主要課題に関する海外・国内動向調査　概要資料
議事概要
議事録

● まるちゃんの情報セキュリティ気まぐれ日記

・2024.11.26 個人情報保護委員会いわゆる3年ごと見直しに係る検討関係（第304回委員会、第3-5回検討会）

・2024.09.06 個人情報保護委員会いわゆる3年ごと見直しに係る検討関係（第299回委員会、第2回検討会）

・2024.08.04 個人情報保護委員会第１回個人情報保護法のいわゆる３年ごと見直しに関する検討会

・2024.06.28 個人情報保護委員会意見募集いわゆる3年ごと見直しに係る検討の中間整理

・2024.06.04 個人情報保護委員会個人情報保護法の3年ごとの見直しに関する意見をヒアリング、検討中... （２）

・2024.04.25 個人情報保護委員会個人情報保護法の3年ごとの見直しに関する意見をヒアリング、検討中...

・2024.01.06 個人情報保護委員会個人情報保護法の3年ごとの見直しに関する意見をヒアリング中...

Continue reading "個人情報保護委員会いわゆる3年ごと見直しに係る検討関係（第310回委員会、第6-7回検討会）"

2024.12.20 02:33 in 個人情報保護 / プライバシー, in 法律 / 犯罪 | Permalink | Comments (0)
Tweet

個人情報保護委員会人事労務管理のためのサービスをクラウド環境を利用して開発・提供する場合及び当該サービスを利用する場合における、個人情報保護法上の安全管理措置及び委託先の監督等に関する留意点について（注意喚起） (2024.12.17)

こんにちは、丸山満彦です。

個人情報保護委員会が、「人事労務管理のためのサービスをクラウド環境を利用して開発・提供する場合及び当該サービスを利用する場合における、個人情報保護法上の安全管理措置及び委託先の監督等に関する留意点について（注意喚起）」を公表していますね...

クラウド上で提供され、多数の企業において利用されている人事労務管理サービスが不正アクセスを受け、マイナンバーを含む個人データが漏えいした事案について、個人情報保護法、マイナンバー法上の問題点を、調査・検討したものです...

● 個人情報保護委員会

・2024.12.17 人事労務管理のためのサービスをクラウド環境を利用して開発・提供する場合及び当該サービスを利用する場合における、個人情報保護法上の安全管理措置及び委託先の監督等に関する留意点について（注意喚起）

・[PDF] 人事労務管理のためのサービスをクラウド環境を利用して開発・提供する場合及び当該サービスを利用する場合における、個人情報保護法上の安全管理措置及び委託先の監督等に関する留意点について（注意喚起）

４留意点のまとめ

(1) 委託先における留意点

本事案のように、漏えい等をした場合に本人の重大な権利利益の侵害が発生するおそれのある個人データを、クラウド環境を利用したシステム上で顧客のために大量に取り扱うサービスを開発・提供する場合には、特にアクセス制御の点や不正アクセス等を防止するための措置について、開発段階から注意して設計し、ユーザーの利便性に偏らない安全なシステムを構築し、サービス提供をすることが重要です。

人事労務管理のためのクラウドサービスを提供する事業者におかれては、取り扱う個人データの性質及び量に応じて、近年における不正アクセスの動向にも注意しつつ、必要な安全管理措置を講じていただき、安全なサービスの開発・提供に努めていただくようお願いします。

なお、クラウドサービスの提供に際しては、当該クラウドサービスを提供する事業者において、あらかじめ作成した定型的な利用規約等について合意することで、当該クラウドサービスの利用に係る契約を締結する場合も多いと思います。クラウドサービスを提供する事業者におかれては、あらかじめ、必要かつ適切な安全管理措置等に係る記載を盛り込んだ利用規約等の整備に努めていただくようお願いいたします。

(2) 委託元における留意点

本件システムのようなクラウドサービスを利用して、漏えい等をした場合に本人の重大な権利利益の侵害が発生するおそれのある個人データを含む大量の従業者等の個人データを継続的に管理していく場合には、そのようなリスクに応じた措置を講ずる必要があります。

本事案では、前記３のとおり、利用規約以外に個人情報保護法のガイドライン等の記述に従って別途覚書等を作成し、委託先に対して個人データに係る安全管理措置を義務付けるチェックシートなどを用いたりするなどして委託先における個人データの取扱い状況を把握する等の措置を講じている個人情報取扱事業者も認められました。

委託元となる個人情報取扱事業者におかれましては、委託する個人データの性質及び量に応じて、委託元として、必要かつ適切な委託先の監督を行っていただくようお願いします。

2024.12.20 00:00 in 情報セキュリティ / サイバーセキュリティ, in 個人情報保護 / プライバシー, in 法律 / 犯罪 | Permalink | Comments (0)
Tweet

2024.12.19

オランダデータ保護局意見募集社会的スコアリングのためのAIシステム + 操作および搾取的AIシステムに関する意見募集の概要と次のステップ

こんにちは、丸山満彦です。

オランダのデータ保護局が

(1) 第3回の意見募集となる「社会的スコアリングのためのAIシステム」についての意見募集

(2) 第1回の意見募集であった「操作および搾取を目的としたAIシステム」についての意見募集結果と次のステップ

を公表していますね...

社会スコアリングのためのAIシステムは、中国では活用され？、EUのAI法では禁止されているものですね...

AI法の第5条で禁止されるAIが８つ定義されています...

A：特定の操作型AIシステム（サブリミナル技術の利用等）
B：特定の搾取的AIシステム（個人や集団の弱みに漬け込む利用等）
C：ソーシャル・スコアを用いて作動する特定のAIシステム
D：個人による犯罪の可能性を予測する特定のAIシステム
E：顔画像の非標的スクレイピング
F：職場や教育における感情認識のための特定のAIシステム
G：生体認証による人物分類のための特定のAIシステム
H：法執行目的の公共の場における遠隔リアルタイム生体認証のための特定のAIシステム

第1回で

A：特定の操作型AIシステム（サブリミナル技術の利用等）
B：特定の搾取的AIシステム（個人や集団の弱みに漬け込む利用等）

第2回で

F：職場や教育における感情認識のための特定のAIシステム

について意見募集が行われ、

今回第1回についての回答があり、

第3回として、

C：ソーシャル・スコアを用いて作動する特定のAIシステム

についての意見募集がおこなわれているという感じですね...

第1回の操作および搾取を目的としたAIシステムについて得られた結果に対する主な所見...

多くの回答者は、禁止事項に関連する行為はすでに他の水平または分野別の法律や規制によって規制または禁止されていると指摘している。
複数の回答者は、AIが人を欺いたり、操作したり、利用したりする可能性をより説得力のある形で提供していると指摘している。
回答者は、禁止事項が規準で詳細に説明されていないため、ガイドラインでさらに明確化する必要があると指摘している。

AI法がない日本でも個人情報保護法で利用が禁止される利用についてガイドをつくることはできそうですね...

● Autoriteit Persoonsgegevens

・2024.12.18 Call for input AI systems for social scoring

Call for input AI systems for social scoring	社会的スコアリングのためのAIシステムに関する意見募集
The Dutch Data Protection Authority (AP) calls for input on prohibitions in the AI Act.	オランダデータ保護局（AP）は、AI法における禁止事項に関する意見を募集している。
In this call for input, we adress the prohibition in the AI Act: AI systems for social scoring. In the call for input, specific criteria for the prohibitions are delineated and several questions are asked. Please provide your input by the 7th of February 2025 at the latest.	この意見募集では、AI法における禁止事項である「社会的スコアリングのためのAIシステム」を取り上げる。意見募集では、禁止事項の具体的な基準が示され、いくつかの質問が提示されている。意見は遅くとも2025年2月7日までにご提出いただきたい。
At a later stage, we will also ask for input with respect to other prohibitions.	後日、その他の禁止事項についても意見を募集する予定である。
Also view: Input on prohibited AI systems	こちらもご覧ください：禁止されたAIシステムに関する意見

過去の2回分も含めて...いずれもこのブログで紹介しています(^^) (第1回　第2回)

・Input on prohibited AI systems

Input on prohibited AI systems	禁止されるAIシステムに関する意見
As coordinating supervisor on algorithms and AI, the AP has started with the preparation of the supervision on prohibited AI systems. The prohibitions apply from the 2nd of February 2025 onwards.	アルゴリズムおよびAIに関する調整監督者として、APは禁止されるAIシステムに関する監督の準備から着手した。禁止は2025年2月2日以降に適用される。
Citizens, governments, businesses and other organisations will be asked to provide their input on the prohibitions in the AI Act. We can use all the input to consider the necessary further clarification of the prohibited systems.	市民、政府、企業、その他の組織は、AI法における禁止事項に関する意見を求められることになる。我々は、禁止されるシステムについて必要なさらなる明確化を検討するために、すべての意見を活用することができる。
The AI Act sets out multiple prohibitions, that is why we will publish several calls.	AI法では複数の禁止事項が定められているため、複数の意見募集を行う。
Current call for input	現在の意見募集
Third call: AI systems for social scoring	第3回意見募集：社会的スコアリングのためのAIシステム
In the third call for input, we address the prohibition C in the AI Act: AI systems for social scoring.	第3回意見募集では、AI法の禁止事項C、すなわち社会的スコアリングのためのAIシステムを取り上げる。
In the call for input, specific criteria for the prohibition are delineated and several questions are asked. Please provide your input by the 7th of February 2025 at the latest.	意見募集では、禁止事項の具体的な基準が示され、いくつかの質問が提示される。2025年2月7日までに意見を提出すること。
Previous calls for input	これまでの意見募集
First call: manipulative and exploitative AI systems	第1回：操作および搾取を目的としたAIシステム
In the first call for input, we adress two of the prohibitions in the AI Act: manipulative and deceptive AI systems (prohibition A) and exploitative AI systems (prohibition B).	第1回意見募集では、AI法における禁止事項のうち、操作および欺瞞を目的としたAIシステム（禁止事項A）と搾取を目的としたAIシステム（禁止事項B）の2つを取り上げた。
Update: this call is closed. Read the summary of responses and next steps.	最新情報：この意見募集は終了した。回答の概要と今後のステップについてはこちら。
Second call: AI systems for emotion recognition in the areas of workplace and education institutions	第2回：職場および教育機関における感情認識を目的としたAIシステム
In the second call for input , we address the sixth prohibition in the AI Act: AI systems for emotion recognition in the areas of workplace and education institutions (prohibition F).	第2回意見募集では、AI法における6つ目の禁止事項である、職場および教育機関における感情認識用AIシステム（禁止事項F）について取り扱う。
Update: this call is closed.	更新：この募集は終了した。

で今回の文書...

・[PDF]

AI systems for social scoring	社会的スコアリングのためのAIシステム
Prohibition in EU Regulation 2024/1689 (AI Act)	EU規則2024/1689（AI法）による禁止
Autoriteit Persoonsgegevens (NL) – Department for the Coordination of Algorithmic Oversight (DCA)	オランダ個人データ保護局 - アルゴリズム監督調整局（DCA）
December 2024	2024年12月
DCA-2024-03	DCA-2024-03
Summary	概要
The European AI Act (2024/1689) has been in force since 1 August 2024 and regulates the use of Artificial Intelligence (AI) in the European Union (EU). The AI act has a risk-based approach. As a result, certain AI systems posing an unacceptable risk are prohibited from 2 February 2025.	欧州AI法（2024/1689）は2024年8月1日より施行されており、欧州連合（EU）における人工知能（AI）の利用を規制している。AI法はリスクベースのアプローチを採用している。その結果、容認できないリスクをもたらす特定のAIシステムは、2025年2月2日より禁止される。
It is up to the supervisors of the AI Act to explain how the prohibitions will be interpreted for the purpose of supervision. In order to prepare for this in The Netherlands, the Autoriteit Persoonsgegevens (AP) asks interested parties (citizens, governments, businesses and other organisations) and their representatives for their needs, information and insights. We can use all input to consider the necessary further clarification of the prohibited AI systems.	禁止事項が監督の目的でどのように解釈されるかについては、AI法の監督当局が説明する。オランダではこれに備えるため、オランダ個人データ保護局（AP）は、利害関係者（市民、政府、企業、その他の組織）およびその代表者に対して、ニーズ、情報、見解を求めている。禁止されたAIシステムについて、必要なさらなる明確化を検討するために、あらゆる意見を活用することができる。
On 27 September 2024, the AP published the first call for input on the first two prohibitions of the AI Act and on 31 October the second call for input on emotion recognition in the areas of workplace or education institutions. In this third call for input, we address the third prohibition: AI systems for social scoring (prohibition C). This document outlines specific criteria for these prohibited AI systems while requesting (additional) input through a set of questions. Contributions can be submitted until 7 February 2025.	2024年9月27日、APはAI法の最初の2つの禁止事項に関する最初の意見募集を行い、10月31日には職場や教育機関における感情認識に関する2回目の意見募集を行った。この3回目の意見募集では、3つ目の禁止事項である「社会的スコアリングのためのAIシステム（禁止事項C）」を取り上げる。この文書では、これらの禁止されたAIシステムに関する具体的な規準を概説しながら、一連の質問を通じて（追加の）意見を求めている。意見は2025年2月7日まで提出可能である。
The AP makes this call for input based on its role as a coordinating supervisor of algorithms and AI. For the purpose of this new task, the Department for the Coordination of Algorithmic Oversight (DCA) was established within the AP. This call for input also aligns with the preparatory work being done in support of future supervision of AI systems that are prohibited under the AI Act. The Dutch government is currently working on the formal designation of national supervisory authorities for the AI Act.	APは、アルゴリズムおよびAIの調整監督機関としての役割に基づき、意見募集の呼びかけを行っている。この新たな任務を遂行するために、AP内にアルゴリズム監督調整局（DCA）が設立された。この意見募集の呼びかけは、AI法で禁止されたAIシステムの将来的な監督を支援する準備作業とも一致している。オランダ政府は現在、AI法に関する国家監督当局の正式指定に取り組んでいる。
I. Background	I. 背景
1. The European AI Act (2024/1689) has been in force since 1 August 2024. This Regulation sets out rules for the provision and the use of artificial intelligence (AI) in the EU. The premise of the AI Act is that while there are numerous beneficial applications of AI, the technology also entails risks that have to be managed. The legislation follows a risk-based approach. More restrictive rules will apply to those AI systems that pose a greater risk. Some systems entail such an unacceptable risk that their placing on the market or use is completely prohibited. This is, for example, the case with AI systems that are used for social scoring. The prohibitions are set out in Article 5 of the AI Act.	1. 欧州AI法（2024/1689）は2024年8月1日より施行されている。この規則は、EUにおける人工知能（AI）の提供および利用に関する規則を定めている。AI法の前提は、AIには数多くの有益な用途がある一方で、この技術には管理が必要なリスクも伴うというものである。この法律はリスクベースのアプローチを採用している。より大きなリスクをもたらすAIシステムには、より制限的な規則が適用される。一部のシステムは、市場への投入や使用が完全に禁止されるほど容認できないリスクを伴う。これは、例えば社会的スコアリングに使用されるAIシステムの場合である。禁止事項はAI法第5条に規定されている。
2. This call for input provides a preliminary basis for further clarification of the prohibitions in the AI Act. To get there, this call for input aims to gather generic information and insights on, among other things, the functioning of AI technologies and the application possibilities that are relevant to the clarification of the prohibitions.	2. この意見募集は、AI法における禁止事項のさらなる明確化に向けた予備的な基礎を提供するものである。この意見募集では、禁止事項の明確化に関連するAI技術の機能や応用可能性など、一般的な情報や見識を集めることを目的としている。
Prohibited AI applications as from February 2025	2025年2月以降禁止されるAIアプリケーション
3. The prohibitions in the AI Act will become applicable soon. As from 2 February 2025, the prohibited AI systems listed in Article 5 may no longer be put on the European market or used. As from 2 August 2025, market surveillance authorities should be designated for prohibited AI systems and sanctions may be imposed for violations of the prohibitions. Before this time, violation of one of the prohibitions could already lead to civil liability.	3. AI法の禁止規定は間もなく適用される。2025年2月2日以降、第5条に列挙された禁止AIシステムは欧州市場に投入したり使用したりすることはできなくなる。2025年8月2日以降、禁止AIシステムについては市場監視当局が指定され、禁止規定違反に対して制裁が科される可能性がある。それ以前であっても、禁止規定のいずれかに違反した場合は民事責任を問われる可能性がある。
Supervision in the Netherlands on compliance with the prohibitions	オランダにおける禁止事項の遵守に関する監督
4. The Dutch government is currently working on legislation designating which supervisory authority will be responsible for overseeing compliance with the prohibitions. The AP (from the Department for the Coordination of Algorithmic Oversight) and the Dutch Authority for Digital Infrastructure (RDI) have issued an advice on this matter in collaboration and coordination with other supervisory authorities. It has been recommended, among other things, that the AP could be designated as the market surveillance authority for most of the prohibitions in Article 5. Following these recommendations, the AP will closely cooperate with other relevant supervisors for the supervision of prohibited AI systems.	4. オランダ政府は現在、どの監督当局が禁止事項の遵守を監督する責任を負うかを定める法律の策定に取り組んでいる。AP（アルゴリズム監督調整局）とオランダのデジタルインフラ当局（RDI）は、他の監督当局と協力・調整しながら、この問題に関する助言を発表した。とりわけ、第5条の禁止事項のほとんどについて、APを市場監視当局として指定することが推奨されている。これらの勧告に従い、APは禁止されたAIシステムの監視に関して、他の関連監督当局と緊密に協力する。
5. Because the prohibitons in this call concern AI systems that also fall under other Union laws, this call has been coordinated within the AI and Algorithm group of the Dutch Cooperation Platform of Digital Supervisory authorities. This is in the spirit of the requirement in Article 70(8) of the AI Act to consult relevant national competent authorities responsible for other Union law that covers AI systems.	5. 本要請における禁止事項は、他のEU法にも該当するAIシステムに関するものであるため、本要請は、オランダのデジタル監督当局協力プラットフォームのAIおよびアルゴリズムグループ内で調整されている。これは、AIシステムを対象とする他のEU法を担当する関連の国内所轄当局と協議するというAI法第70条(8)項の要件の精神に則ったものである。
II. About this call for input	II. 本意見募集要請について
Purpose: Why do we ask for input	目的：なぜ意見を求めるのか
6. It is up to the supervisors of the AI Act to explain how the prohibitions will be interpreted for the purpose of supervision. In preparation for this, the AP is asking for information and insights from stakeholders (citizens, governments, companies and other organisations) and their representatives. All responses can be used for further explanation of the prohibited AI. Within the AP, the Department for the Coordination of Algorithmic Oversight is charged with this task.	6. 禁止事項が監督の目的でどのように解釈されるかを説明するのは、AI法の監督当局の責任である。これに備えて、APは利害関係者（市民、政府、企業、その他の組織）およびその代表者から情報や見識を求めている。すべての回答は、禁止されたAIのさらなる説明に使用することができる。AP内では、アルゴリズム監督調整局がこの任務を担っている。
7. This call for input discusses the prohibition outlined in Article 5, paragraph 1, subparagraph c of the AI Act. In addition to this call for input, the AP already published a first call on 27 September 2024 on two other prohibitions, namely the prohibition on manipulative and deceptive AI systems and the prohibition on exploitative AI systems. The second call for input on emotion recognition in the areas of workplace or education institutions was published on October 31 2024	7. この意見募集では、AI法第5条第1項c号に規定された禁止事項について議論する。この意見募集に加えて、APはすでに2024年9月27日に、2つの他の禁止事項、すなわち、操作および欺瞞的なAIシステムに関する禁止事項と、搾取的なAIシステムに関する禁止事項に関する最初の意見募集を行っている。職場または教育機関における感情認識に関する2回目の意見募集は、2024年10月31日に発表された
8. The legislative text and the recitals serve as the foundations for this call for input. Given the scope and possible impact of this prohibition, a call for input is issued for this prohibition. Please refer to the annex to this document for an overview of all prohibitions in subparagraphs (a) to (g) of Article 5, paragraph 1 of the AI Act.	8. 立法文および前文は、本意見募集の基礎となる。本禁止事項の範囲および影響を考慮し、本禁止事項に関する意見募集を行う。AI法第5条第1項(a)から(g)のすべての禁止事項の概要については、本文書の附属書を参照のこと。
9. This call for input highlights specific aspects of this prohibition. The focus is on those specific criteria that determine whether or not an AI system is within the scope of this prohibition. Each criterion is briefly explained based on the legislator’s recitals of the AI Act. In some cases, we provide an interpretation of our own. If we do so, this is explicitly mentioned. We then pose several questions, the answers to which will contribute to a better understanding of the prohibition.	9. この意見募集では、この禁止事項の特定の側面を強調する。焦点は、AIシステムがこの禁止事項の対象範囲内にあるかどうかを決定する特定の規準にある。各規準は、AI法の立法者の序文に基づいて簡単に説明されている。場合によっては、独自の解釈を提示している。その場合は、その旨を明示的に記載している。次に、禁止事項のより良い理解に役立ついくつかの質問を提示する。
Process: This is how you send your input to us.	プロセス：これが、皆様からご意見をいただく方法である。
10. You decide which questions you answer. You can also provide us with other relevant input in addition to the questions asked. Please send your input to [mail] by 7 February 2025. Please mention the subject “call for input DCA-2024-03 (‘AI systems for social scoring’) and your name and/or your organisation in your email. If desired, you can provide us with your contact details so that we can reach you in case we have further questions. When we have received your input, we will send you a confirmation by e-mail.	10. どの質問に回答するかは、皆様が決定する。また、質問された項目以外にも、関連するご意見を提出していただいても構わない。ご意見は、2025年2月7日までに[mail] までお送りいただきたい。メールには、「意見募集 DCA-2024-03（「社会的スコアリングのためのAIシステム」）について」という件名と、氏名および/または所属を記載すること。必要に応じて、追加の質問がある場合に連絡できるよう、連絡先を記載することも可能。意見を受け取った後、確認のメールを返信する。
Follow-up: What do we do with your input?	フォローアップ：意見はどのように扱われるのか？
11. After the closure of this call for input, the AP will publish a summary and appreciation of the input on AI systems for emotion recognition in the areas of workplace or education institutions. In this summary, we will refer in generic terms to the input received (e.g., “several sectoral representative organisations have indicated that’, “a developer of AI systems points out that”, “organisations advocating for fundamental rights note that”). If preferred and indicated by you, we may explicitly name your organisation or group. Through our summarised and evaluative response, we can also share the acquired insights with other (European) AI supervisory authorities. For instance, the summary and appreciation of the contribution may be utilised in the drafting of guidelines on the prohibitions.	11. 意見募集期間終了後、APは職場または教育機関における感情認識AIシステムに関する意見の要約と評価を公表する。この要約では、受け取った意見を一般的に言及する（例えば、「複数の部門代表組織が指摘している」、「AIシステム開発者が指摘している」、「基本的人権を擁護する組織が指摘している」など）。ご要望があり、ご指示いただければ、貴団体またはグループを明示的に名指しすることも可能である。要約と評価を伴う回答を通じて、我々はまた、他の（欧州）AI監督当局と得られた洞察を共有することもできる。例えば、貢献の要約と評価は、禁止に関するガイドラインのドラフト作成に活用できる可能性がある。
12. We will only use your input for our task to obtain information and insights about the prohibitions in the AI Act. We will delete your personal data after publication of our summary and evaluation of the input, unless you have given permission for further use. For more information about how we process personal data, please see: The AP and privacy.	12. 皆様からいただいたご意見は、AI法における禁止事項に関する情報および見識を得るという私たちの任務にのみ使用する。私たちは、皆様からいただいたご意見の要約および評価を公表した後、皆様がそれ以上の使用を許可しない限り、皆様の個人情報を削除する。個人情報の取り扱いに関する詳細は、APとプライバシーを参照のこと。
More calls for input	さらなる意見募集
13. Following this call, there may be more calls for input on other parts of the AI Act, including the prohibitions. The AP has previously called for input on manipulative, misleading and exploitative AI systems as well as on AI systems that are used for emotion recognition in the areas of workplace or education institutions.	13. 本意見募集に続き、禁止事項を含むAI法の他の部分について、さらなる意見募集が行われる可能性がある。APは、これまでにも、操作的なAIシステム、誤解を招くAIシステム、搾取的なAIシステム、および職場や教育機関における感情認識に使用されるAIシステムについて意見を募集している。
III. Definition of the prohibition on AI systems for social scoring	III. 社会的スコアリングのためのAIシステムの禁止の定義
General scope of prohibited AI systems	禁止されるAIシステムの一般的な範囲
14.The AI Act (and its prohibitions) apply to ‘AI systems’. Thus, in order to determine whether the Regulation applies, an important question is whether the product falls within the definition of an AI system:	14.AI法（およびその禁止事項）は「AIシステム」に適用される。したがって、規則が適用されるかどうかを判断するには、その製品がAIシステムの定義に該当するかが重要な問題となる。
‘ A machine-based system that is designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment, and that, for explicit or implicit objectives, infers from the input it receives how to generate outputs such as predictions, content, recommendations or decisions that can influence physical or virtual environments.’	「さまざまなレベルの自律性を備えて設計され、展開後に適応性を示す可能性があり、明示的または暗黙的な目的のために、予測、コンテンツ、推奨、または物理的または仮想環境に影響を与える可能性のある決定などの出力を生成する方法を、受け取った入力から推論する、機械ベースのシステム」
15.The prohibitions are addressed to providers (e.g. developers), deployers, importers, distributors and other operators. These operators shall not place on the market, put into service or use the prohibited AI systems. Therefore, it is important for the above operators to ensure that they do not place on the market or use a prohibited AI system. To do so, they will have to verify whether the AI system in question falls under the prohibitions in Article 5.	15.禁止事項は、プロバイダー（開発者など）、展開者、輸入業者、流通業者、その他の運営者に適用される。これらの事業者は、禁止されたAIシステムを市場に投入したり、使用したりしてはならない。したがって、上記の事業者は、禁止されたAIシステムを市場に投入したり使用したりしないことを確実にすることが重要である。そのためには、当該AIシステムが第5条の禁止事項に該当するかどうかを確認する必要がある。
Content of the prohibition	禁止の内容
16.This call for input focuses on the prohibition of AI systems used for social scoring. The AI Act prohibits AI systems used for social scoring by evaluating or classifying natural persons or groups of persons based on their social behaviour or personal characteristics (hereinafter: systems for social scoring). In the remainder of this call for input, we will refer to this prohibition as ‘prohibition C’. The Regulation defines this prohibition as follows:	16.本意見募集では、ソーシャル・スコアリングに用いられるAIシステムの禁止に焦点を当てる。AI法は、自然人または自然人の集団を、その社会的行動または個人的特性に基づいて評価または分類するAIシステム（以下「ソーシャル・スコアリング用システム」という）を禁止している。本意見募集の残りの部分では、この禁止を「禁止C」と呼ぶ。規則では、この禁止は次のように定義されている。
Article 5(1)(c) (‘Prohibition C’):	第5条(1)(c)（「禁止C」）：
‘the placing on the market, putting into service or the use of AI systems for the evaluation or classification of natural persons or groups of persons over a certain period of time based on their social behaviour or known, inferred or predicted personal or personality characteristics, with the social score leading to either or both of the following:	「一定期間にわたって、自然人の評価または分類を行うAIシステムを市場に投入し、稼働させ、または使用すること。ただし、その評価または分類は、当該自然人の社会的行動、または既知、推論、予測された個人または人格的特性に基づくものとする。また、社会的スコアは、以下のいずれか、または両方につながるものとする。
i) detrimental or unfavourable treatment of certain natural persons or groups of persons in a social contexts that are unrelated to the contexts in which the data was originally generated or collected;	i) データがもともと生成または収集された文脈とは無関係な社会的文脈において、特定の自然人または自然人グループに不利益または好ましくない扱いをもたらすこと
ii) detrimental or unfavourable treatment of certain natural persons or groups of persons that is unjustified or disproportionate to their social behaviour or its gravity;’	ii) 特定の自然人または自然人グループに不利益または好ましくない扱いをもたらすこと、ただし、その社会的行動またはその重大性に対して正当化できない、または不均衡である場合
17.Finally, the AI Act is without prejudice to the GDPR. Obligations of providers and deployers of AI systems in their role as controllers or processors stemming from Union or national law on the protection of personal data continue to apply in respect of the design, development or use of AI systems.	17.最後に、AI法はGDPRに影響を及ぼすものではない。AIシステムの設計、開発、または使用に関して、個人データの保護に関するEU法または国内法に由来する管理者または処理者としてのAIシステム提供者および展開者の義務は引き続き適用される。
IV. Criteria and questions regarding the prohibition	IV.禁止に関する規準および質問
18. In order to structure this call for input, separate criteria of the prohibitions have been set out in more detail in the next section. These criteria are highlighted because they are important conditions for determining whether or not AI systems are covered by prohibition C. A brief explanation is provided for each criterion, based on the explanation provided by the legislator in the explanatory recitals to the AI Act. In some cases, explanations are based on the AP's own interpretation; this is clearly indicated. This is followed by some accompanying questions that you can use when giving your input.	18. この意見募集要項を構成するために、禁止事項の個別の規準が次のセクションでより詳細に説明されている。これらの規準は、AIシステムが禁止事項Cの対象となるかどうかを判断する上で重要な条件であるため、強調されている。各規準について、AI法の説明的な序文で立法者が提供した説明に基づいて、簡単な説明が提供されている。一部のケースでは、AP独自の解釈に基づく説明も含まれている。これは明確に示されている。これに続いて、意見を述べる際に使用できるいくつかの関連質問が記載されている。
Criterion 1: Social scoring: evaluation or classification of natural persons or groups of persons over a certain period of time based on their social behaviour or known, inferred or predicted personal or personality characteristics	規準1：ソーシャル・スコアリング：一定期間における自然人または人々のグループの社会的行動、または既知、推測、予測される個人的または人格的特性に基づく評価または分類
19. This prohibition covers certain AI systems intended for the evaluation or classification of natural persons or groups of persons, that is social scoring. This evaluation or classification – and thus the social scoring – may lead to the detrimental or unfavourable treatment of certain natural persons or groups of persons. The recital describes that social scoring may lead to discriminatory outcomes and the exclusion of certain groups, violating the right to dignity and non-discrimination and values such as equality and justice. The recitals also highlight that these AI systems for social scoring can be provided or deployed by both private and public actors.	19. この禁止は、自然人または人々のグループの評価または分類を目的とする特定のAIシステム、すなわちソーシャル・スコアリングを対象としている。この評価または分類、つまり社会的スコアリングは、特定の自然人または自然人グループに不利益または好ましくない扱いをもたらす可能性がある。前文では、社会的スコアリングは差別的な結果をもたらし、特定のグループを排除し、尊厳および非差別の権利、ならびに平等および正義といった価値観を侵害する可能性があると説明されている。また、前文では、社会的スコアリングのためのこれらのAIシステムは、民間および公共のアクターの両方によって提供または展開される可能性があることも強調されている。
20. The evaluation or classification should furthermore take place over a certain period of time and be based on social behaviour, or known, inferred or predicted personal or personality characteristics. Although the recitals do not provide any further explanation on the evaluation or classification based on known, inferred or predicted personal or personality characteristics, it is explained that, where this evaluation is based on social behaviour, it can be carried out in multiple contexts.	20. 評価または分類はさらに一定期間にわたって行われるべきであり、社会的行動、または既知、推論、予測された個人または人格的特性に基づくべきである。既知、推論、予測された個人または人格的特性に基づく評価または分類について、前文ではさらなる説明は提供されていないが、この評価が社会的行動に基づく場合、複数の文脈で実施できることが説明されている。
Questions related to criterion 1	規準1に関する質問
1. Can you describe (imaginary) AI systems used to evaluate or classify natural persons or groups of persons over a certain period of time and where this is made possible based on social behavior?	1. 一定期間における自然人または自然人の集団を評価または分類するために使用される（仮想の）AIシステムについて、また、それが社会行動に基づいて可能となる理由について説明できるか？
2. Can you describe (imaginary) AI systems used to evaluate or classify natural persons or groups of persons over a certain period of time and where this is made possible based known, inferred or predicted personal or personality characteristics?	2. 一定期間における自然人または自然人グループを評価または分類するために使用される（仮想）AIシステムについて説明し、それが既知、推論、または予測された個人または人格特性に基づいて可能となることを説明できるか？
3. Is it clear to you what the distinction is between known, inferred and predicted personality characteristics? If not, could you explain this further?	3. 既知、推論、予測された人格特性の区別が明確であるか？明確でない場合、さらに説明できるか？
4. What questions or need for clarification in the context of this prohibition do you still have when distinguishing between evaluation or classification? What questions or need for clarification do you have in the context of this prohibition when distinguishing between this evaluation or classification based on social behaviour on the one hand or known, derived and predicted personality characteristics on the other hand?	4. 評価または分類を区別するにあたり、この禁止事項に関して、まだ疑問や明確化の必要性があるか？この禁止事項に関して、社会的行動に基づく評価または分類を区別するにあたり、疑問や明確化の必要性があるか？
5. A social score is the result of an evaluation or classification. Can you give an (imaginary) example of a description of a social score?	5. 社会スコアは評価または分類の結果である。社会スコアの記述の（架空の）例を挙げて説明できるか？
Criterion 2: Detrimental or unfavourable treatment	規準 2：有害または不利益な取り扱い
21. The evaluation or classification by an AI system as described above – i.e. the ‘social scoring’ and the resulting social score – may result in detrimental or unfavourable treatment of certain natural persons or groups of persons. The following paragraphs describe two types of detrimental or unfavourable treatments, resulting from the social score, each of which, individually or in combination, entails that the AI practice is prohibited.	21. 上記で説明したAIシステムによる評価または分類、すなわち「社会的スコアリング」およびその結果としての社会スコアは、特定の自然人または自然人グループに対する有害または不利益な取り扱いにつながる可能性がある。以下の段落では、ソーシャルスコアに起因する2種類の不利益または不都合な扱いについて説明する。それぞれ単独または組み合わせにより、AIの使用が禁止されることになる。
According to the AP, AI systems that favour people could, in certain cases, also be covered by the prohibition if they indirectly result in detrimental or unfavourable treatment of other people.	APによると、特定のケースでは、人々を優遇するAIシステムも、間接的に他の人々への不利益または不都合な扱いを引き起こす場合、禁止の対象となる可能性がある。
22. Firstly, certain AI systems for social scoring are prohibited if the social score generated by the AI system results in the detrimental or unfavourable treatment of individuals in social contexts that are unrelated to the contexts in which the data were originally generated or collected. What constitutes detrimental or unfavourable treatment in the above situation is not explained in the recitals. It is however important that the social context in which this treatment takes place should not be related to the context in which the data were originally generated or collected. As mentioned in paragraph 20 above, social scoring can take place in different contexts over a given period of time. According to the AP, it could therefore be concluded that it is in any event necessary that one of those contexts bears no relation to the context in which the detrimental treatment takes place. Furthermore, according to the AP it seems that the context in which the data were originally generated or collected does not necessarily have to be a social context.	22. まず、AIシステムによって生成された社会的スコアが、データがもともと生成または収集された文脈とは無関係な社会的文脈において、個人の不利益または不利な扱いにつながる場合、特定の社会的スコアリングのためのAIシステムは禁止される。上記のような状況における不利益または不利な扱いとはどのようなものかについては、前文では説明されていない。しかし、この扱いがなされる社会的文脈は、データがもともと生成または収集された文脈とは関連していないことが重要である。上述の第20項で述べたように、ソーシャル・スコアリングは、一定期間にわたって異なる状況下で行われる可能性がある。APによれば、いずれにしても、そのいずれかの状況が不利益な取扱いがなされる状況とは無関係であることが必要であると結論づけられる。さらに、APによれば、データが最初に生成または収集された状況は、必ずしも社会的状況である必要はないようである。
23. Secondly, certain AI systems for social scoring are prohibited if the social score provided by the AI system results in the detrimental or unfavourable treatment of persons that is unjustified or disproportionate in relation to the gravity of the social behaviour. What constitutes detrimental or unfavourable treatment in the above situation is not explained in the recitals. The detrimental or unfavourable treatment should at least be: either unjustified, or disproportionate in relation to the gravity of the social behaviour.	23. 第二に、社会的スコアリングのための特定のAIシステムは、AIシステムが提供する社会スコアが、社会行動の重大性との関係において、不当または不均衡な、個人に対する不利益または不利な扱いをもたらす場合、禁止される。上記のような状況における不利益または不利な扱いの定義は、前文では説明されていない。不利益または不利な扱いは、少なくとも、社会行動の重大性との関係において、不当または不均衡なものでなければならない。
Questions related to criterion 2	規準2に関する質問
6. Can you give (imaginary) examples of a detrimental or unfavourable treatment of persons that is related to a social score of an AI system?	6. 人工知能システムの社会的スコアに関連する、不利益または不利な扱いを受けた人の（架空の）例を挙げて説明できるか？
7. Are there situations in which the advantage of one person or group of persons also leads to a implicit disadvantage of other persons? Can you give an (imaginary) example of this?	7. 一人の人または人々のグループが有利になることが、他の人々の暗黙の不利益につながる状況はあるか？この例を挙げて説明できるか？
8. Can you describe or give an example of an AI system where the detrimental or unfavourable treatment in a social context is or is not related to the contexts in which the data were originally collected or generated?	8. 社会的文脈において有害または不利益な扱いが行われる、または行われない場合、その扱いが、データがもともと収集または生成された文脈に関連しているか、または関連していないか、AIシステムの例を挙げて説明できるか？
9. Is it clear to you when there is an adverse or unfavourable treatment in a social context that is unrelated to the contexts in which the data were originally generated or collected? If not, what do you need more clarity about? Can you explain this further?	9. 社会的文脈において有害または不利益な扱いが行われる場合、その扱いが、データがもともと生成または収集された文脈に関連していないことは明確か？そうでない場合、何をより明確にする必要があるか？これをさらに説明できるか？
10. Could you describe or give an example of AI systems where the detrimental or unfavourable treatment is unjustified or disproportionate to the gravity of the social behaviour?	10. 不利なまたは不適切な取扱いが、社会行動の重大性に対して不当または不均衡であるAIシステムの説明または例を挙げて説明できるか？
11. Is it sufficiently clear to you when there is a detrimental or unfavourable treatment that is unjustified or disproportionate to the social behaviour or its gravity? If not, what do you need more clarity about? Can you explain this in more detail?	11. 不利なまたは不適切な取扱いが、社会行動またはその重大性に対して不当または不均衡である場合、十分に明確であるか？そうでない場合、何をより明確にする必要があるか？これをより詳細に説明できるか？
Scope of the prohibition	禁止の範囲
24. The recitals of the Regulation also set out situations in which an AI system should not be covered by the prohibitions. The recitals describe that the prohibition should not affect lawful evaluation practices of natural persons that are carried out for a specific purpose in accordance with Union and national law.	24. 規則の前文では、AIシステムが禁止の対象とされるべきではない状況も示されている。前文では、EU法および国内法に従って特定の目的のために実施される自然人による合法的な評価行為に禁止が影響を及ぼすべきではないことが説明されている。
Questions related to the scope of the prohibition	禁止の範囲に関する質問
12. Could you provide an (imaginary) description of an AI social scoring system deployed in accordance with Union or national law?	12. 連合法または国内法に従って展開されたAIソーシャル・スコアリング・システムの（架空の）説明を提供できるか？
13. What further questions or clarifications do you have about the scope of this prohibition?	13. この禁止の範囲について、さらに質問または明確化したいことはあるか？
25. In conclusion, it is stressed that this document does not cover all aspects of the prohibition. Therefore, interested parties are expressly invited to provide relevant input, also outside the questions asked, for the further clarification of prohibition C	25. 結論として、この文書は禁止のすべての側面を網羅しているわけではないことを強調しておく。したがって、利害関係者は、禁止Cのさらなる明確化のために、質問事項以外についても関連する意見を提示することが明確に求められている
Concluding questions	結語
14. Apart from the questions posed, is there any relevant input that you would like to provide for the further clarificatio n of Prohibition C?	14. 提示した質問以外に、禁止事項Cのさらなる明確化のために提供したい関連情報はあるか？
15. Do you think it is desirable that we explicitly mention your organisation or group in our public response to and appreciation of this call for input, e.g. so that we can discuss examples and considerations that you provide?	15. 意見募集への回答と謝意を表明する公開文書において、貴組織またはグループを明示的に言及することが望ましいと考えるか？例えば、貴組織が提供した事例や考察について議論できるようにするためなど。
Annex: overview of prohibitions from Article 5, paragraph 1 of the AI Act 2024/1689	附属書：AI法2024/1689第5条第1項による禁止事項の概要
Prohibition A: Certain manipulative AI systems	禁止事項A：ある種の操作的なAIシステム
AI systems that deploy subliminal techniques beyond a person’s consciousness or purposefully manipulative or deceptive techniques, with the objective, or the effect of materially distorting the behaviour of a person or a group of persons by appreciably impairing their ability to make an informed decision, thereby causing them to take a decision that they would not have otherwise taken in a manner that causes or is reasonably likely to cause that person, another person or group of persons significant harm.	人の意識を超えたサブリミナル的な技法、または意図的に操作的もしくは欺瞞的な技法を展開するAIシステムであって、その目的または効果が、十分な情報に基づいた意思決定を行う能力を著しく損なうことによって、人または人の集団の行動を実質的に歪め、それによって、その人、他の人または人の集団に重大な危害をもたらす、またはもたらす可能性が合理的に高い方法で、他の方法では行わなかったであろう意思決定を行わせるもの。
Prohibition B: Certain exploitative AI systems	禁止事項B：特定の搾取的AIシステム
AI systems that exploit any of the vulnerabilities of a natural person or a specific group of persons due to their age, disability or a specific social or economic situation, with the objective, or the effect, of materially distorting the behaviour of that person or a person belonging to that group in a manner that causes or is reasonably likely to cause that person or another person significant harm.	自然人または特定の集団の年齢、障害または特定の社会的もしくは経済的状況に起因する脆弱性を悪用するAIシステムであって、その人またはその集団に属する人の行動を、その人またはその集団に属する人に重大な危害をもたらすか、またはもたらす可能性が合理的に高い方法で、実質的に歪めることを目的とし、またはその効果を有するもの。
Prohibition C: Certain AI systems for social scoring	禁止事項C：社会的スコアリングのための特定のAIシステム
AI systems for the evaluation or classification of natural persons or groups of persons over a certain period of time based on their social behaviour or known, inferred or predicted personal or personality characteristics, with the social score leading to either or both of the following:	自然人または集団の社会的行動または既知、推論もしくは予測される個人的もしくは人格的特性に基づいて、一定期間にわたって評価または分類するためのAIシステムであって、社会的スコアが以下のいずれかまたは両方につながるもの：
• detrimental or unfavourable treatment of certain natural persons or groups of persons in social contexts that are unrelated to the contexts in which the data was originally generated or collected;	• データが元々生成または収集された文脈とは無関係な社会的文脈において、特定の自然人または集団が不利益または不利な扱いを受けること；
• detrimental or unfavourable treatment of certain natural persons or groups of persons that is unjustified or disproportionate to their social behaviour or its gravity.	• 社会的行動またはその重大性に不当または不釣り合いな,特定の自然人または集団に対する不利益または不利な取り扱い。
Prohibition D: Certain AI systems for predictive policing	禁止事項D：予測的取り締まりのための特定のAIシステム
AI systems for making risk assessments of natural persons in order to assess or predict the risk of a natural person committing a criminal offence, based solely on the profiling of a natural person or on assessing their personality traits and characteristics; this prohibition shall not apply to AI systems used to support the human assessment of the involvement of a person in a criminal activity, which is already based on objective and verifiable facts directly linked to a criminal activity.	自然人が犯罪を犯すリスクを評価または予測するために、自然人のプロファイリングまたは人格的特徴および特性の評価のみに基づいて、自然人のリスクアセスメントを行うためのAIシステム。この禁止は、犯罪活動に直接関連する客観的かつ検証可能な事実に既に基づいている、犯罪活動への人の関与に関する人間の評価を支援するために使用されるAIシステムには適用されない。
Prohibition E: Untargeted scraping of facial images	禁止事項E．顔画像の非対象スクレイピング
AI systems that create or expand facial recognition databases through the untargeted scraping of facial images from the internet or CCTV footage.	インターネットやCCTV映像から顔画像を非対象にスクレイピングすることにより、顔認識データベースを作成または拡張するAIシステム。
Prohibition F: Certain AI systems for emotion recognition in the workplace or in education	禁止事項F：職場や教育機関における感情認識のための特定のAIシステム
AI systems that infer emotions of a natural person in the areas of workplace and education institutions, except where the use of the AI system is intended to be put in place or into the market for medical or safety reasons.	職場や教育機構の分野における自然人の感情を推論するAIシステム。ただし、医療上または安全上の理由からAIシステムの導入または市場投入が意図されている場合を除く。
Prohibition G: Certain AI systems for biometric categorisation of persons	禁止事項G：人物の生体データ分類のための特定のAIシステム
AI systems for biometric categorisation that categorise individually natural persons based on their biometric data to deduce or infer their race, political opinions, trade union membership, religious or philosophical beliefs, sex life or sexual orientation; this prohibition does not cover any labelling or filtering of lawfully acquired biometric datasets, such as images, based on biometric data or categorising of biometric data in the area of law enforcement.	人種、政治的意見、労働組合員、宗教的または哲学的信条、性生活または性的指向を推測または推論するために、生体データに基づいて個々の自然人を分類する生体データ分類のためのAIシステム。この禁止は、合法的に取得された生体データセット（画像など）を生体データに基づいてラベリングまたはフィルタリングしたり、法執行の分野で生体データを分類したりすることは対象としない。
Prohibition H: Certain AI systems for real-time remote biometric identification in publicly accessible spaces for purpose of law enforcement	禁止事項H：法執行を目的とした、一般にアクセス可能な空間におけるリアルタイムの遠隔バイオメトリック識別のための特定のAIシステム
AI-systems used for of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purpose of law enforcement, unless and in so far as such use is strictly necessary for one of the following objectives:	法執行を目的とした、一般にアクセス可能な空間における「リアルタイムの」遠隔バイオメトリック識別システムのために使用されるAIシステムは、そのような使用が以下のいずれかの目的のために厳密に必要である場合を除く：
• the targeted search for specific victims of abduction, trafficking in human beings or sexual exploitation of human beings, as well as the search for missing persons;	• 誘拐,人身売買,性的搾取の特定の被害者,および行方不明者の捜索。
• the prevention of a specific, substantial and imminent threat to the life or physical safety of natural persons or a genuine and present or genuine and foreseeable threat of a terrorist attack;	• 自然人の生命または身体の安全に対する特定の、実質的かつ差し迫った脅威、または真正かつ現在の、または真正かつ予見可能なテロ攻撃の脅威の防止；
• the localisation or identification of a person suspected of having committed a criminal offence, for the purpose of conducting a criminal investigation or prosecution or executing a criminal penalty for offences referred to in Annex II and punishable in the Member State concerned by a custodial sentence or a detention order for a maximum period of at least four years.	• 附属書IIに規定され,かつ,当該加盟国において少なくとも4年の拘禁刑または拘禁令によって処罰される犯罪について,犯罪捜査または訴追を行い,または刑事罰を執行する目的で,犯罪を犯したと疑われる者を特定または識別すること。
Point (h) of the first subparagraph is without prejudice to Article 9 of Regulation (EU) 2016/679 for the processing of biometric data for purposes other than law enforcement.	第1号の(h)点は、法執行以外の目的での生体データの処理に関する規則(EU)2016/679の第9条を損なうものではない。

第1回に意見募集結果と今後について...

・2024.12.18 Summary and next steps call for input on manipulative and exploitative AI systems

Summary and next steps call for input on manipulative and exploitative AI systems	操作および搾取的AIシステムに関する意見募集の概要と次のステップ
18 December 2024	2024年12月18日
Themes: Coordination of algorithmic and AI supervision EU AI Act	テーマ：アルゴリズムおよびAIの監督の調整 EU AI法
In 2024, the Dutch Data Protection Authority (AP) called for input on the first two prohibitions in the AI Act.	2024年、オランダデータ保護当局（AP）は、AI法の最初の2つの禁止事項に関する意見を募集した。
This document provides a summary of responses and identifies follow-up steps in relation to the call for input regarding the first two prohibitions of the AI Act, concerning:	本書では、AI法の最初の2つの禁止事項に関する意見募集に関する回答の概要をまとめ、以下の事項に関する今後の対応について明らかにする。
・AI systems that use manipulative or deceptive techniques.	・人を操る、または欺く技術を使用するAIシステム
・AI systems that exploit human vulnerabilities.	・人間の脆弱性を悪用するAIシステム

・[PDF]

Manipulative, deceptive and exploitative AI systems	操作的欺瞞的、搾取的なAIシステム
Summary of responses and next steps	回答の要約と今後のステップ
Autoriteit Persoonsgegevens (AP) - Department for the Coordination of Algorithmic Oversight (DCA)	個人データ保護局（AP） - アルゴリズム監督調整局（DCA）
December 2024 DCA-2024-04	2024年12月 DCA-2024-04
Summary and next steps	要約と今後のステップ
This document provides a summary of responses and identifies follow-up steps in relation to the previous call for input regarding the first two prohibitions in Article 5 of the AI Act (see document DCA-2024-01). This concerns AI systems that use manipulative or deceptive techniques, as well as AI systems that exploit human vulnerabilities. Overall, the AP distils three main observations from the responses received.	本書は、AI法第5条の最初の2つの禁止事項に関する前回の意見募集（文書DCA-2024-01を参照）に対する回答の概要と今後の対応について説明するものである。これは、操作的なまたは欺瞞的な手法を用いるAIシステム、および人間の脆弱性を悪用するAIシステムに関するものである。全体として、APは、受け取った回答から3つの主な所見を導き出した。
Main observation 1 – Many respondents note that the practices to which the prohibitions relate are already regulated or prohibited by other horizontal or sector-specific laws and regulations.	主な所見1 – 多くの回答者は、禁止事項に関連する行為はすでに他の水平または分野別の法律や規制によって規制または禁止されていると指摘している。
The prohibitions in question are closely linked to consumer protection laws such as directives on unfair commercial practices, the Digital Services Act (DSA) and financial regulations. The practices also affect the lawful processing of personal data as regulated in, among others, the General Data Protection Regulation (GDPR). According to the AP, the prohibitions in the AI Act have a preventive nature (AI systems may not be developed or used) and therefore the prohitions complement the aforementioned laws. As such, the prohibitions provide an opportunity for more effective supervision of situations in which AI systems play a role in cases of deception, manipulation and exploitation of persons. It is important that these regulations are explained and applied as coherently as possible. This requires close cooperation and coordination between the Netherlands Authority for Consumers and Markets (ACM), Dutch Authority for the Financial Markets (AFM) and the AP.	問題となっている禁止事項は、不公正な商慣行に関する指令、デジタルサービス法（DSA）、金融規制などの消費者保護法と密接に関連している。また、これらの慣行は、一般データ保護規則（GDPR）などで規定されている個人データの合法的な処理にも影響を及ぼす。APによると、AI法における禁止事項は予防的な性質（AIシステムの開発や使用を禁止する）を持つため、前述の法律を補完するものとなる。そのため、禁止事項は、AIシステムが欺瞞、操作、搾取のケースで役割を果たす状況をより効果的に監督する機会を提供する。これらの規制は、できる限り首尾一貫した形で説明および適用されることが重要である。そのためには、オランダ消費者市場局（ACM）、オランダ金融市場局（AFM）、AP間の緊密な協力と調整が必要である。
Main observation 2 – Several respondents point to the additional possibilities that AI offers to deceive, manipulate or exploit people more convincingly.	主な所見2 – 複数の回答者は、AIが人を欺いたり、操作したり、利用したりする可能性をより説得力のある形で提供していると指摘している。
A frequently cited example of this is the use of dark patterns, where interfaces are designed or organised in such a way that they deceive or manipulate people into making choices or decisions that they would not otherwise make. AI technology can reinforce manipulative or deceptive patterns by, for example, better responding to a person's characteristics or vulnerabilities during the interaction with the user.	この例としてよく挙げられるのが、ダークパターン（dark patterns）の使用であり、これは、ユーザーが通常選択しないような選択や決定をさせるために、人を欺いたり、操作したりするようにインターフェースが設計または構成されていることを指す。AI技術は、例えば、ユーザーとのやり取りの際に、個人の特性や脆弱性により適切に対応することで、操作や欺瞞のパターンを強化することができる。
Main observation 3 – Respondents note that the prohibitions are not elaborated in standards and therefore need to be further clarified in guidelines.	主な所見3 – 回答者は、禁止事項が規準で詳細に説明されていないため、ガイドラインでさらに明確化する必要があると指摘している。
The prohibitions in the AI Act are new and contain connections and concepts that are operationalised only to a limited extent in the AI Act itself. This means there are also a number of topics that require further clarification, as is noticeable in the input from respondents. This concerns, for example, the extent to which there must be a link between the AI system and the deception or manipulation; the scope of the concept of harm; when significant harm has been caused; what exactly can be understood as a subliminal or deceptive technique; what types of vulnerabilities an AI system can exploit and whether a behavioural distortion can also occur gradually.	AI法における禁止事項は新しいものであり、AI法自体では限定的にしか運用化されていない関連性や概念を含んでいる。これは、回答者からの意見にも顕著に見られるように、さらなる明確化が必要なトピックが多数あることを意味する。例えば、AIシステムと欺瞞または操作との間のリンクの程度、危害の概念の範囲、重大な危害が引き起こされた場合、潜在的なまたは欺瞞的な手法として具体的に何を理解できるか、AIシステムが利用できる脆弱性の種類、行動の歪曲も徐々に起こり得るか、などである。
The AP uses these insights to support the preparation of Dutch supervisory authorities to supervise the prohibitions and will further incorporate the input received in the explanation of the prohibitions in the coming months. This involves cooperation and coordination with other supervisory authorities, including in the AI and Algorithm Chamber of the Digital Regulation Cooperation Platform (SDT). In addition, the input provides a basis for the AP's contribution from practice in the discussion on the guidelines on the prohibitions that the European Commission is currently working on.	APは、これらの洞察を活用して、オランダの監督当局による禁止事項の監督準備を支援し、今後数か月の間に、禁止事項の説明に受け取った意見をさらに組み込んでいく予定である。これには、デジタル規制協力プラットフォーム（SDT）のAIおよびアルゴリズム委員会を含む、他の監督当局との協力と調整が含まれる。さらに、これらの意見は、欧州委員会が現在策定中の禁止事項に関するガイドラインの議論において、APが実務面から貢献するための基礎となる。
I. Background	I. 背景
AI Act & prohibited AI	AI法および禁止されるAI
1. The AI Act (2024/1689) entered into force on 1 August 2024. This act sets out rules on the development and use of artificial intelligence (AI) in the EU. The starting point of the AI Act is that there are many useful applications of AI, but that the technology also entails risks that need to be managed. Some AI systems with unacceptable risk will be prohibited.	1. AI法（2024/1689）は2024年8月1日に施行された。この法律は、EUにおける人工知能（AI）の開発と利用に関する規則を定めている。AI法の起点は、AIには多くの有用な用途がある一方で、その技術には管理が必要なリスクも伴うという点である。容認できないリスクを伴う一部のAIシステムは禁止される。
Call for input	意見募集
2. On 27 September 2024, the AP issued a call for input regarding the first two prohibitions in Article 5 of the AI Act. This concerns AI systems that use manipulative or deceptive techniques (hereinafter referred to as prohibition A), as well as AI systems that exploit human vulnerabilities (hereinafter referred to as prohibition B).	2. 2024年9月27日、APはAI法第5条の最初の2つの禁止事項に関する意見募集を開始した。これは、人を操るまたは欺く技術を使用するAIシステム（以下、禁止A）と、人間の脆弱性を悪用するAIシステム（以下、禁止B）に関するものである。
3. The call for input aims to gather information and insights from stakeholders (citizens, governments, companies and other organisations) and organisations that represent them. The AP aims to collect information to provide a basis for preparing further interpretation of the prohibitions in the AI Act. The call for input is also part of a series of calls on the various prohibitions in the AI Act. More information about the AI Act, the prohibitions and the role of the AP in supervision can be found on the website of the AP and in the previously published call for input.	3. 意見募集は、ステークホルダー（市民、政府、企業、その他の組織）およびそれらを代表する組織から情報や見識を集めることを目的としている。APは、AI法における禁止事項のさらなる解釈の準備の基礎となる情報を収集することを目的としている。意見募集は、AI法におけるさまざまな禁止事項に関する一連の呼びかけの一部でもある。AI法、禁止事項、監督におけるAPの役割に関する詳細は、APのウェブサイトおよび以前に公表された意見募集を参照のこと。
4. Between 27 September and 17 November 2024, the AP received fifteen responses from various organisations and individuals with diverse backgrounds, including academics. The AP is pleased that the call has reached citizens, companies, researchers and social organisations and that they have wanted to contribute by submitting input.	4. 2024年9月27日から11月17日までの間、APは、学術関係者を含むさまざまな背景を持つ個人および団体から15件の回答を得た。APは、この意見募集が市民、企業、研究者、社会組織に届き、彼らが意見を提出することで貢献したいと考えたことを喜ばしく思う。
5. Following the call for input, this summary document was prepared. All input has been reviewed by the AP and the main points have been included in this document. The document refers only in generic terms to the submitters of the input received. In a limited number of places in this document, the input is also appreciated by the AP. This has been done where appropriate and where it could be traced back directly to the provisions in the AI Act or where an (additional) point of view could be provided. In doing so, the AP aims to contribute to the discussion on the interpretation of the prohibitions. With this document, the AP does not intend to provide an explanation of the prohibitions or related laws.	5. 意見募集の後、この要約文書が作成された。すべての意見はAPによって検討され、主な内容は本書に盛り込まれた。本書では、提出者について一般的な用語のみを使用している。本書では限られた箇所で、APも意見を評価している。これは、AI法の規定に直接関連する箇所、または（追加の）見解が提供できる箇所において、適切と思われる場合に実施された。これにより、APは禁止事項の解釈に関する議論に貢献することを目指している。本報告書において、APは禁止事項または関連法の説明を行う意図はない。
AI Act compliance supervision	AI法遵守の監督
6. The AP made this call for input in its role as coordinating supervisor of algorithms and AI. Within the AP, these tasks have been assigned to the Department for the Coordination of Algorithmic Oversight (DCA). The call for input is an extension of the preparatory work being done for the supervision of prohibited AI systems under the AI Act. The government is currently working on the formal designation of national supervisors for the AI Act. The AP (from the Department for the Coordination of Algorithmic Oversight) and the Dutch Authority for Digital Infrastructure (RDI) have issued an advice on this matter in collaboration and coordination with other supervisory authorities. It has been recommended, among other things, that the AP be designated as the market surveillance authority for most of the prohibitions in Article 5.	6. APは、アルゴリズムおよびAIの調整監督機関として、意見募集の呼びかけを行った。AP内では、これらのタスクはアルゴリズム監督調整局（DCA）に割り当てられている。意見募集の呼びかけは、AI法に基づく禁止AIシステムの監督に向けた準備作業の延長である。政府は現在、AI法に基づく国家監督機関の正式指定に取り組んでいる。AP（アルゴリズム監督調整局）とオランダのデジタルインフラ当局（RDI）は、他の監督当局と協力・調整しながら、この問題に関する助言を提示している。特に、第5条の禁止事項のほとんどについて、APを市場監視当局として指定することが推奨されている。
II. Summary and evaluation of submitted input	II. 提出された意見の要約と評価
General points	一般的な指摘
Relationship with other laws and regulations	他の法律や規則との関係
Various respondents note that the practices to which the prohibitions in question relate are in some cases already regulated or prohibited by other horizontal or sector-specific laws and regulations.	さまざまな回答者が、問題となっている禁止事項に関連する行為は、他の横断的または分野別の法律や規則によってすでに規制または禁止されている場合があることを指摘している。
7. Examples include the rules in consumer law, for example, when it concerns unfair commercial practices or dark patterns (including Article 25 DSA), or (specific) financial regulations that protect consumers against deception and manipulation. The AP points out that several guidelines are already available on these rules, such as the Guidelines for the Protection of Online Consumers of the Netherlands Authority for Consumers & Markets (ACM) or the Policy Rules of the Dutch Authority for the Financial Markets (AFM) regarding the provision of information in the financial sector. Also, processing of personal data that underlies prohibited practices is regulated by the GDPR and processing of personal data for the purposes of the prohibited practices will also be unlawful.	例えば、不公正な商慣行やダークパターン（第25条DSAを含む）に関する消費者保護法の規定、または（特定の）金融規制による消費者保護などである。APは、オランダ消費者・市場局（ACM）による「オランダのオンライン消費者保護に関するガイドライン」や、金融セクターにおける情報提供に関するオランダ金融市場局（AFM）の「ポリシー規則」など、これらの規則に関するいくつかのガイドラインがすでに存在していることを指摘している。また、禁止行為の根底にある個人データの処理はGDPRによって規制されており、禁止行為を目的とした個人データの処理も違法となる。
8. According to the AP, what is special about the prohibitions in the AI Act is that, in cases where manipulation, deception and exploitation involves an AI system, they relate to both the development and the use of such systems. Therefore, both providers and users could be held liable. This will enable action to be taken against harmful practices involving AI at various points in the AI value chain. Furthermore, the prohibitions concern many different types of harm. In addition, the prohibitions in question also relate to the harm of groups of persons. This may make it less complicated to take action against prohibited AI practices than under other legal frameworks, which, for example, do not target providers, relate to psychological harm or concern groups of persons. That is why the prohibitions – in addition to, and interpreted in conjunction with, other rules governing similar practices – provide a means to supervise AI systems more effectively.	8. APによると、AI法における禁止事項の特別な点は、操作、欺瞞、搾取がAIシステムに関わる場合、そのようなシステムの開発と使用の両方に適用されることである。したがって、提供者と利用者の両方が責任を問われる可能性がある。これにより、AIバリューチェーンのさまざまな段階で、AIに関わる有害な行為に対して措置を取ることが可能になる。さらに、禁止事項は多くの異なる種類の被害を対象としている。さらに、禁止事項は、複数の人々に対する危害にも関連している。このため、例えば、プロバイダーを対象としておらず、心理的な危害に関連していたり、複数の人々に対する危害を懸念していたりする他の法的枠組みよりも、禁止されたAIの慣行に対する措置を講じやすくなる可能性がある。これが、禁止事項が、同様の慣行を規制する他の規則に加えて、またそれらと併せて解釈されることにより、AIシステムをより効果的に監督する手段を提供している理由である。
9. The alignment of and between regulations is important. According to the AP, the prohibitions should be interpreted and applied as much as possible in accordance with, and in conjunction with, existing (European) regulations in the areas of inter alia consumer protection and financial services, the DSA and the GDPR.	9. 規制間の整合性は重要である。APによると、禁止事項は、とりわけ消費者保護および金融サービス、DSA、GDPRの分野における既存の（欧州）規制にできる限り従い、かつ、それらと併せて解釈・適用されるべきである。
10. In doing so, supervision of the prohibitions in the AI Act should focus primarily on practices in which AI technology plays an important role. This requires close cooperation and coordination between the supervisory authorities, including in particular the ACM and AFM. The authorities are already making efforts to achieve this.	10. そうすることで、AI法における禁止事項の監督は、AI技術が重要な役割を果たす行為に主に焦点を当てるべきである。そのためには、特にACMおよびAFMを含む監督当局間の緊密な協力と調整が必要である。当局はすでにこの実現に向けて努力している。
Relationship to high-risk uses and other prohibitions	高リスク用途およびその他の禁止事項との関係
Respondents note that the prohibitions also relate to high-risk applications and other prohibitions, and that clarity should be provided on this.	回答者は、禁止事項は高リスク用途およびその他の禁止事項にも関連しており、この点について明確化が必要であると指摘している。
11. Respondents raise the question whether the exception for AI systems that do not pose a significant risk to the health, safety or fundamental rights of natural persons (Article 6, third paragraph of the AI Act), also applies to the prohibitions. Such systems would then not considered to be high-risk. According to the AP, this exception only applies to AI systems that would otherwise be considered high-risk AI systems (Chapter III of the AI Act). This exception therefore does not apply to the prohibitions in the AI Act.	11. 意見提出者は、自然人の健康、安全、基本権に重大なリスクをもたらさないAIシステムに対する例外（AI法第6条第3項）が禁止事項にも適用されるかという疑問を提起している。そのようなシステムは、高リスクとはみなされない。APによると、この例外は、高リスクAIシステムとみなされる可能性のあるAIシステムのみに適用される（AI法第3章）。したがって、この例外はAI法の禁止事項には適用されない。
12. Several respondents also point to the link with the banned and high-risk AI systems for emotion recognition in relation to the prohibitions delineated upon in this summary. This particularly concerns the possibilities that emotion recognition offers to better respond to people's vulnerabilities or to manipulate or deceive them more effectively.	12. 複数の回答者は、この要約で示した禁止事項に関連して、感情認識のための禁止された高リスクAIシステムとの関連性も指摘している。これは特に、感情認識が人々の脆弱性により適切に対応したり、より効果的に操作したり欺いたりする可能性を提供する点に関係している。
Involving professionals	専門家の関与
A respondent noted that developments in AI technology are occurring rapidly and that at the same time, there is a need for clarity on the application of the rules and best practices.	回答者は、AI技術の発展は急速に進んでいるが、同時に、規則やベストプラクティスの適用に関する明確性も必要であると指摘した。
13. AI professionals can contribute to clarification. The AP considers this dialogue with stakeholders to be important so that the AP, together with other supervisory authorities, can contribute to the explanation and guidance on the AI Act. The respondent also emphasises the importance of education and practical training by the organisation. According to the AP, this also ties in with the subject of AI literacy (Article 4 of the AI Act) and the steps that organisations developing or using AI systems are taking to promote AI literacy.	13. AIの専門家は明確化に貢献できる。APは、他の監督当局とともに、AI法に関する説明やガイダンスに貢献できるよう、ステークホルダーとの対話を重要視している。回答者はまた、組織による教育および実地訓練の重要性を強調している。APによれば、これはAIリテラシー（AI法第4条）のテーマとも関連しており、AIシステムを開発または使用する組織がAIリテラシーの促進のために講じている措置とも関連している。
Specific points	具体的な指摘
Criterion 1 (prohibitions A and B): AI-enabled manipulative, deceptive or exploitative practices	規準1（禁止事項AおよびB）：AIによる操作、欺瞞、搾取的な行為
Several respondents indicated that manipulative, deceptive or exploitative practices are increasingly enabled by AI and that the use of AI increases the risks associated with these practices. According to respondents, the use of AI, in combination with the use of available personal data, makes it possible to approach and interact with people when they are at their weakest or most vulnerable. Because of their adaptability, AI systems are also able to respond well to a person's circumstances or vulnerabilities. Clarification seems particularly needed on the issue of the link between the manipulative, deceptive or exploitative practice and the AI system.	回答者の一部は、AIによって操作、欺瞞、搾取的な行為がますます可能になり、AIの利用によってこれらの行為に伴うリスクが高まると指摘した。回答者によると、利用可能な個人データの利用と組み合わせたAIの利用によって、人が最も弱っている時や最も脆弱な時に、その人に近づき、関わることも可能になる。AIシステムは適応性があるため、人の状況や脆弱性にもうまく対応できる。特に、操作、欺瞞、搾取的な行為とAIシステムとの関連性について明確化する必要があると思われる。
14. Respondents often note the additional possibilities offered by AI to use dark patterns, where interfaces are designed or organised to deceive or manipulate people into making choices or decisions that they would not otherwise make. For example, AI technology can be used to further tailor an interface and the information provided therein to a person's characteristics or vulnerabilities, thereby reinforcing manipulative or deceptive patterns in the interface.	14. 回答者は、AIによってダークパターンが利用される可能性がさらに高まることをしばしば指摘している。ダークパターンとは、ユーザーを欺いたり操作したりして、通常であれば選択や意思決定を行わないような選択や意思決定を行わせることを目的として、インターフェースが設計または構成されることを指す。例えば、AI技術は、インターフェースやそこに提供される情報を個人の特性や脆弱性に合わせてさらにカスタマイズするために使用することができ、それによってインターフェースにおける操作や欺瞞のパターンが強化される。
15. Several respondents also point to the possibilities that generative AI offers to deceive or manipulate people more convincingly. Respondents also point out the possibilities of using AI to spread or recommend misinformation or manipulative content, or to persuade people to change their voting behaviour, for example. An individual respondent also noted that the risk of deception, manipulation or exploitation is greater if AI technology is more deeply integrated into other applications compared to when the technology is superficially and visibly present in, for example, a chatbot. Many of these concerns also relate to the regulation of General Purpose AI models and the transparency obligations in Article 50 of the AI Act. The supervision of the ACM and the ACM Guidelines regarding the Digital Services Regulation are also relevant here, as they largely relate to online platforms and, for example, the dissemination of misinformation and disinformation.	15. また、複数の回答者は、生成的AIが人々をより説得力を持って欺いたり操作したりする可能性を指摘している。回答者はまた、AI を利用して誤情報や操作的なコンテンツを拡散したり推奨したり、あるいは人々に投票行動の変更を説得したりする可能性についても指摘している。また、ある回答者は、AI 技術が他のアプリケーションに深く統合されている場合、例えばチャットボットに表面的に目に見える形で存在している場合と比較して、欺瞞、操作、搾取のリスクがより高くなることを指摘している。これらの懸念の多くは、汎用AIモデルの規制やAI法第50条の透明性義務にも関連している。デジタルサービス規制に関するACMおよびACMガイドラインの監督も、オンラインプラットフォームや、例えば誤情報や偽情報の拡散と大きく関連しているため、関連性がある。
16. Some respondents indicate that the necessary link between an AI system and manipulation, deception and exploitation needs clarification. According to respondents, the question is whether and when practices involving manipulation, deception or exploitation are related to the use of AI. One respondent noted that this aspect of the prohibitions is crucial to the scope of the prohibitions. In light of that, this respondent notes that using other simpler technologies in combination with AI can also lead to manipulation, deception and exploitation. According to the AP, this shows how important the explanation of the term 'AI system' is for the applicability of the prohibitions. According to the AP, this also underlines the importance of choosing an integral approach in the future interpretation of this definition with regard to practices in which AI technology is used. This in order to address the risks of the use of, for example, deceptive AI systems.	16. ある回答者は、AIシステムと操作、欺瞞、搾取との間の必要な関連性を明確にする必要があると指摘している。回答者によると、問題は、操作、欺瞞、搾取を伴う行為がAIの利用と関連しているかどうか、また、関連している場合、それはいつなのかということである。ある回答者は、禁止の範囲を考える上で、この禁止の側面が極めて重要であると指摘している。その観点から、この回答者は、AIと組み合わせた他のより単純な技術の利用も、操作、欺瞞、搾取につながりうると指摘している。APによれば、これは禁止規定の適用可能性にとって「AIシステム」という用語の説明がいかに重要であるかを示している。APによれば、これはまた、AI技術が使用される行為に関して、この定義の将来の解釈において包括的なアプローチを選択することの重要性を強調している。これは、例えば欺瞞的なAIシステムの使用のリスクに対処するためである。
Criterion 2 (prohibition A): Deployment of subliminal and deceptive techniques	規準2（禁止A）：潜在意識や欺瞞的手法の展開
Respondents indicate that – in the framework of prohibition A – there is still a great deal of uncertainty about what can be understood by subliminal techniques of which people are not aware, or by manipulative or deceptive techniques. They argue that it is particularly necessary to clarify what such techniques entail. The extent to which manipulation or deception must have been intended also requires clarification.	回答者は、禁止Aの枠組みにおいて、人々が気づかない潜在意識的手法や、操作的手法、欺瞞的手法が何を意味するのかについて、依然として多くの不確実性があると指摘している。回答者は、このような手法が何を意味するのかを明確にする必要があると主張している。また、操作や欺瞞が意図されていた程度についても明確にする必要がある。
17. In the framework of the questions about subliminal techniques, several respondents mention examples such as systems that use imperceptible pitches or images that are displayed very quickly. If such techniques can indeed lead to behavioural distortion, then according to the AP, it should be clarified whether these indeed constitute subliminal techniques within the meaning of the AI Act. Respondents also again mentioned the use of dark patterns in their answers regarding subliminal techniques.	17. サブリミナル手法に関する質問の枠組みの中で、回答者の何人かは、知覚できない音程や非常に速く表示される画像を使用するシステムなどの例を挙げている。このような手法が実際に行動の歪曲につながるのであれば、APによれば、これらの手法がAI法の意図するサブリミナル手法に該当するのかどうかを明確にする必要がある。回答者はまた、サブリミナル手法に関する回答の中で、ダークパターンの使用についても言及している。
18. One respondent notes that further clarification should be provided as to how this prohibition can refer to purposefully manipulative or deceptive techniques. Simultaneously, the section in the legal provision on the prohibition about the ‘distortion of behaviour’ refers to a distortion that is the objective or the effect of the use of the AI system. According to this respondent, it should therefore be possible for manipulative or deceptive techniques to also fall under the prohibition if they only have the effect (and therefore do not necessarily have the purpose) of materially distorting the behaviour of individuals. According to the AP, how this criterion, in particular the 'intention' of the use of manipulative or deceptive techniques, should be interpreted is indeed a point of concern.	18. ある回答者は、この禁止が意図的な操作や欺瞞的な手法をどのように参照し得るのかについて、さらなる明確化が必要であると指摘している。同時に、行動の歪曲に関する禁止に関する法規定の条項では、AIシステムの使用の目的または効果としての歪曲について言及している。この回答者によると、したがって、個人の行動を実質的に歪める効果（必ずしも目的があるとは限らない）を持つ場合、操作または欺瞞的な技術も禁止の対象となり得るはずである。APによると、この規準、特に操作または欺瞞的な技術の使用の「意図」をどのように解釈すべきかは、確かに懸念事項である。
Criterion 3 (prohibition B): Exploitation of vulnerabilities	規準3（禁止B）：脆弱性の悪用
In the framework of prohibition B, respondents note that AI technologies make it increasingly easier to exploit human vulnerabilities. According to respondents, it is also necessary to clarify what kind of vulnerabilities included in this prohibition and whether this may also involve the use of proxies that indicate a person's vulnerabilities.	禁止Bの枠組みにおいて、回答者は、AI技術により人間の脆弱性を悪用することがますます容易になっていると指摘している。回答者によると、この禁止事項に含まれる脆弱性の種類を明確化する必要があるほか、人間の脆弱性を示す代理の使用も含まれる可能性があるかどうかを明確化する必要もある。
19. According to various respondents, it is unclear what exactly is meant by exploiting vulnerabilities. One respondent indicated that it would be helpful if there were guidelines to assess whether vulnerabilities are being exploited. According to one respondent, the use of AI and the (personal) data processed in the process makes it possible to gain more insight into a person's circumstances, such as their financial circumstances. This would make it easier to exploit vulnerabilities associated with it. Another respondent notes that large data processing and the use of AI also make it possible to exploit people's vulnerabilities in less visible and subtle ways. In such cases, proxy data is used that does not directly indicate the presence of a vulnerability, but is an indirect indicator of it. According to the AP, this recognises the fact that the availability of more (personal) data and the increased possibilities to process this data with AI technologies only increases the risks of exploitation of vulnerable people. However, according to the AP, the interpretation of this prohibition ultimately depends on whether the AI system uses vulnerabilities that, as described in the AI Act, are the result of a person's age, disability or a specific social or economic situation. So in this assessment, it is not necessary per se to assess how and on the basis of which (personal) data the AI system determines that there is a vulnerability.	19. 様々な回答者によると、脆弱性を悪用するとは具体的に何を意味するのかが不明確である。ある回答者は、脆弱性が悪用されているかどうかを評価するガイドラインがあれば役立つと指摘した。ある回答者によると、AIと（個人）データの処理により、個人の経済状況など、個人の状況についてより深い洞察を得ることが可能になる。これにより、それに関連する脆弱性を悪用しやすくなる。別の回答者は、大量のデータ処理とAIの利用は、目立たない微妙な方法で人々の脆弱性を悪用することも可能にする、と指摘している。このような場合、脆弱性の存在を直接示すものではないが、間接的な指標となる代理データが使用される。APによると、これは、より多くの（個人）データが利用可能になり、AI技術でこのデータを処理できる可能性が高まることで、脆弱な人々を悪用するリスクが高まるという事実を認識している。しかし、APによると、この禁止の解釈は、AIシステムがAI法に記載されているような、人の年齢、障害、特定の社会的または経済的状況の結果として生じる脆弱性を利用しているかどうかによって最終的に決まる。したがって、この評価では、AIシステムがどのように、またどの（個人）データに基づいて脆弱性があると判断しているかを評価する必要はない。
20. Lastly, respondents also believe that AI can be used to protect or support vulnerable people. For example, one respondent indicates that AI can be used to provide timely information or signalling to vulnerable users of certain essential services, which is sometimes also a legal requirement imposed on parties. In addition, according to respondents, the use of AI technology also offers opportunities to, for example, physically, sensorily or cognitively support persons with disabilities by means of assistive AI technologies.	20. 最後に、回答者は、AI が脆弱な人々を保護または支援するために使用できるとも考えている。例えば、ある回答者は、AI を、特定の不可欠なサービスの脆弱なユーザーに適時に情報またはシグナルを提供するために使用できると指摘している。これは、当事者に課される法的要件である場合もある。さらに、回答者によると、AI 技術の使用は、例えば、支援用 AI 技術によって身体、感覚、認知面で障害者を支援する機会も提供する。
Criterion 4 (prohibitions A and B): Significant harm	規準4（禁止事項AおよびB）：重大な危害
Respondents indicate that it may be complicated (in certain cases) to determine what kind of harm may be caused in the event of a distortion of behaviour, and when this harm is significant.	回答者は、行動の歪曲が生じた場合にどのような危害が生じる可能性があるか、また、その危害が重大であるか否かを判断することは（特定のケースでは）複雑になる可能性があると指摘している。
21. According to one respondent, significant harm, as described in the recitals of the AI Act as ‘in particular having sufficiently important adverse impacts on physical, psychological health or financial interests', can take many different forms. This respondent also indicates that the recital provides a non-exhaustive list of the types of adverse impacts due to harm.	21. ある回答者によると、AI法の前文で「特に、身体的、心理的健康または経済的利益に十分に重要な悪影響を及ぼす」と説明されている重大な悪影響は、さまざまな形態を取る可能性がある。この回答者は、前文は悪影響による悪影響の種類を網羅的に列挙したものではないとも指摘している。
22. Respondents do not have a consistent picture of the scope of the concept of harm. According to one respondent, the concept of harm would, for example, include social harm, e.g. as a result of disinformation, while another respondent indicates that this cannot be the case. According to the respondents, it is important that clarification is provided about which types of harm the prohibitions relate to.	22. 関係者間では、損害という概念の範囲について一貫した見解が示されていない。ある関係者は、損害という概念には、例えば偽情報による社会的損害などが含まれると述べているが、別の関係者は、そうはならないと指摘している。関係者によると、禁止がどの種類の損害に関係するのかについて明確化することが重要である。
23. It is also noted by a respondent that a causal link must be established between the harm and the distortion of behaviour and that this is an element of this prohibition that requires clarification. One respondent suggested that it could be helpful to establish certain 'presumptions' for determining this harm and to clarify which steps in thought are required when determining the causal link.	23. また、ある回答者は、害と行動の歪曲との間に因果関係が確立されなければならないと指摘しており、これはこの禁止事項の明確化が必要な要素である。ある回答者は、この害を判断するための一定の「推定」を確立し、因果関係を判断する際に思考のどの段階が必要かを明確にすることが役立つ可能性があると提案している。
24. One respondent indicates that in order to determine whether significant harm has occurred, the 'relativity' of harm must be taken into account. According to the respondent, some harm for the same application of AI might not be significant to one person or group of persons, yet might be significant for another. That is why a flexible approach should be assumed when assessing the significance of harm. Some respondents note that it could be particularly complicated to assess whether significant harm has occurred if it is intangible. All in all, there is a need among respondents for more clarity about the 'significance' of the harm.	24. ある回答者は、重大な損害が発生したかどうかを判断するには、損害の「相対性」を考慮する必要があると指摘している。回答者によると、AIの同じ適用による損害であっても、ある個人またはグループにとっては重大でなくても、別の個人またはグループにとっては重大である可能性がある。そのため、損害の重大性を評価する際には柔軟なアプローチを想定すべきである。回答者の一部は、重大な損害が非物質的なものである場合、損害が発生したかどうかを評価することが特に複雑になる可能性があると指摘している。全体として、回答者からは損害の「重大性」についてより明確にする必要があるとの意見が出されている。
Criterion 5 (prohibitions A and B): With the objective, or the effect of materially distorting behaviour	規準5（禁止事項AおよびB）：目的、または実質的に行動を歪める効果
From the responses of various respondents, it follows that the criterion of 'the material distortion of behaviour' raises questions.	さまざまな回答者の回答から、「実質的な行動の歪曲」という規準には疑問があることが分かる。
25. A number of respondents indicate that the criterion of 'materially distorting behaviour' can also be found in consumer law. According to some respondents, this concept has already been operationalised. This concept is also linked to the concept of the 'average consumer'. According to one respondent, the link with consumer law is clearer in prohibition A, where it is also explained that the criterion concerns appreciably impairing the ability to make an informed decision, thereby causing the persons to take a decision that they would not have otherwise taken. One respondent does indicate that this prohibition has a different rationale than provisions in consumer law, in which this concept is already used. That is why this criterion should not be interpreted in the same way as in consumer law. According to the AP, the concept of 'the material distortion of behaviour’ should be interpreted as much as possible in conjunction with existing laws. Yet the AP notes that the prohibitions in the AI Act also apply to situations that are not related to the purchase of products or services and the role of people as consumers. As a result, this prohibition likely requires additional operationalisation.	25. 多くの回答者は、「実質的な行動の歪曲」という規準は消費者法にも見られると指摘している。一部の回答者によると、この概念はすでに運用化されている。この概念は「平均的な消費者」の概念とも関連している。ある回答者によると、消費者法との関連性は禁止Aの方が明確であり、この規準は、十分な情報に基づく意思決定能力を著しく損なうものであり、それによって、そうでない場合とは異なる意思決定をさせるものであると説明されている。ある回答者は、この禁止は、すでにこの概念が使用されている消費者法の規定とは異なる根拠に基づいていると指摘している。そのため、この規準は消費者法と同じように解釈すべきではない。APによると、「重大な行動の歪曲」という概念は、可能な限り現行法と併せて解釈すべきである。しかし、APは、AI法における禁止事項は、製品やサービスの購入や消費者の役割とは関係のない状況にも適用されると指摘している。そのため、この禁止事項には、さらなる運用上の明確化が必要である可能性が高い。
26. It is also important that this criterion applies to people that are 'appreciably' impaired in their ability to make an informed decision. The question arises from the input from respondents whether the prohibition only applies if a clear decision is made, such as purchasing a service or buying a product, or whether the prohibition also applies to situations in which the influence leads to a gradual change in behaviour or change in mood that is harmful or has harmful consequences for, for example, someone's health or wellbeing. According to the AP, clarification also appears to be necessary with regard to temporal properties of possible distortions of behaviour.	26. また、この規準が、十分な情報に基づく意思決定を行う能力が「相当程度」損なわれている人々にも適用されることも重要である。回答者からの意見では、この禁止は、サービス購入や商品購入など、明確な意思決定が行われた場合にのみ適用されるのか、あるいは、影響が徐々に態度や気分に変化をもたらし、例えば健康や幸福に有害な影響や結果をもたらすような状況にも適用されるのかという疑問が提起されている。APによると、行動の歪みの時間的性質についても明確化が必要であるようだ。
Criterion 6 (prohibitions A and B): Individual and group harm	規準6（禁止AおよびB）：個人および集団への危害
According to several respondents, it is important to emphasise that both prohibitions can involve harm suffered by both individuals and groups of persons.	複数の回答者によると、両方の禁止事項が個人および集団に与える危害を強調することが重要である。
27. According to one respondent, it will have to be explained how different types of harm relate to the individual or to multiple persons. One respondent indicated that it is particularly important to also draw attention to the harm to groups of persons. According to another respondent, this explanation should also take into account harm that 'other' persons may suffer whose behaviour has not been significantly distorted. One respondent indicated that there would be a difference in the actors who could suffer harm per prohibition. According to this respondent, the harm under prohibition B only relates to an individual or individual persons, while under prohibition A, it can also relate to group harm. According to the AP, a textual interpretation of both prohibitions seems to support that reading, but more clarity and certainty is desirable in this area also.	27. ある回答者によると、異なる種類の被害が個人または複数の個人にどのように関連するのかを説明する必要がある。ある回答者は、特に集団に対する被害にも注意を促すことが重要であると指摘した。別の回答者によると、この説明では、行動が著しく歪められていない「その他の」個人が被る可能性のある被害も考慮すべきである。ある回答者は、禁止事項ごとに被害を被る可能性のある行為者に違いがあることを指摘した。この回答者によると、禁止 B の下での損害は個人または個人にのみ関係するが、禁止 A の下では集団的な損害にも関係する可能性がある。AP によると、両方の禁止事項の文言解釈は、この解釈を支持しているように見えるが、この分野でもより明確性と確実性が望まれる。
Scope of the prohibitions	禁止事項の範囲
According to respondents, there should be more clarity on the cases in which an AI system should not fall under the provisions on the prohibitions.	回答者によると、AI システムが禁止事項の規定に該当しない場合について、より明確にする必要がある。
28. One respondent indicated that this clarification should focus on the section on common and legitimate commercial practices, with this respondent emphasising that a common commercial practice is necessarily a legitimate one. Other respondents indicate that it would be helpful to provide more insight into the types of legitimate practices in the context of medical treatment that should not be affected by the prohibitions in this act.	28. ある回答者は、この明確化は「共通かつ正当な商慣行」のセクションに焦点を当てるべきだと指摘し、この回答者は、共通の商慣行は必然的に正当なものであると強調した。他の回答者は、この法律の禁止事項の影響を受けないべき医療行為における正当な慣行の種類について、より詳細な情報を提供することが有益であると指摘している。
III. Follow-up	III. フォローアップ
29. The publication of this summary document concludes the information gathering process through the call for input on the prohibitions on manipulative, deceptive and exploitative AI systems. The submitted input leads to a number of key points, which are relevant to the interpretation that will be given to the prohibitions in the AI Act:	29. この要約文書の公表をもって、人為的、欺瞞的、搾取的なAIシステムに対する禁止措置に関する意見募集による情報収集プロセスは終了する。提出された意見は、AI法における禁止措置の解釈に関連する多くの重要なポイントにつながる。
a. Both prohibitions contain many terms and concepts that are not (or only to a very limited extent) explained in the AI Act. Interpretation through (European) guidelines, as well as further clarification with specific examples, are crucial to ensure that these prohibitions offer protection to citizens and that legal security is provided to market parties. This concerns, for example, the scope of the AI system definition, the techniques to manipulate or deceive, the use of vulnerabilities and the harm that can also be suffered by groups.	a. 両方の禁止事項には、AI法では説明されていない（またはごく限られた範囲でしか説明されていない）用語や概念が数多く含まれている。これらの禁止事項が市民を保護し、市場関係者に法的安定性を提供することを確実にするためには、（欧州）ガイドラインによる解釈や、具体的な例を用いたさらなる明確化が不可欠である。これには、例えば、AIシステム定義の範囲、操作または欺瞞のテクニック、脆弱性の利用、集団が被る可能性のある被害などが含まれる。
b. In particular, the prohibition regarding manipulative and deceptive AI (Article 5, first paragraph, point (a) of the AI Act) relates to laws in the field of consumer protection, financial services and to the DSA. Clarification is needed on how these prohibitions relate to concepts in those laws, given the independent nature and rationale of the prohibitions in the AI Act. Here, for example, it concerns the meaning of 'significant harm' or the material distortion of behaviour. In this context, many of the practices mentioned, such as the use of dark patterns, require special attention.	b. 特に、操作および欺瞞的なAIに関する禁止事項（AI法第5条第1項第(a)号）は、消費者保護、金融サービス分野の法律、およびDSAに関連する。AI法における禁止規定の独立した性質と根拠を踏まえると、これらの禁止規定がそれらの法律の概念とどのように関連するのかについて明確化が必要である。例えば、これは「重大な損害」の意味や行動の重大な歪曲に関するものである。この文脈において、ダークパターンの使用など、言及された慣行の多くは特別な注意を必要とする。
c. The prohibitions also relate to other rules in the AI Act, which will sometimes also be supervised upon at EU level. This relation and the scope of these provisions should be clarified by the market surveillance authorities and the AI Office. Here it concerns the relationship of the prohibitions with e.g. transparency obligations (Article 50), other prohibitions or high-risk applications (such as emotion recognition) and the rules for general purpose AI models.	c. 禁止事項は、AI法の他の規定にも関連しており、EUレベルでも監督されることがある。この関連性と規定の範囲は、市場監視当局とAI局によって明確化されるべきである。ここでは、禁止事項と透明性義務（第50条）、他の禁止事項または高リスクのアプリケーション（感情認識など）、汎用AIモデルの規定との関係が問題となる。
30. The AP is working on the preparation of the supervision on the prohibitions in the Netherlands and, in the coming months, will further use the input received for the preparation of information and explanation on the prohibitions.. The knowledge gained is shared with Dutch supervisory authorities in the Digital Regulation Cooperation Platform (SDT), and the AI and Algorithm Chamber (AAK) of the SDT will discuss which follow-up actions are needed to clarify the prohibitions in the AI Act. The above approach is in line with the vision of supervisory authorities to strive for a harmonised interpretation and application of rules that can be simultaneously applied to prohibited AI practices.	30. APはオランダにおける禁止事項の監督準備に取り組んでおり、今後数か月間、禁止事項に関する情報および説明の準備に際しては、さらに得られた意見を活用する予定である。得られた知識はデジタル規制協力プラットフォーム（SDT）のオランダ監督当局と共有され、SDTのAIおよびアルゴリズム委員会（AAK）は、AI法における禁止事項を明確化するためにどのような追加措置が必要かについて議論する。上記の手法は、禁止されたAIの慣行に同時に適用できるルールの調和のとれた解釈と適用を目指す監督当局のビジョンに沿ったものである。
31. The AP will also use the insights gathered from practice as a basis for contributing to the discussion on the guidelines on the prohibitions. The European Commission intends to publish the first guidelines in early 2025. To this end, it has launched a consultation for stakeholders, including AI system providers, companies, national authorities, academics, research institutions and civil society. More information on these guidelines and consultation can be found on the European Commission website.	31. APは、実務から得られた洞察を、禁止行為に関するガイドラインの議論に貢献するための基礎としても活用する。欧州委員会は、2025年初頭に最初のガイドラインを公表する予定である。この目的のために、欧州委員会は、AIシステムプロバイダー、企業、各国当局、学術関係者、研究機関、市民社会を含む利害関係者との協議を開始した。これらのガイドラインおよび協議に関する詳細は、欧州委員会のウェブサイトに掲載されている。

● まるちゃんの情報セキュリティ気まぐれ日記

・2024.11.08 オランダデータ保護局意見募集職場や教育における感情認識のための特定のAIシステムの禁止 (2024.10.31)

・2024.10.30 オランダ会計検査院政府はAIのリスクアセスメントをほとんど実施していない...

・2024.10.18 オランダ AI利用ガイド (2024.10.16)

・2024.09.29 オランダデータ保護局意見募集「操作的欺瞞的、搾取的なAIシステム」

・2024.09.05 オランダデータ保護局顔認識のための違法なデータ収集でClearviewに3,050万ユーロ（48.5億円）

・2024.08.28 オランダデータ保護局ドライバーデータの米国への転送を理由にUberに2億9000万ユーロ（467億円）の罰金

・2024.08.12 オランダデータ保護局が注意喚起：AIチャットボットの使用はデータ漏洩につながる可能性がある

・2024.08.11 オランダ AI影響アセスメント (2023.03.02)

・2024.08.05 欧州AI法が施行された... (2024.08.01)

2024.12.19 06:33 in 個人情報保護 / プライバシー, in 法律 / 犯罪, in パブコメ, in AI/Deep Learning | Permalink | Comments (0)
Tweet

2024.12.18

ブラジル国家データ保護局生成的AIについての一般向け説明 (2024.11.29)

こんにちは、丸山満彦です。

ブラジルの国家データ保護局が生成的AIの一般向けの説明であるテクノロジー・レーダーと文書を発表していますが、よくまとまっているように思いました。（ポルトガル語ですが、AIの恩恵にあずかっています...）

● gov.br - Autoridade Nacional de Proteção de Dados (国家データ保護局)

・2024.11.29 - IA Generativa é tema do 3º volume da série Radar Tecnológico da ANPD

RADAR TECNOLÓGICO	テクノロジー・レーダー
IA Generativa é tema do 3º volume da série Radar Tecnológico da ANPD	ジェネレーティブAIは、ANPDのテクノロジー・レーダー・シリーズ第3巻のテーマである。
O estudo oferece um olhar preliminar sobre os desafios regulatórios nesse campo emergente	この新分野における規制上の課題について予備的な考察を行う。
Autoridade Nacional de Proteção de Dados (ANPD) lançou, nesta sexta (29), o terceiro volume da série Radar Tecnológico. Dessa vez, o foco está em modelos generativos de Inteligência Artificial (IA), comumente chamado de “IA Generativa”.	国家データ保護局（ANPD）は29日（金）、テクノロジー・レーダー・シリーズの第3弾を発表した。今回は、一般に「ジェネレーティブAI」と呼ばれる生成型人工知能（AI）モデルに焦点を当てている。
O estudo, conduzido pela Coordenação-Geral de Tecnologia e Pesquisa (CGTP), busca aprofundar a compreensão sobre o tema, identificando potenciais riscos à privacidade e à proteção de dados, além de analisá-los sob a ótica da Lei Geral de Proteção de Dados Pessoais (LGPD).	技術・研究総合調整局（CGTP）が実施したこの研究は、プライバシーとデータ保護に対する潜在的なリスクを特定し、一般個人データ保護法（LGPD）の観点から分析することで、このテーマに対する理解を深めることを目的としている。
O documento apresenta uma análise técnica abrangente sobre os fundamentos da IA generativa, explorando conceitos como:	この文書は、生成的AIの基礎に関する包括的な技術的分析を提示し、以下のような概念を探求している：
・Raspagem de dados da web (data scraping ou web scraping), prática que pode envolver o tratamento de dados pessoais;	・データスクレイピングまたはウェブスクレイピングは、個人データの処理を伴う可能性がある；
・Geração de conteúdos sintéticos, que potencialmente podem conter informações pessoais;	・個人情報を含む可能性のある合成コンテンツを生成する；
・Práticas de compartilhamento de dados pessoais em sistemas de IA generativa.	・生成的AIシステムにおける個人データの共有の実践。
Além disso, o estudo aborda como essas questões se relacionam com princípios da LGPD, incluindo o da transparência e o da necessidade, oferecendo um olhar preliminar sobre os desafios regulatórios nesse campo emergente.	さらに、これらの問題が、透明性や必要性を含むLGPDの原則とどのように関連するのかを取り上げ、この新たな分野における規制上の課題を予備的に考察している。
O relatório também destaca casos reais de uso de IA generativa no Brasil, com exemplos de aplicações no setor público, na saúde e no setor financeiro, evidenciando o potencial impacto dessa tecnologia na sociedade brasileira.	報告書はまた、公共部門、ヘルスケア、金融部門におけるアプリケーションの例を挙げて、ブラジルにおけるジェネレーティブAIの実際の使用事例を紹介し、この技術がブラジル社会に与える潜在的な影響を浮き彫りにしている。
Acesse o estudo completo por este LINK.	このリンクから報告書にアクセスできる。
Radar Tecnológico	テクノロジー・レーダー
O Radar Tecnológico é uma série de publicações da ANPD que objetiva realizar abordagens de tecnologias emergentes que vão impactar ou já estejam impactando o cenário nacional e internacional da proteção de dados pessoais. Para cada tema, são abordados os conceitos principais, as potencialidades e as perspectivas de futuro, sempre com ênfase no contexto brasileiro. O primeiro volume abordou o tema de cidades inteligentes, e o segundo, de biometria e reconhecimento facial.	テクノロジー・レーダーは、個人データ保護の国内および国際的なシナリオに影響を与える、あるいはすでに影響を与えている新技術を分析することを目的としたANPDの出版物シリーズである。各トピックについて、ブラジルの状況に常に重点を置きながら、主な概念、可能性、将来の展望が取り上げられている。第1巻ではスマートシティを、第2巻ではバイオメトリクスと顔認証を扱った。
Sem a intenção de esgotar as temáticas ou firmar posicionamentos institucionais, o propósito da série é agregar informações relevantes ao debate da proteção de dados no País, com textos didáticos e acessíveis ao público geral.	テーマを網羅したり、制度的な立場を確立したりする意図はなく、このシリーズの目的は、一般市民がアクセスできる教訓的なテキストによって、国内のデータ保護に関する議論に関連情報を追加することである。

・[PDF] ‹ radar tecnológico › n° 3 - inteligência artificial generativa

目次...

introdução	はじめに
conceitos principais	主要概念
inteligência artificial generativa e proteção de dados pessoais	生成的人工知能と個人データ保護
inteligência artificial generativa no contexto brasileiro	ブラジルの文脈における生成的人工知能
perspectivas de futuro	将来の展望
considerações finais	最終的な考察
referências	参考文献

生成的人工知能と個人データ保護...

inteligência artificial generativa e proteção de dados pessoais	生成的人工知能と個人データ保護
A Lei Geral de Proteção de Dados Pessoais – LGPD (Lei n°. 13.709, de 14 de agosto de 2018) tem como objetivo proteger os direitos fundamentais de privacidade, liberdade e o livre desenvolvimento da personalidade (LGPD, art. 1º, caput), ao mesmo tempo em que tem por fundamento o desenvolvimento econômico e tecnológico e a inovação (LGPD, art. 2º, V). Portanto, a inovação tecnológica deve estar em harmonia com a proteção de dados pessoais. Para a adequada proteção de dados pessoais18, torna-se necessário compreender como os dados são tratados em sistemas de IA Generativa. A recente disponibilização de tais sistemas para uso pela sociedade demonstrou sua rápida popularização e utilização para diferentes propósitos.	一般個人データ保護法（LGPD）（2018年8月14日法律第13,709号）は、プライバシー、自由、人格の自由な発展という基本的権利（LGPD第1条caput）を保護すると同時に、経済的・技術的発展とイノベーション（LGPD第2条V）を支えることを目的としている。したがって、技術革新は個人情報の保護と調和していなければならない。個人データ18 を適切に保護するためには、生成的AIシステムでデータがどのように処理されるかを理解する必要がある。最近、このようなシステムが社会で利用できるようになったことで、その急速な普及とさまざまな目的への利用が実証された。
Sistemas de IA Generativa apresentam como características fundamentais: (i) necessidade de grandes volumes de dados para seu treinamento; (ii) capacidade de inferência que permite a geração de novos dados semelhantes aos dados de treinamento; e (iii) adoção de um conjunto diversificado de técnicas computacionais, como, por exemplo, as arquiteturas de transformadores para o Processamento de Linguagem Natural (PLN)[19] e algoritmos de AM, como as redes adversariais generativas para a geração de conteúdos visuais.	生成的AIシステムの基本的な特徴は、(i)学習のために大量のデータが必要であること、(ii)学習データに類似した新たなデータの生成を可能にする推論能力があること、(iii)自然言語処理（NLP）[19]のための変換器アーキテクチャや、映像コンテンツの生成のための生成的敵対的ネットワークなどのMLアルゴリズムなど、多様な計算技法の採用である。
Tais características afetam diretamente o tratamento de dados pessoais²⁰ e os princípios que regem a LGPD. A necessidade de grandes volumes de dados pode resultar no tratamento tanto de dados pessoais quanto não pessoais. A coexistência desses dois tipos de dados eleva os riscos relacionados à proteção de dados pessoais, pois aumenta a probabilidade de que dados pessoais sejam tratados sem as devidas salvaguardas e que o princípio da necessidade não seja atendido. Além disso, a capacidade de geração de novos dados, ou conteúdo sintético, coloca em risco a proteção de dados pessoais, uma vez que o conteúdo sintético gerado pode ser indistinguível de dados pessoais e se relacionar a uma pessoa natural identificada ou identificável, bem como ser erroneamente associado a pessoas reais. Por fim, o conjunto de técnicas computacionais ensejam em metodologias complexas e opacas, de modo que o baixo nível de transparência não se deve necessariamente à natureza da técnica utilizada, mas à dificuldade em interpretar suas operações e compreender os processos realizados para a obtenção de resultados.	これらの特性は、個人データの処理20 とLGPDを管理する原則に直接影響する。大量のデータを必要とする場合、個人データと非個人データの両方が処理されることになる。これら2種類のデータが共存すると、個人データが適切な保護措置なしに処理され、必要性の原則が満たされない可能性が高まるため、個人データの保護に関するリスクが高まる。さらに、新しいデータ、すなわち合成コンテンツを生成する能力は、個人データの保護を危うくする。なぜなら、生成された合成コンテンツは、個人データと区別がつかず、識別された、または識別可能な自然人に関連し、また実在の人物と誤って関連付けられる可能性があるからである。最後に、一連の計算技法は複雑で不透明な方法論に帰結するため、透明性の低さは必ずしも使用される技法の性質によるものではなく、その操作を解釈し、結果を得るために実施されたプロセスを理解することの難しさによるものである。
Assim, os titulares21 e agentes de tratamento22 se encontram diante de sistemas de IA que apresentam desafios significativos para a proteção de dados pessoais. Os riscos vão desde o potencial tratamento de dados pessoais e a geração de conteúdo sintético até a dificuldade de assegurar	このように、データ主体21と処理機関22は、個人データ保護に重大な課題をもたらすAIシステムに直面している。そのリスクは、個人データの潜在的処理や合成コンテンツの生成から、透明性などの原則を確保することの難しさまで多岐にわたる。
princípios como a transparência. Tais condições exigem atenção aos princípios e regras estabelecidas pela LGPD e impõem desafios relacionados ao risco de violações de direitos fundamentais.	透明性などの原則を確保することの難しさにまで及ぶ。このような状況下では、LGPDが定めた原則やルールに注意を払う必要があり、基本的権利の侵害リスクに関連する課題を課している。
A seguir, analisa-se a relação da IA generativa com diferentes operações de tratamento de dados pessoais. Além disso, ao final deste capítulo, serão trazidas breves reflexões sobre a IA generativa e alguns princípios da LGPD. Para tanto, adotou-se o seguinte conjunto de referências: CNIL (2023), Glenster; Gilbert (2023), ABNT NBR ISO/IEC 22989 (2023), AEPD (2023), OPC (2023), Solove (2024), Rana et al., (2022), Teffé (2017).	次に、生成的AIとさまざまな個人データ処理業務の関係を分析する。さらに、本章の最後に、生成的AIとLGPDの原則のいくつかについて簡単な考察を行う。そのために、以下の参考文献を採用した： CNIL（2023）、Glenster; Gilbert（2023）、ABNT NBR ISO/IEC 22989（2023）、AEPD（2023）、OPC（2023）、Solove（2024）、Ranaら（2022）、Teffé（2017）。
18 Dados pessoais: informação relacionada a pessoa natural identificada ou identificável.	18 個人データ：識別された、または識別可能な自然人に関する情報。
19 Processamento de Linguagem Natural: é uma área interdisciplinar que envolve o campo da ciência da computação dedicado à interação entre computadores e a linguagem humana, por meio de programas capazes de processar, analisar, interpretar e gerar dados de linguagem natural. Isso inclui o resumo de textos, tradução automática, reconhecimento da voz, análise de sentimentos, geração de texto e voz, entre outros. A linguagem natural é qualquer língua humana, que pode ser expressa em texto, fala, linguagem de sinais etc.	19 自然言語処理：自然言語データを処理、分析、解釈、生成できるプログラムによって、コンピュータと人間の言語との相互作用に特化したコンピュータ科学の分野を含む学際的分野である。これには、テキストの要約、機械翻訳、音声認識、感情分析、テキストと音声の生成などが含まれる。自然言語とは、テキスト、音声、手話などで表現されるあらゆる人間の言語である。
20 Tratamento de dados pessoais: toda operação realizada com dados pessoais, como as que se referem a coleta, produção, recepção, classificação, utilização, acesso, reprodução, transmissão, distribuição, processamento, arquivamento, armazenamento, eliminação, avaliação ou controle da informação, modificação, comunicação, transferência, difusão ou extração.	20 個人データの処理：収集、作成、受領、分類、使用、アクセス、複製、送信、配布、処理、保管、保存、削除、情報の評価または管理、変更、通信、移転、普及または抽出に関するものなど、個人データを用いて行われるあらゆる操作。
21 Titulares: pessoa natural a quem se referem os dados pessoais que são objeto de tratamento.	21 情報主体：処理される個人データが関係する自然人。
22 Agentes de tratamento: o controlador e o operador.	22 処理代理人：管理者および運営者。
A relação entre o tratamento de dados pessoais e os sistemas de IA Generativa	個人データ処理と生成的AIシステムの関係
A fim de evidenciar a relação entre o tratamento de dados pessoais e os sistemas de IA Generativa, este estudo delimitou 04 (quatro) conjuntos de elementos que fazem parte do tratamento de dados pessoais. São eles: (i) coleta e armazenamento, (ii) processamento, (iii) compartilhamento e (iv) eliminação.	個人データの処理と生成的AIシステムの関係を明らかにするために、本研究では個人データの処理に含まれる要素を4つに分類した。すなわち、(i)収集と保管、(ii)処理、(iii)共有、(iv)削除である。
i) Coleta e Armazenamento de dados para treinamento	i) 学習用データの収集と保存
O desenvolvimento de modelos de IA Generativa envolvem várias etapas e um dos primeiros passos é a coleta de dados que posteriormente são armazenados e usados para treinar o modelo.	生成的AIモデルの開発にはいくつかの段階があり、最初の段階のひとつがデータの収集である。
Uma das maneiras de coletar dados para a formação de grandes bases para treinamento e testes de sistemas de IA Generativa, é por meio da técnica de raspagem de dados da web (data scraping ou web scraping). Essa técnica utiliza programas para navegar pela web que realizam a coleta, extração e/ou cópia automatizada de dados criados e disponibilizados pelos usuários da web ou por terceiros. Os dados coletados podem incluir qualquer informação presente na web como nomes, sobrenomes, endereços, endereços de e-mail, vídeos, áudios, imagens, comentários, opiniões, preferências, entre outros dados e identificadores, disponíveis em diferentes sítios eletrônicos ou em bases de dados.	生成的AIシステムのトレーニングやテストのための大規模なデータベースを形成するためのデータ収集方法のひとつに、データスクレイピング（ウェブスクレイピング）という手法がある。この手法では、ウェブ・ユーザーや第三者によって作成され利用可能になったデータを収集、抽出、コピーするウェブ閲覧プログラムを使用する。収集されるデータには、氏名、姓名、住所、電子メールアドレス、動画、音声、画像、コメント、意見、嗜好など、ウェブ上に存在するあらゆる情報が含まれる。
A raspagem de dados, a depender do método de automação utilizado, pode selecionar dados específicos, como por exemplo, coletar apenas opiniões e até mesmo definir um intervalo de tempo regular para realizar uma nova coleta. Em outros casos, a raspagem pode operar em uma escala significativa e percorrer bilhões de páginas da web. A dinamicidade e a velocidade de disponibilização de novos dados na web permite o desenvolvimento de diferentes sistemas para realizar a atividade de raspagem e agregação de dados (data aggregators)²³.	データスクレイピングは、使用される自動化方法によって、意見のみを収集したり、再収集のための定期的な時間間隔を設定するなど、特定のデータを選択することができる。また、何十億ものウェブページを対象とした大規模なスクレイピングも可能である。新しいデータがウェブ上で利用可能になるダイナミズムとスピードは、データのスクレイピングと集約を行うさまざまなシステム（データ・アグリゲータ）の開発を可能にしている²³。
Como exemplo de grandes bases de dados disponíveis e utilizadas no treinamento de modelos de IA24 pode ser destacada a Common Crawl. Essa é uma organização sem fins lucrativos que realiza o rastreamento e a coleta regular de dados na web, por meio de crawlers, ou seja, programas automatizados, com o objetivo de gerar repositórios. Trata-se de uma infraestrutura centralizada que reúne dados de diferentes fontes, agregados e armazenados de forma gratuita e aberta, disponível para qualquer pessoa que deseja realizar pesquisas e desenvolver inovações que requerem grandes conjuntos de dados, inclusive no campo da IA25.	AIモデルの学習に利用可能な大規模データベースの例24として、Common Crawlがある。これは非営利団体で、リポジトリを生成する目的で、クローラー（自動プログラム）を使ってウェブ上のデータを定期的にクロールし、収集している。これは、さまざまなソースからのデータを集約し、自由でオープンな方法で保存する集中型のインフラであり、AI25の分野を含め、大規模なデータセットを必要とする研究やイノベーションの開発を望む誰もが利用できる。
A natureza abrangente da coleta massiva de dados possibilita que repositórios, como os da Common Crawl, ofereçam uma fonte de dados ampla e diversificada obtidos por meio de raspagem a agregação de dados. Para o treinamento de modelos de IA, os desenvolvedores podem mesclar a raspagem de dados realizada de forma direta pelo próprio desenvolvedor, com fontes de outra organização como a Common Crawl, bem como com dados de fontes diversas como livros, artigos e publicações científicas, dissertações e teses, transcrições de áudio e vídeo, tabelas, códigos, legislações, entre outros.	大量データ収集の包括的な性質により、コモン・クロールのようなリポジトリは、データスクレイピングと集約によって得られた、広範で多様なデータソースを提供することが可能になる。AIモデルを訓練するために、開発者は、開発者が直接実施したデータスクレイピングと、Common Crawlのような別の組織からのソース、さらに書籍、科学論文や出版物、学位論文や学位論文、音声やビデオのトランスクリプト、表、コード、法律などの様々なソースからのデータを混在させることができる。
A operação de raspagem e agregação de dados em larga escala amplia os riscos em relação à possibilidade de incluir dados pessoais. O amplo escopo de dados que podem ser coletados para o desenvolvimento de modelos, também apresenta a mesma preocupação.	大規模なデータのスクレイピングと集計の作業は、個人データを含む可能性に関するリスクを増大させる。モデル開発のために収集できるデータの範囲が広いことも、同様の懸念を引き起こす。
A ausência de etapas de pré-tratamento adequadas para a eliminação ou anonimização26 de dados pessoais possibilita a existência de riscos significativos relacionados ao tratamento indevido de dados pessoais. Os riscos apresentam agravantes nos casos que incluem o tratamento de dados pessoais sensíveis27 e dados de crianças e adolescentes.	個人データの削除または匿名化26 のための適切な前処理ステップがないことは、個人データの不適切な処理に関連する重大なリスクが存在することを意味する。このリスクは、機微な個人データ27 や児童・青少年のデータ処理に関わる場合に悪化する。
É importante destacar que o conteúdo de sites públicos ou acessíveis publicamente estão sujeitos à LGPD, visto que empresas que disponibi-lizam tais informações possuem obrigações em relação à proteção de dados pessoais em suas plataformas. Da mesma forma, desenvolvedores e empresas que realizam a raspagem na web devem garantir a conformidade com a proteção de dados pessoais.	公開されているウェブサイトや一般公開されているウェブサイトの内容は、LGPDの対象となることを強調しておくことが重要である。なぜなら、そのような情報を公開している企業は、自社のプラットフォーム上の個人データの保護に関して義務を負っているからだ。同様に、ウェブスクレイピングを実施する開発者や企業も、個人データの保護に関するコンプライアンスを確保しなければならない。
O tratamento de dados pessoais sem o conhecimento dos titulares envolvidos limita o controle destes sobre os seus dados pessoais. A limitação do controle pode ocorrer mesmo após a eliminação dos dados pelos titulares na web em virtude da possibilidade de raspagem anterior e seu armazenamento em repositórios.	データ主体の知らないところで個人データを処理すると、データ主体の個人データに対する管理が制限される。過去のスクレイピングやリポジトリへの保存の可能性により、データ主体がウェブ上でデータを削除した後でも、管理の制限は起こりうる。
A operação de raspagem deve indicar a hipótese legal para o tratamento de dados pessoais, de modo que empresas que realizam essa atividade precisam considerar uma das hipóteses legais presentes nos arts. 7 º e 11 da LGPD. Adicionalmente, conforme o art. 7º, §§ 3º e 4º, existe a expressa menção à aplicação dos princípios de proteção de dados nos casos em que os dados pessoais são tornados públicos pelo próprio titular ou de acesso público. Logo, o uso de dados pessoais raspados deve atentar sobretudo aos princípios da boa-fé, finalidade, adequação e necessidade.	そのため、この活動を行う企業は、個人情報の処理に関する法的仮説を、導出法第7条および第11条にある法的仮説のいずれかを考慮する必要がある。さらに、第7条第3項および第4項によれば、個人データがデータ主体によって公開される場合、または一般にアクセス可能な場合におけるデータ保護原則の適用について明示的に言及されている。したがって、スクレイピングされた個人データの利用は、善意、目的、適切性、必要性の原則に特に注意を払わなければならない。
Dessa forma, são necessários mecanismos que assegurem a transparência adequada nas etapas de coleta e armazenamento de dados para a forma-ção de grandes bases de dados.	したがって、大規模なデータベースを形成するためには、データ収集と保存の段階で十分な透明性を確保する仕組みが必要である。
23 Agregação de dados: é uma técnica que por meio de sistemas computacionais agrupa dados coletados de uma grande variedade de fontes em um repositório centralizado para acesso e tratamento.	23 データ集約：コンピュータシステムを用いて、さまざまな情報源から収集したデータを一元化されたリポジトリにまとめ、アクセスや処理を行う技術。
24 Modelos de IA: representação matemática e lógica de um sistema, entidade, fenômeno, processo ou dados. O modelo permite a IA processar, modelar, adaptar-se, interpretar e gerar dados para interagir com o mundo, com capacidade de generalizar o aprendizado para diferentes contextos. Os modelos podem ser divididos em diferentes tipos, de acordo com a sua função ou aplicação, por exemplo, modelos de aprendizado de máquina, modelos baseados em regras, modelos de redes neurais artificiais, entre outros.	24 AIモデル：システム、実体、現象、プロセス、またはデータの数学的・論理的表現。モデルにより、AIはデータを処理、モデル化、適応、解釈、生成して世界と相互作用することができ、異なる文脈に学習を汎化する能力を持つ。モデルはその機能や用途によって、例えば機械学習モデル、ルールベース・モデル、人工ニューラルネットワーク・モデルなど、さまざまなタイプに分けることができる。
25 Maiores informações em: https://commoncrawl.org.	25 詳細はhttps://commoncrawl.org。
26 Anonimização: utilização de meios técnicos razoáveis e disponíveis no momento do tratamento, por meio dos quais um dado perde a possibilidade de associação, direta ou indireta, a um indivíduo.	26 匿名化：データ処理時に利用可能な合理的な技術的手段を使用し、データから個人との直接的または間接的な関連付けの可能性をなくすこと。
27 Dados pessoais sensíveis: dado pessoal sobre origem racial ou étnica, convicção religiosa, opinião política, filiação a sindicato ou a organização de caráter religioso, filosófico ou político, dado referente à saúde ou à vida sexual, dado genético ou biométrico, quando vinculado a uma pessoa natural.	27 機微（センシティブ）個人データ：自然人に関連する場合、人種的または民族的出身、宗教的信念、政治的意見、労働組合または宗教的、哲学的または政治的団体の会員であること、健康または性生活に関するデータ、遺伝的またはバイオメトリックなデータに関する個人データ。
ii) Processamento	ii) 処理
O processamento de dados envolve etapas do ciclo de vida de sistemas de IA²⁸ Generativa. A atividade de processar dados é iniciada na fase anterior ao treinamento do modelo, ou seja, durante a formação da base de dados de treinamento e teste e percorre o ciclo de vida dos sistemas de IA Generativa.	データ処理には、AI28システムのライフサイクルにおける段階が含まれる。データを処理する活動は、モデルをトレーニングする前の段階、すなわちトレーニング・データベースとテスト・データベースを形成する段階から始まり、生成的AIシステムのライフサイクルを通じて実行される。
A utilização de dados de repositórios originados de processos de raspagem da web, bem como a mesclagem com dados raspados de forma direta pelo próprio desenvolvedor com outras fontes podem implicar no uso e reuso de dados para o treinamento e refinamento de diferentes modelos em IA. Na existência de dados pessoais, isso pode conduzir a um tratamento contínuo, irrestrito e ilimitado de dados pessoais em diferentes sistemas de IA Generativa.	ウェブのスクレイピング処理に由来するリポジトリからのデータの使用や、開発者が直接スクレイピングしたデータと他のソースとのマージは、さまざまなAIモデルの訓練と改良のためのデータの使用と再利用を意味する。個人データの場合、これはさまざまなジェネレーティブAIシステムにおける個人データの継続的、無制限、無制限の処理につながる可能性がある。
A capacidade de sistemas de IA Generativa de gerar novo conteúdo sintético vai além do processamento básico de dados e abrange o aprendizado e a modelagem para gerar novas representações com base nos dados de treinamento.	新しい合成コンテンツを生成する生成的AIシステムの能力は、基本的なデータ処理にとどまらず、学習データに基づいて新しい表現を生成するための学習とモデリングを包含する。
Durante o treinamento, os parâmetros do modelo recebem seus respectivos valores que representam os pesos29 em relação à capacidade do modelo de gerar, por exemplo, linguagem natural precisa. Os pesos refletem padrões e relações aprendidas, ou seja, como o modelo responde e aprende a partir dos dados de treinamento.	学習中、モデルのパラメータには、例えば正確な自然言語を生成するモデルの能力との関係で、重み29を表すそれぞれの値が与えられる。重みは、学習されたパターンと関係、すなわちモデルが学習データにどのように反応し、学習するかを反映する。
Os modelos não processam e armazenam informações específicas, pois sua característica matemática invisibiliza os dados, ou seja, a existência de dados pessoais nas bases de dados pode ser ocultada por meio de processos matemáticos durante o treinamento. Desta forma, os dados pessoais podem não ser diretamente identificados no modelo. Cumpre ressaltar, que recentes estudos colocam em discussão a possibilidade de pessoas naturais serem identificáveis em razão de vulnerabilidades a ataques do tipo de inversão de modelo (model inversion) e de membership inference (VEALE, BINNS, EDWARDS, 2018)	モデルの数学的特性はデータを不可視にするため、モデルは特定の情報を処理・保存しない。つまり、データベース内の個人データの存在は、学習中の数学的処理によって隠すことができる。このように、個人情報はモデル内で直接特定されることはない。最近の研究では、モデルの反転やメンバーシップ推論攻撃に対する脆弱性により、自然人が特定される可能性が議論されていることに留意すべきである（VEALE, BINNS, EDWARDS, 2018）。
Porém, os sistemas de IA Generativa permitem interações dos usuários em linguagem natural com o modelo treinado para a geração de respostas. Desta forma, a depender da forma de interação, instruções e o contexto informado pelo usuário por meio do prompt³⁰, dados pessoais podem ser gerados como resposta em MLLE.	しかし、生成的AIシステムでは、ユーザが訓練されたモデルと自然言語で対話し、回答を生成することができる。したがって、インタラクションの形式、指示、およびプロンプトを通じてユーザーが提供するコンテキスト30に応じて、MLLEでは個人データを回答として生成することができる。
O conteúdo³¹, embora sintético, ou seja, gerado pelo modelo, apresenta narrativas que podem resultar na produção de conteúdo falso ou inverídico sobre uma pessoa real. Essa possibilidade apresenta riscos em relação à proteção de dados e ao livre desenvolvimento da personalidade, especialmente no que tange ao direito de imagem do titular.	コンテンツ³¹は、モデルによって生成された合成的なものではあるが、実在の人物に関する虚偽または真実でないコンテンツが生成される可能性のある語りを提示する。この可能性は、データ保護と人格の自由な発展、特に保有者の肖像権との関係でリスクをもたらす。
Neste ponto, não se trata apenas da fisionomia e retrato da pessoa, ou seja, sua imagem-retrato como uma expressão externa da pessoa humana, mas também de sua imagem-atributo que está relacionada com um conjunto de características que podem ser associadas a uma pessoa em sua representação no meio social, como a honra, reputação, dignidade ou prestígio.	この時点では、人相や肖像、すなわち人間の外見的表現としてのイメージ・ポートレートだけでなく、名誉、名声、威厳、威信など、社会環境における表現において個人と関連付けられ得る一連の特徴に関連するイメージ・アトリビュートも含まれる。
Por exemplo, em uma interação com o prompt para análise de currículos, o sistema pode gerar conteúdo sintético que apresente fatos infundados e inverídicos sobre a vida pessoal do candidato, interpretações errôneas de opiniões, informações inverídicas e qualquer outro conteúdo que pode disseminar informações falsas ou prejudicar a reputação de alguém. Outro exemplo é o caso ocorrido com a atriz Taylor Swift que foi alvo de disseminação viral de imagens sexuais falsas geradas por deepfakes³².	例えば、履歴書を分析するためのプロンプトとのインタラクションにおいて、システムは、候補者の私生活に関する根拠のない事実、意見の誤った解釈、真実でない情報、その他虚偽の情報を広めたり誰かの評判を傷つけたりする可能性のあるあらゆるコンテンツを提示する合成コンテンツを生成することができる。別の例としては、女優のテイラー・スウィフトが、^{ディープフェイク32} によって生成された偽の性的画像のウイルス拡散の標的になったケースがある。
Daniel Solove (2024) se refere a esses conteúdos inverídicos gerados pela IA generativa como “materiais malevolentes”, devido à sua capacidade de amplificar casos de fraudes e outros golpes. Ele alerta, contudo, que nem sempre esses materiais são gerados de forma intencional pelo operador da IA Generativa, devido ao fenômeno da alucinação³³. A intenção pode ser um elemento importante em regimes de responsabilidade que se baseiam numa concepção de culpa subjetiva, contudo ela tem menor relevância em regimes de responsabilidade objetiva ou baseados na concepção normativa de culpa.	Daniel Solove（2024）は、生成的AIによって生成されたこのような真偽不明のコンテンツを、詐欺などの事例を増幅させる能力から「悪意のある素材」と呼んでいる。しかし彼は、幻覚現象33 のために、こうした素材が必ずしも生成的AIのオペレーターによって意図的に生成されるとは限らないと警告している。故意は、主観的過失の概念に基づく責任体制においては重要な要素となりうるが、客観的責任体制や過失の規範的概念に基づく責任体制においては、あまり関係がない。
Assim, há um desafio em definir quem deve se responsabilizar pela geração de alucinações referentes a pessoas naturais que possuam efeito danoso. Outro desafio está na conformidade com a LGPD, visto que sistemas de IA Generativa podem gerar dados pessoais sem que tenham sido especificamente treinados para essa finalidade.	したがって、有害な影響を及ぼす自然人に関する幻覚の発生について、誰が責任を負うべきかを定義することには課題がある。また、生成的AIシステムはこの目的のために特別に訓練されることなく個人データを生成することができるため、GDPRの遵守も課題となる。
28 Ciclo de vida de sistemas de IA: é um modelo que descreve a evolução e etapas de um sistema de IA, desde o início de seu desenvolvimento até a sua desativação. As etapas não são sequenciais e podem ocorrer muitas vezes de forma iterativa, tais como, gestão de riscos, correções, refinamento do modelo, implementação de melhorias e atualizações do sistema. A decisão de desativar um sistema de IA pode ocorrer em qualquer momento durante a fase de operação e monitoramento.	28 AIシステムのライフサイクル：これは、AIシステムの開発開始から廃止までの進化と段階を記述するモデルである。段階は連続的ではなく、リスク管理、修正、モデルの改良、改良の実施、システムの更新など、反復的に行われることが多い。AIシステムを廃止するという決定は、運用・監視段階であればいつでも起こりうる。
29 Pesos: variável interna de um modelo que afeta a forma de cálculo das saídas ou resultados. No caso de IA Generativa, os pesos determinam a importância relativa de diferentes entradas para o cálculo das saídas. Para isso, os pesos são ajustados iterativamente durante o processo de treinamento do modelo para capturar padrões e características dos dados de treinamento.	29 重み：出力や結果の計算方法に影響を与えるモデルの内部変数。生成的AIの場合、重みは、出力を計算するための異なる入力の相対的な重要性を決定する。そのために、モデルの学習過程で重みが反復的に調整され、学習データのパターンや特性を把握する。
30 Prompt: pode ser traduzido como entrada ou comando. Na computação o prompt é uma mensagem ou uma linha de comando em uma interface de usuário. No contexto da IA Generativa, o prompt é uma entrada de texto usada para dar instruções ao modelo de IA sobre o que fazer ou qual pergunta esse deve responder.	30 プロンプト：入力または命令と訳すことができる。コンピューティングでは、プロンプトとはユーザーインターフェイスのメッセージやコマンドラインのことである。ユーザーインターフェース。生成的AIの文脈では、プロンプトはAIモデルに何をすべきか、あるいはどのような質問に答えるべきかの指示を与えるために使用されるテキスト入力である。
31 Conteúdo sintético: conjunto de informações composta por dados sintéticos. Nesta seção, optou-se por utilizar esta expressão, para frisar que o conteúdo gerado poderá incluir dados pessoais. É importante, ainda, ter em mente que o termo “dado sintético” é utilizado tanto no campo da computação quanto na área de privacidade e proteção de dados. Na computação, os dados sintéticos podem ser utilizados no desenvolvimento e testes de sistemas de IA quando os dados reais não estão disponíveis nas quantidades necessárias, não existem ou não podem ser tratados, e para o balanceamento de bases de dados. Na área de privacidade e proteção de dados, o uso de dados sintéticos costuma estar associado às Privacy Enhancing Technologies (PETs). Neste sentido, a AEPD destaca que o dado sintético será uma técnica de PET, se usada para gerar conjuntos de dados não pessoais com a mesma utilidade que os pessoais. Note, porém, que “conteúdos sintéticos” não são gerados com a finalidade de anonimização.	31 合成コンテンツ：合成データで構成された情報の集合。このセクションでは、生成されるコンテンツに個人データが含まれる可能性があることを強調するために、この表現を使用することにした。また、「合成データ」という用語は、コンピューティングの分野でも、プライバシーとデータ保護の分野でも使われることを念頭に置くことも重要である。コンピューティングの分野では、実データが必要量入手できない場合、存在しない場合、処理できない場合、データベースのバランスをとる場合などに、AIシステムの開発やテストに合成データを使用することができる。プライバシーとデータ保護の分野では、合成データの利用はプライバシー向上技術（PETs）と関連付けられることが多い。この意味で、EDPSは、個人データと同じ有用性を持つ非個人データのセットを生成するために合成データが使用される場合、合成データはPET技術となることを強調している。ただし、「合成コンテンツ」は匿名化を目的として生成されるものではないことに留意されたい。
32 Deepfakes: o termo deepfake é derivado do termo deep learning e fake, ou seja, aprendizado profundo e falso, em português. O termo descreve o conteúdo realístico manipulado como fotos e vídeos gerados pelo aprendizado profundo.	32 ディープフェイク（Deepfake）：ディープフェイクという用語は、ディープラーニング（深層学習）とフェイク（偽物）という用語に由来する。この用語は、ディープラーニングによって生成された写真や動画など、リアルに操作されたコンテンツを表す。
33 Alucinação: o termo alucinação em Modelos de Linguagem em Larga Escala (MLLEs) são caracterizados por conteúdo gerado que não é representativo, verídico ou não faz sentido em relação à fonte fornecida, por exemplo, devido a erros na codificação e decodificação entre texto e representações. No entanto, deve-se notar que a alucinação artificial não é um fenômeno novo (BEUTEL, GEERITS e KIELSTEIN, 2003).	33 幻覚：大規模言語モデル（Large-Scale Language Models：LSML）における幻覚という用語は、例えばテキストと表現の間の符号化および復号化におけるエラーのために、代表的でない、真実でない、または提供されたソースとの関連で意味をなさない、生成されたコンテンツによって特徴づけられる。しかし、人為的な幻覚は新しい現象ではないことに留意すべきである（BEUTEL, GEERITS and KIELSTEIN, 2003）。
iii) Compartilhamento	iii) 共有
Em virtude da abrangência do conceito de compartilhamento no tratamento de dados pessoais, que pode ser visto por diferentes perspectivas, o estudo dividiu o compartilhamento em três etapas: (1) compartilhamento de dados pelo usuário do sistema de IA Generativa que pode ser ou não o titular de dados; (2) compartilhamento dos resultados obtidos por meio da interação com o prompt em sistemas de IA Generativa com dados pessoais por terceiros; e (3) compartilhamento do modelo pré-trei-nado com dados pessoais.	個人データの処理における共有の概念は、様々な観点から捉えることができる範囲を考慮し、本研究では共有を3つの段階に分けた：(1)データ主体であるか否かを問わない生成的AIシステムのユーザーによるデータの共有、(2)生成的AIシステムにおけるプロンプトとの対話を通じて得られた結果の第三者による個人データとの共有、(3)事前学習済みモデルの個人データとの共有。
1. Compartilhamento de dados pelo usuário do sistema de IA Generativa que pode ser ou não o titular de dados	1. データ主体であるか否かを問わない生成的AIシステムの利用者によるデータの共有
Em primeiro lugar, cabe aqui refletir sobre o compartilhamento de novos dados pessoais por usuários que interagem com esses sistemas (sejam usuários na posição de titular de dados ou na de agentes de tratamento34) a partir de prompts de comando.	まず、コマンドプロンプトからこれらのシステムと対話するユーザー（データ主体の立場にあるユーザーであれ、処理代理人34の立場にあるユーザーであれ）による新たな個人データの共有について考察する価値がある。
O prompt dos atuais sistemas de IA Generativa possibilita compartilhar uma vasta gama de dados para a geração de respostas. Com a evolução dos sistemas, a funcionalidade do prompt foi aprimorada e passou a comportar a inclusão de anexos em diferentes formatos. Logo, os usuários podem fornecer instruções e adicionar documentos que implicam diretamente no compartilhamento e tratamento de dados.	今日の生成的AIシステムは、回答を生成するために様々なデータを共有することを可能にしている。システムの進化に伴い、プロンプトの機能は改善され、現在ではさまざまな形式の添付ファイルを含めることができる。ユーザーは、データの共有や処理に直接関わる指示を出したり、文書を追加したりすることができる。
As instruções fornecidas pelos usuários podem incluir uma diversidade de informações, como trechos de documentos, mensagens de texto, e-mails, comentários e opiniões disponíveis em diferentes plataformas, detalhes de experiências pessoais, pesquisas acadêmicas, histórico de compras, interações com clientes, registros médicos, dúvidas e relatos sobre procedimentos médicos, entre outros, que podem apresentar dados pessoais e dados pessoais sensíveis.	ユーザーが提供する指示には、文書からの抜粋、テキストメッセージ、電子メール、さまざまなプラットフォームで利用可能なコメントや意見、個人的な経験の詳細、学術研究、購入履歴、顧客とのやりとり、医療記録、医療処置に関する質問や報告書など、さまざまな情報を含めることができ、個人データや機密性の高い個人データを提示することができる。
Adicionalmente, os usuários podem ter a opção de anexar diferentes tipos de documentos em sua integralidade de modo a ampliar a interação e a capacidade de tratamento de dados. Sendo assim, documentos empresariais confidenciais, receitas e laudos médicos, documentos públicos como escrituras e procurações, atas de reuniões, tabelas, figuras, entre outros, podem ser anexados a fim de receber como resultado uma análise, interpretação ou qualquer outro questionamento que o usuário considere pertinente. Assim, as informações disponibilizadas ao prompt são utilizadas para o aprendizado do contexto.	加えて、ユーザーは、相互作用とデータ処理能力を拡大するために、さまざまな種類の文書をそのまま添付することができる。したがって、機密のビジネス文書、処方箋、医療報告書、証書や委任状などの公的文書、会議の議事録、表、図などを添付して、ユーザーが適切と考える分析、解釈、その他の質問を受けることができる。このようにして、プロンプトが利用可能にした情報は、文脈を知るために利用される。
Um aspecto relevante sobre os MLLE refere-se à geração de respostas personalizadas. As informações fornecidas no prompt são utilizadas para modelar as respostas dentro do contexto, de modo que o contexto da resposta anterior pode ser utilizado para responder uma pergunta posterior dentro do mesmo assunto.	MLLEの関連する側面は、パーソナライズされた回答の生成である。プロンプトで提供された情報は、コンテキストの中で回答をモデル化するために使用され、前の回答のコンテキストが同じテーマに関する次の質問に回答するために使用できる。
O agente de tratamento e o titular de dados, em muitos casos, podem não ter o conhecimento sobre os riscos envolvidos neste compartilhamento de informações ou confiar no sistema em virtude dos benefícios proporcionados pelos resultados ou assistência recebida. Além disso, se uma pessoa natural, usuário do sistema de IA, compartilha dados pessoais de outros titulares com o sistema de IA Generativa, ele poderá, a depender do contexto, ser considerado um agente de tratamento.	処理代理人およびデータ対象者は、多くの場合、このような情報共有に伴うリスクに気づいておらず、また結果や支援によってもたらされる利益のためにシステムを信頼していない可能性がある。さらに、AIシステムのユーザーである自然人が、他のデータ主体の個人データを生成的AIシステムと共有する場合、文脈によっては、そのデータ主体が処理エージェントとみなされる可能性がある。
Dentro desse aspecto, os sistemas devem ser desenvolvidos de modo a proteger a privacidade dos usuários em interações que podem envolver o compartilhamento de dados pessoais no prompt. Outro aspecto relevante é a ausência de informações claras e facilmente acessíveis sobre o tratamento dos dados pessoais disponibilizados no prompt.	この点で、システムは、個人データを共有する可能性のあるインタラクションにおいて、ユーザーのプライバシーを保護するように開発されなければならない。また、プロンプトで利用可能な個人データの処理について、明確で簡単にアクセスできる情報が不足していることも問題である。
A transferência de responsabilidade sobre a proteção de dados pessoais para o usuário a fim de garantir o uso adequado de sistemas de IA Generativa que adotam MLLE não parece ser suficiente para lidar com as consequências atualmente existentes do compartilhamento de dados pessoais via prompt de comando.	MLLEを採用した生成的AIシステムの適切な使用を保証するために、個人データの保護に関する責任をユーザーに転嫁することは、コマンドプロンプトを介して個人データを共有することから現在存在する結果に対処するのに十分ではないように思われる。
34 Agentes de tratamento: o controlador e o operador. Controlador: pessoa natural ou jurídica, de direito público ou privado, a quem competem as decisões referentes ao tratamento de dados pessoais. Operador: pessoa natural ou jurídica, de direito público ou privado, que realiza o tratamento de dados pessoais em nome do controlador.	34 処理代理人：管理者およびオペレーター。管理者：公法または私法に準拠する自然人または法人で、個人データの処理に関する決定に責任を負う。オペレーター：管理者に代わって個人データの処理を行う、公法または私法に準拠する自然人または法人。
2. Compartilhamento dos resultados obtidos por meio da interação com o prompt em sistemas de IA Generativa com dados pessoais por terceiros	2. 生成的AIシステムにおけるプロンプトとの対話によって得られた結果の第三者による個人情報の共有
Sistemas de IA Generativa podem permitir que dados pessoais sejam compartilhados com terceiros, quando esses dados compõem o conteúdo sintético gerado por estes sistemas.	生成的AIシステムによって生成される合成コンテンツが個人データで構成されている場合、生成的AIシステムは個人データを第三者と共有することができる。
Nesse caso, as observações mencionadas na seção anterior (Processamento) devem ser observadas com atenção, principalmente considerando o risco de os dados compartilhados serem reutilizados para finalidades secundárias que dificilmente o desenvolvedor do sistema de IA Generativa conseguirá controlar.	この場合、特に、共有されたデータが、生成的AIシステムの開発者が管理しにくい二次的な目的に再利用されるリスクを考慮し、前節（処理）で述べた注意事項を注意深く守る必要がある。
Estabelecer uma cadeia de responsabilidade entre os diferentes agentes envolvidos nesse compartilhamento de dados pessoais se torna um ponto relevante para garantir conformidade à LGPD, embora desafiador.	このような個人データの共有に関与する異なるエージェント間の責任の連鎖を確立することは、困難ではあるが、LGPDの遵守を確保するための関連事項となる。
3. Compartilhamento do modelo pré-treinado com dados pessoais	3. 事前学習済みモデルと個人データの共有
Como os modelos pré-treinados podem ser considerados um reflexo da base de dados utilizada no treinamento, a popularização de criação de APIs³⁵ que adotam modelos fundacionais como os MLLE pré-treinados, traz um novo desafio. O compartilhamento de modelos tende a envolver também os dados que estão matematicamente presentes neles.	訓練済みモデルは、訓練に使用されたデータベースの反映であると考えられるため、訓練済みMLLEのような基礎モデルを採用する^API35の作成が一般化することは、新たな課題をもたらす。モデルを共有することは、数学的に存在するデータも共有することになる。
Este tipo de compartilhamento permite o desenvolvimento de aplicações independentes que realizam um ajuste fino ou refinamento do modelo fundacional36, por meio do treinamento com um conjunto de dados específicos para o domínio pretendido.	この種の共有は、意図された領域に特化した一連のデータで基礎モデル36 を訓練することで、基礎モデルの微調整や改良を行う独立したアプリケーションの開発を可能にする。
Ao relacionar o refinamento do modelo fundacional, com a possibilidade de uso dos resultados obtidos por meio da interação com o prompt para a geração de bases de treinamento para o refinamento, a existência de dados pessoais permite um ciclo contínuo de tratamento, como será descrito no tópico seguinte (Eliminação).	基礎モデルの改良を、改良のための訓練ベースを生成するために、プロンプトとのインタラクションを通じて得られた結果を使用する可能性とリンクさせることによって、個人データの存在は、次のトピック（消去）で説明されるように、処理の継続的なサイクルを可能にする。
O compartilhamento de modelos fundacionais que foram treinados com dados pessoais, bem como o uso desses dados para seu refinamento, pode envolver riscos relacionados à proteção de dados a depender da finalidade desejada.	個人データで訓練された基礎モデルを共有すること、およびこのデータを改良のために使用することは、意図する目的によってはデータ保護リスクを伴う可能性がある。
35 APIs: sigla para Application Programming Interface, em português, Interface de Programação de Aplicações; uma forma de permitir, por intermédio de programas de software, a interação entre diferentes aplicativos e extrair dados.	35 API：Application Programming Interface（アプリケーション・プログラミング・インターフェース）の頭字語。ソフトウェア・プログラムを通じて異なるアプリケーション間の相互作用やデータの抽出を可能にする方法である。
36 Refinamento do modelo fundacional: Em inglês fine tuning é uma técnica que pode ocorrer no Aprendizado de Máquina para o ajuste de um modelo que já foi treinado por um grande conjunto de dados para seu uso em um domínio específico. O ajuste ocorre por meio de um novo treinamento com um conjunto de dados mais restrito.	36 基礎モデルの改良：ファイン・チューニングとは、機械学習において、特定の領域で使用するために大量のデータセットですでに訓練されたモデルを調整するために行われる技術である。チューニングは、より限定されたデータセットで再トレーニングすることによって行われる。
iv) Eliminação	iv) 削除
A etapa de eliminação é aquela na qual o dado pessoal ou o conjunto de dados armazenados em banco de dados são eliminados ao término do seu tratamento.	削除段階は、データベースに保存された個人データまたは一連のデータが、その処理の終了時に削除される段階である。
A definição do término do tratamento de dados pessoais em sistemas de IA Generativa precisa considerar três novos elementos relevantes: a geração de conteúdo sintético, a interação com o prompt que permite o compartilhamento de novos dados e o refinamento contínuo do modelo.	生成的AIシステムにおける個人データ処理の終了の定義は、3つの新たな関連要素、すなわち、合成コンテンツの生成、新たなデータの共有を可能にするプロンプトとの相互作用、モデルの継続的な改良を考慮に入れる必要がある。
Essa integração de elementos em um único sistema de IA Generativa pode apresentar dados pessoais. Esse novo contexto tecnológico pode resultar na possibilidade de tratamento contínuo de dados pessoais e exige novas abordagens.	一つの生成的AIシステムにおけるこの要素の統合は、個人データを提示することができる。この新たな技術的背景は、個人データの継続的処理の可能性をもたらし、新たなアプローチを必要とする。
Desse modo, há um desafio em delimitar o fim do período de tratamento, bem como se a finalidade ou necessidade foram alcançadas, além de dificuldades relacionadas com efetivação da revogação do consentimento do titular em sistemas de IA Generativa (caso essa hipótese legal seja utilizada).	したがって、（この法的仮説が使用される場合）ジェネレーティブAIシステムにおけるデータ主体の同意の効果的な取り消しに関する困難さに加えて、処理期間の終了の区切りや、目的または必要性が達成されたかどうかの課題がある。
Assim, é importante observar o princípio da responsabilização e prestação de contas (art. 6º, X) por todos os atores da cadeia produtiva de sistemas de IA Generativa, enquanto esses dados pessoais não tenham sido terminantemente eliminados.	したがって、個人情報が完全に排除されていない限り、生成的AIシステムの生産チェーンにおけるすべての関係者の責任と説明責任の原則（第6条X）を遵守することが重要である。
Em suma, todo o ciclo de vida do tratamento de dados pessoais e o uso de elementos da Inteligência Artificial Generativa devem ser compatíveis com direitos e liberdades dos indivíduos, de modo que os direitos e princípios que orientam a LGPD sejam observados.	要するに、個人データ処理のライフサイクル全体と生成的人工知能の要素の使用は、個人の権利と自由に適合していなければならず、LGPDの指針となる権利と原則が遵守されなければならない。
A IA Generativa e os princípios da LGPD	生成的AIとLGPDの原則
Em relação aos princípios é possível realizar alguns apontamentos. O princípio da transparência requer informações claras, precisas e facilmente acessíveis aos titulares de dados. É comum que os titulares de dados não sejam informados sobre a raspagem de seus dados na web, a inclusão de seus dados pessoais nas bases de treinamento dos modelos, bem como da possibilidade de que interações com o prompt envolvam o compartilhamento de seus dados pessoais ou de terceiros. Portanto, é comum observar a ausência de disponibilização de documentação técnica e não técnica detalhada sobre o tratamento de dados pessoais em diferentes sistemas de IA Generativa.	原則に関しては、いくつかの指摘ができる。透明性の原則は、データ主体が明確で正確かつ容易にアクセスできる情報を必要とする。データ主体が、ウェブ上で自分のデータをスクレイピングすること、モデルの学習ベースに自分の個人データを含めること、プロンプトとのインタラクションが自分や第三者の個人データを共有する可能性について知らされていないことはよくあることである。そのため、さまざまな生成的AIシステムにおける個人データの取り扱いに関する詳細な技術的・非技術的文書が存在しないことがよくある。
A existência de documentação técnica detalhada seria um ponto inicial para a verificação de conformidade em relação à proteção de dados e às fontes de dados utilizadas, agregadas e filtradas, de modo a evidenciar as técnicas ou práticas adotadas que podem conduzir a não utilização de dados pessoais. Da mesma forma, a produção de documentação adequada poderia auxiliar no monitoramento dos sistemas de IA Generativa em seu ciclo de vida, de modo a identificar melhorias e permitir o exercício de direitos, no caso de existência de dados pessoais. A documentação poderia reduzir os riscos relacionados a aplicações que envolvem o tratamento de dados pessoais e garantir a transparência.	詳細な技術文書が存在すれば、データ保護に関するコンプライアンス、使用されるデータソース、集計、フィルタリングを検証するための出発点となり、個人データが使用されないことにつながる可能性のある技術や慣行が採用されていることを明らかにすることができる。同様に、適切な文書を作成することは、個人データが存在する場合に改善を特定し、権利行使を可能にするために、生成的AIシステムをそのライフサイクル全体を通して監視するのに役立つだろう。文書化は、個人データの処理を伴うアプリケーションに関するリスクを軽減し、透明性を保証することができる。
Por sua vez, o princípio da necessidade apresenta um desafio adicional relacionado ao uso de grandes bases de dados em modernos sistemas de IA Generativa no atendimento ao critério de limitação ao tratamento mínimo necessário para o alcance da finalidade. O princípio não indica uma proibição em relação ao treinamento de sistemas de IA Generativa com grandes volumes de dados, mas envolve reflexões e cuidados antes do treinamento, para evitar a existência de dados pessoais não úteis nas bases de treinamento, bem como inseridos posteriormente por meio do prompt ou de anexos.	一方、必要性の原則は、目的を達成するために必要な最小限の処理に限定するという基準を満たす上で、現代の生成的AIシステムにおける大規模なデータベースの使用に関連する新たな課題を提示している。この原則は、大量のデータを用いた生成的AIシステムのトレーニングの禁止を示すものではないが、トレーニングベースでは有用でない個人データが存在し、プロンプトや添付ファイルを介して後から挿入されることを避けるために、トレーニングの前に熟慮と注意が必要である。
De maneira similar, embora os demais princípios da LGPD também não proíbam o crescimento e a inovação no campo da IA Generativa, trazem aspectos que precisam ser observados para o desenvolvimento e uso responsável dessas tecnologias. Afinal, é necessário garantir o desenvolvimento responsável e o pleno progresso da Inteligência Artificial Generativa em diferentes áreas em conjunto com o respeito à privacidade e proteção de dados em todo o seu ciclo de vida.	同様に、LGPDの他の原則も、生成的AIの分野における成長と革新を禁止するものではないが、これらの技術の開発と責任ある使用のために遵守すべき側面をもたらす。結局のところ、様々な分野におけるジェネレーティブ人工知能の責任ある発展と完全な進歩を、そのライフサイクル全体を通してプライバシーとデータ保護の尊重と合わせて保証することが必要なのである。

2024.12.18 08:14 in 個人情報保護 / プライバシー, in 法律 / 犯罪, in AI/Deep Learning | Permalink | Comments (0)
Tweet

2024.12.17

ユネスコ合成コンテンツとAI政策への示唆 - 入門編 (2024)

こんにちは、丸山満彦です。

ユネスコが、合成コンテンツとAI政策への示唆 - 入門編を公表しています。

合成コンテンツとそれを容易に大量に生成できるAIの問題と考えるとよいのかもしれません。

そういう意味でいつと、

生成AIの問題というのは、

・生成のロジックをつくる（学習）の問題＝著作権、プライバシー、データの質（バイアス、偽・誤情報等）...

・問い合わせる際（プロンプト入力時）の問題＝データ・セキュリティ

・生成されたコンテンツの問題＝著作権、プライバシー、データの質（バイアス、偽・誤情報等）

・コンテンツを生成するという行為からくる問題＝電力、雇用、教育、人間の創造性・成長、富の再分配等

という整理の仕方もありだなぁ...と思いました。。。

● UNESCO

・Synthetic content and its implications for AI policy: a primer

・[PDF]　Downloaded

・[DOCX][PDF] 一部仮訳

2024.12.17 10:33 in 個人情報保護 / プライバシー, in 法律 / 犯罪, in 内部統制 / リスクマネジメント, in AI/Deep Learning, in 安全保障 | Permalink | Comments (0)
Tweet

英国 ICO 生成的AIに関するコンサルテーションに対する情報コミッショナー事務局の回答：生成的AIの開発者たちよ、あなたたちが人々の情報をどのように使っているのか伝える時だ(2024.12.12)

こんにちは、丸山満彦です。

このブログでも紹介したのですが...英国の情報コミッショナー事務局が今年の1月に開始したコンサルテーション（意見募集）に対する回答が公表されていますね...

生成AIモデルを訓練するためにウェブでスクレイピングされたデータの合法的な根拠と、生成AIモデルへの個人の権利のエンジニアリングについて、ICOの立場を明確にしたということですね...

どのように個人情報が収集されたかを理解できるように、人々に伝えなければ、透明性が欠如し、せっかくの生成的AIを合法的に使っているかどうかがわからなくなるため、利用がすすまない...

ということのようですね...

たしかに、合法か違法かがわかりにくいと萎縮しますよね...

日本の個人情報保護委員会も「生成AIサービスの利用に関する注意喚起等」は5月にしていますが、プロンプト入力をした個人情報の利用に関する話で、スクレイピングについては触れていなかったように思いますが、これからどのようなガイド等を公表していくのでしょうかね...

● U.K. Information Commissioner's Office; ICO

ブログ...

・ 2024.12.12 Generative AI developers, it’s time to tell people how you’re using their information

Generative AI developers, it’s time to tell people how you’re using their information	生成的AI開発者よ、あなたが彼らの情報をどのように使用しているかを人々に伝える時だ
In January we launched our consultation series on data protection in generative AI, receiving over 200 quality responses from stakeholders. We are today publishing our outcomes report which details our policy positions on generative AI and sets out what further work is still needed by industry.	1月、我々は生成的AIにおけるデータ保護に関するコンサルテーション・シリーズを開始し、関係者から200を超える質の高い回答を得た。我々は本日、生成的AIに関する我々の政策的立場を詳述し、産業界がさらにどのような作業を行う必要があるかを示した成果報告書を発表する。
We looked at five areas which resulted in us refining our position in two key areas: the lawful basis for web scraped data to train generative AI models and the engineering of individual rights into generative AI models. We found a serious lack of transparency, especially in relation to training data within the industry, which our consultation responses show is negatively impacting the public’s trust in AI.	我々は5つの分野について検討し、その結果、2つの重要な分野、すなわち、生成的AIモデルを訓練するためにウェブスクレイピングされたデータの合法的根拠と、生成的AIモデルへの個人の権利のエンジニアリングについて、我々の立場を洗練させることになった。私たちは、特に業界内のトレーニングデータに関する透明性の深刻な欠如を発見し、私たちのコンサルテーションへの回答が、AIに対する一般の人々の信頼に悪影響を及ぼしていることを示した。
Generative AI developers, it’s time to tell people how you’re using their information. This could involve providing accessible and specific information that enables people and publishers to understand what personal information has been collected. Without better transparency, it will be hard for people to exercise their information rights and hard for developers to use legitimate interests as their lawful basis.	生成的AI開発者たちよ、今こそ、彼らの情報をどのように使用しているかを人々に伝える時だ。これには、どのような個人情報が収集されたかを人々やパブリッシャーが理解できるように、アクセス可能で具体的な情報を提供することが含まれる。透明性が向上しなければ、人々は情報の権利を行使することが難しくなり、開発者は正当な利益を合法的な根拠として使用することが難しくなる。
We have been clear in our view that generative AI offers great potential for the UK and the opportunity must be realised in a responsible way that appropriately considers data protection law. We have engaged openly to develop our positions. We have also been clear that there is no excuse for generative AI developers not to embed data protection by design into products from the start.	我々は、生成的AIは英国に大きな可能性を提供し、その機会はデータ保護法を適切に考慮した責任ある方法で実現されなければならないという見解を明確にしてきた。我々の立場を発展させるために、オープンに関与してきた。また、生成的AIの開発者が最初からデータ保護を製品に組み込まない言い訳はできないことも明確にしてきた。
Our engagement is ongoing, and global, and we continue to work with government, other digital regulators and our international counterparts to play our part in safeguarding people and enabling responsible innovation.	我々の関与は継続的かつグローバルであり、政府、他のデジタル規制当局、国際的なカウンターパートと協力し、人々を保護し、責任あるイノベーションを可能にするための役割を果たし続ける。
I encourage firms looking to innovate responsibly to get advice from us through our Regulatory Sandbox and Innovation Advice service, as well as from other regulators through the DRCF AI & Digital Hub.	責任あるイノベーションを行おうとする企業には、我々の規制サンドボックスやイノベーション・アドバイス・サービスを通じて、またDRCFのAI＆デジタル・ハブを通じて他の規制当局からアドバイスを受けることを勧める。
Our report provides regulatory clarity and certainty which will enable responsible AI developers to thrive. We will now focus our attention on organisations that are not doing enough.	我々の報告書は、責任あるAI開発者の繁栄を可能にする規制の明確性と確実性を提供するものである。我々は今後、十分な取り組みを行っていない組織に注目していく。

・Information Commissioner’s Office response to the consultation series on generative AI

目次...

Information Commissioner’s Office response to the consultation series on generative AI	生成的AIに関するコンサルテーション・シリーズに対する情報コミッショナー事務局の回答
Background	背景
Executive summary	エグゼクティブサマリー
Context	コンテクスト
Tackling misconceptions	誤解への取り組み
The lawful basis for web scraping to train generative AI models	生成的AIモデルを訓練するためのウェブスクレイピングの合法的根拠
Purpose limitation in the generative AI lifecycle	生成的AIのライフサイクルにおける目的制限
Accuracy of training data and model outputs	訓練データとモデル出力の正確性
Engineering individual rights into generative AI models	生成的AIモデルへの個人の権利のエンジニアリング
Allocating controllership across the generative AI supply chain	生成的AIのサプライチェーン全体にわたる管理権の割り当て
Next steps	次のステップ
Glossary	用語集
Annex: Summary of impact responses	附属書：影響回答の要約
Views on the impacts of our proposals	我々の提案の影響に関する見解
Further exploration of impact feedback	影響フィードバックのさらなる調査
Actioning the impact feedback	影響フィードバックへの対応

背景...

Background	背景
As part of the ICO’s work on artificial intelligence (AI) regulation, we have been quick to respond to emerging developments in generative AI, engaging with generative AI developers, adopters and affected stakeholders. In April 2023, we set out questions that developers and deployers needed to ask1. In January 2024, we launched our five-part generative AI consultation series2, which this consultation response summarises.	人工知能（AI）規制に関するICOの作業の一環として、我々は生成的AIの新たな進展にいち早く対応し、生成的AIの開発者、採用者、影響を受ける利害関係者と関わってきた。2023年4月、ICOは開発者や導入者が問うべき質問を提示した1。2024年1月、我々は5部構成の生成的AIコンサルテーションシリーズ2を開始した。
The series set out to address regulatory uncertainties about how specific aspects of the UK General Data Protection Regulations (UK GDPR) and the Data Protection Act (DPA) 2018 apply to the development and use of generative AI. It did that by setting out our initial analysis of these areas, along with the positions we wanted to consult on.	このシリーズは、英国一般データ保護規則（英国GDPR）とデータ保護法（DPA）2018の特定の側面が生成的AIの開発と使用にどのように適用されるかについての規制上の不確実性に対処することを目的としている。これは、これらの領域に関する我々の初期分析を、我々が協議したい立場とともに示すことによって行われた。
What follows is a summary of the key themes that emerged from the responses to the consultation. This summary is not intended to be a comprehensive record of all the views expressed, nor a response to all individual points raised by respondents.	以下は、コンサルテーションへの回答から浮かび上がった主要テーマの要約である。この要約は、表明されたすべての意見の包括的な記録であることを意図したものではなく、また、回答者から提起された個々の指摘すべてに対する回答でもない。
In addition to summarising feedback, this consultation response sets out our analysis on how specific areas of data protection law apply to generative AI systems. This response does not cover the entirety of our regulatory expectations (these are covered in more detail in our core guidance on AI and data protection)3. This response does provide clear views on the application of data protection law to specific issues. In due course, we will be updating our existing guidance to reflect the positions detailed in this response.	フィードバックの要約に加え、本協議への回答は、データ保護法の特定の分野が生成的AIシステムにどのように適用されるかについての我々の分析を示している。本回答は、我々の規制上の期待事項の全てをカバーするものではない（これらは、AIとデータ保護に関するコアガイダンスでより詳細にカバーされている）3。本回答は、特定の問題に対するデータ保護法の適用に関する明確な見解を提供するものである。いずれ、本回答に詳述された立場を反映させるべく、既存のガイダンスを更新する予定である。
The response also flags areas where we think further work is needed to develop and inform our thinking. We also recognise that the upcoming data reform legislation4 may have an impact on the positions set out in this paper.	また、本回答では、我々の考え方を発展させ、情報を提供するためにさらなる作業が必要と思われる分野についても指摘している。また、今後予定されているデータ改革法4が、本稿で示した見解に影響を与える可能性があることも認識している。
1 Generative AI: eight questions that developers and users need to ask	1 生成的AI：開発者とユーザーが問うべき8つの質問
2 ICO consultation series on generative AI and data protection	2 生成的AIとデータ保護に関するICOコンサルテーション・シリーズ
3 Artificial intelligence	3 人工知能
4 See the Data (Use and Access) (DUA) Bill	4 データ（利用とアクセス）（DUA）法案を参照

エグゼクティブサマリー...

Executive summary	エグゼクティブサマリー
Our consultation series on generative AI and data protection covered five key areas:	生成的AIとデータ保護に関する我々のコンサルテーション・シリーズは、5つの主要分野を取り上げた：
・The lawful basis for web scraping to train generative AI models.5	・生成的AIモデルを訓練するためのウェブスクレイピングの合法的根拠5
・Purpose limitation in the generative AI lifecycle.6	・生成的AIのライフサイクルにおける目的制限6
・Accuracy of training data and model outputs.7	・訓練データとモデル出力の精度7
・Engineering individual rights into generative AI models.8	・生成的AIモデルへの個人の権利のエンジニアリング8
・Allocating controllership across the generative AI supply chain.9	・生成的AIのサプライチェーン全体における管理権の割り当て9
In total, we received 192 responses from organisations and 22 from members of the public. The majority of the responses came from the creative industries, trade or membership bodies, the technology sector (including ‘big tech’ firms) and law firms. In addition, we also held roundtable sessions with civil society, creative industries and technology firms.	合計で、組織から192件、一般市民から22件の回答を得た。回答の大半は、クリエイティブ産業、業界団体または会員制団体、テクノロジー・セクター（「ビッグ・テック」企業を含む）、法律事務所からのものであった。さらに、市民社会、クリエイティブ産業、テクノロジー企業との円卓会議も開催した。
Many of the responses were highly detailed. They often combined evidence (eg technical explanations of generative AI), analysis (eg interpretations of the application of data protection law) and arguments (eg the negative or positive effects of generative AI on a particular stakeholder).	回答の多くは非常に詳細であった。それらはしばしば、証拠（生成的AIの技術的説明など）、分析（データ保護法の適用法の解釈など）、議論（特定の利害関係者に対する生成的AIの否定的または肯定的な影響など）を組み合わせたものであった。
We are grateful to those who responded to the consultation. We are also grateful to those who were willing to discuss these issues in further detail with us. In particular, thank you to the British Screen Forum, the Ada Lovelace Institute and TechUK for facilitating roundtable discussions with the creative sector, civil society and the technology sector respectively. We also thank colleagues at the French data protection authority, the CNIL, for sharing their insights on this issue.	本協議にご回答いただいた方々に感謝する。また、これらの問題について私たちとさらに詳しく議論してくださった方々にも感謝する。特に、それぞれクリエイティブ・セクター、市民社会、テクノロジー・セクターとの円卓会議を進行してくれた英国スクリーン・フォーラム、エイダ・ラブレス研究所、TechUKに感謝する。また、フランスのデータ保護当局であるCNILの同僚の方々にも、この問題に関する見識を共有していただいたことに感謝する。
Summary of positions after consultation	コンサルテーション後の立場のまとめ
The following points set out our positions after reviewing the consultation responses:	以下の点は、コンサルテーション回答を検討した後の我々の立場を示したものである：
We retained our position on purpose limitation,10 accuracy11 and controllership.12	私たちは、目的制限、10正確性、11管理責任に関する立場を維持した。
We updated our position on the legitimate interests lawful basis for web scraping to train generative AI models.13	私たちは、生成的AIモデルの訓練を目的としたウェブスクレイピングの正当な利益に関する立場を更新した。
・We heard that data collection methods other than web scraping exist, which could potentially support the development of generative AI. For example, where publishers collect personal data directly from people and license this data in a transparent way. It is for developers to demonstrate the necessity of web scraping to develop generative AI. We will continue to engage with developers and generative AI researchers on the extent to which they can develop generative AI models without using web-scraped data.	・ウェブスクレイピング以外のデータ収集方法も存在し、生成的AIの開発を潜在的に支援できる可能性があることを私たちは耳にした。例えば、パブリッシャーが人々から直接個人データを収集し、透明性のある方法でこのデータをライセンス供与する場合などである。生成的AIの開発にウェブスクレイピングが必要であることを示すのは開発者の役割である。私たちは、開発者および生成的AIの研究者がウェブスクレイピングされたデータを使用せずに生成的AIモデルを開発できる範囲について、引き続き彼らと協議していく。
・Web scraping is a large-scale processing activity that often occurs without people being aware of it. This sort of invisible processing poses particular risks to people’s rights and freedoms. For example, if someone doesn’t know their data has been processed, they can’t exercise their information rights. We received minimal evidence on the availability of mitigation measures to address this risk. This means that, in practice, generative AI developers may struggle to demonstrate how their processing meets the requirements of the legitimate interests balancing test. As a first step, we expect generative AI developers to significantly improve their approach to transparency. For example, they could consider what measures they can provide to protect people’s rights, freedoms and interests. This could involve providing accessible and specific information that enables people and publishers to understand what personal data the developer has collected. We also expect them to test and review these measures.	・ウェブスクレイピングは、人々が気づかないうちに実行されることが多い大規模な処理活動である。このような目に見えない処理は、人々の権利や自由に対して特にリスクをもたらす。例えば、データが処理されたことに気づかなければ、情報に関する権利を行使することができない。このリスクに対処するための緩和措置の存在を示す証拠はほとんど得られなかった。つまり、実際には、生成的AIの開発者は、その処理が正当な利益のバランステストの要件を満たしていることを実証するのに苦労する可能性がある。第一歩として、生成的AIの開発者には透明性へのアプローチを大幅に改善することを期待する。例えば、人々の権利、自由、利益を保護するためにどのような措置を講じることができるかを検討することができる。これには、開発者が収集した個人データがどのようなものかを人々や発行者が理解できるように、アクセス可能な具体的な情報を提供することが含まれる可能性がある。また、これらの対策をテストし、見直すことも期待している。
・We received evidence that some developers are using licences and Terms of Use (ToU) to ensure deployers are using their models in a compliant way. However, to provide this assurance, developers will need to demonstrate that these documents and agreements contain effective data protection requirements, and that these requirements are met.	・一部の開発者が、ライセンスや利用規約（ToU）を使用して、デプロイヤーがモデルを準拠した方法で使用していることを確認しているという証拠を得た。しかし、このような保証を提供するためには、開発者はこれらの文書や契約に効果的なデータ保護要件が含まれていること、そしてこれらの要件が満たされていることを実証する必要がある。
We updated our position on engineering individual rights into generative AI models, as set out in the consultation chapter four.14	私たちは、コンサルテーションの第4章で述べたように、個人の権利を生成的AIモデルに組み込むことに関する見解を更新した。
・Organisations acting as controllers must design and build systems that implement the data protection principles effectively and integrate necessary safeguards into the processing. This would put organisations in a better place to comply with the requirement to facilitate people’s information rights.	・管理者として行動する組織は、データ保護の原則を効果的に実施するシステムを設計・構築し、必要な保護措置を処理に統合しなければならない。これにより、人々の情報に関する権利を促進するという要件を遵守する上で、組織はより良い立場に立つことができる。
・Article 11 (on processing which does not require identification) may have some relevance in the context of generative AI. However, organisations relying on it need to demonstrate that their reliance is appropriate and justified. For example, they must demonstrate they are not able to identify people. They must also give people the opportunity to provide more information to enable identification.	・第11条（識別を必要としない処理）は、生成的AIの文脈において、ある程度関連性があるかもしれない。しかし、これに依存する組織は、その依存が適切かつ正当であることを証明する必要がある。例えば、個人を識別できないことを証明しなければならない。また、個人に識別を可能にするための追加情報を提供する機会を与える必要もある。
5 Generative AI first call for evidence: The lawful basis for web scraping to train generative AI models	5 生成的AIに関する最初の証拠提出要請：生成的AIモデルのトレーニングにおけるウェブスクレイピングの適法な根拠
6 Generative AI second call for evidence: Purpose limitation in the generative AI lifecycle	6 生成的AIに関する第2回目の証拠提出要請：生成的AIライフサイクルにおける目的の制限
7 Generative AI third call for evidence: accuracy of training data and model outputs	7 生成的AIに関する第3回目の証拠提出要請：トレーニングデータとモデル出力の精度
8 Generative AI fourth call for evidence: engineering individual rights into generative AI models	8 生成的AIに関する第4回目の証拠提出要請：生成的AIモデルへの個人の権利の組み込み
9 Generative AI fourth call for evidence: engineering individual rights into generative AI models	9 生成的AIに関する第4回目の証拠提出要請：生成的AIモデルへの個人の権利の組み込み
10 Generative AI second call for evidence	10 生成的AIに関する第2回目の証拠提出要請
11 Generative AI third call for evidence	11 生成的AI第3回証拠提出要請
12 Generative AI fifth call for evidence	12 生成的AI第5回証拠提出要請
13 Generative AI first call for evidence	13 生成的AI第1回証拠提出要請
14 Generative AI fourth call for evidence: engineering individual rights into generative AI models	14 生成的AI第4回証拠提出要請：生成的AIモデルへの個人の権利の組み込み

ここがポイントですかね...

誤解への取り組み...

Tackling misconceptions	誤解への取り組み
This section clarifies several data protection issues to address misconceptions highlighted in the consultation responses. Some of them are about generative AI, while others are about AI (including ‘narrow’ AI) or data protection in general. We have set out existing ICO positions to offer clarity.	このセクションでは、コンサルテーション回答で強調された誤解に対処するため、いくつかのデータ保護問題を明確にする。その中には生成的AIに関するものもあれば、AI（「狭い」AIを含む）やデータ保護全般に関するものもある。明確にするために、ICOの既存の見解を示した。
1) The “incidental” or “agnostic” processing of personal data still constitutes processing of personal data. Many generative AI developers claimed they did not intend to process personal data and that their processing of that data was purely incidental. Our view is clear: data protection law applies to processing of personal data (which includes special category data), regardless of whether this is ‘incidental’ or unintentional.	1) 個人データの「付随的な」または「不可知論的な」処理は、依然として個人データの処理を構成する。多くの生成的AI開発者は、個人データを処理する意図はなく、そのデータの処理は純粋に付随的なものだと主張している。データ保護法は、それが「偶発的」か意図的でないかにかかわらず、個人データ（特別カテゴリーデータを含む）の処理に適用される。
2) Common practice does not equate to meeting people’s reasonable expectations. Organisations should not assume that a certain way of processing will be within people’s reasonable expectations, just because it is seen as “common practice”. This applies particularly when it comes to the novel use of personal data to train generative AI in an invisible way or years after someone provided it for a different purpose (when their expectations were, by default, different).	2) 一般的な慣行は、人々の合理的な期待に応えることとは一致しない。組織は、ある処理方法が「一般的な慣行」とみなされるからといって、人々の合理的な期待の範囲内であると仮定すべきではない。これは特に、生成的AIを目に見えない方法で学習させるために個人データを新規に使用する場合や、誰かが別の目的のために個人データを提供してから何年も経ってから個人データを使用する場合（デフォルトでは、人々の期待は異なっている）に当てはまる。
3) “Personally identifiable information” (PII) is different to the legal definition of “personal data”. Many organisations focus their generative AI compliance efforts around PII. However, to ensure compliance in the UK they should be considering processing of any “personal data” (which is a broader and legally defined concept in the UK). Organisations must not undertake compliance based on a fundamental misunderstanding or miscommunicate their processing operations.	3）「個人を特定できる情報」（PII）は、「個人データ」の法的定義とは異なる。多くの組織はPIIを中心に生成的AIコンプライアンスに取り組んでいる。しかし、英国でのコンプライアンスを確保するためには、あらゆる「個人データ」（英国ではより広範で法的に定義された概念である）の処理を検討すべきである。組織は、根本的な誤解に基づいてコンプライアンスに取り組んだり、処理業務を誤って伝えたりしてはならない。
4) Organisations should not assume that they can rely on the outcome of case law about search engine data protection compliance when considering generative AI compliance. A few respondents sought to rely on these case outcomes, arguing that as the initial collection of data was substantively the same (ie crawling the web), the decisions should also apply to the generative AI context. However, while we can see there are similarities in terms of data collection, there are key differences which means that the logic of these decisions may not be applicable. For example, while a search engine intends to index, rank and prioritise information and make this available to the public, generative AI goes beyond this. It synthesises information and creates something new in its outputs. Traditional search engine operators also enable people to exercise their rights, in particular the right to erasure through ‘delisting’. The current practices of generative AI developers make it difficult for people to do the same.	4) 組織は、生成的AIコンプライアンスを検討する際に、検索エンジンのデータ保護コンプライアンスに関する判例法の結果に依拠できると考えるべきではない。数名の回答者は、最初のデータ収集が実質的に同じである（つまりウェブをクロールしている）ため、その判断は生成的AIの文脈にも適用されるはずだと主張し、これらの判例結果に頼ろうとした。しかし、データ収集という点では類似点が見られるものの、重要な相違点があるため、これらの判決の論理は適用できない可能性がある。例えば、検索エンジンは情報をインデックス化し、ランク付けし、優先順位をつけて一般に公開することを意図しているが、生成的AIはそれを超えている。情報を合成し、そのアウトプットに新しいものを生み出すのだ。従来の検索エンジン事業者は、人々が権利、特に「上場廃止」による消去権を行使することも可能にしている。生成的AI開発者の現在のやり方は、人々が同じことをするのを難しくしている。
5) Generative AI models can themselves have data protection implications. Some developers argued that their models do not “store” personal data. Our 2020 guidance on AI and data protection stated that AI models can contain personal data.18 In the generative AI consultation chapters, we explained that generative AI models may embed the data they have been trained on in a form that may allow their retrieval or disclosure by transmission. In particular, this may have implications for open-access models. This needs further research to understand when and how this risk may materialise. We intend to explore this issue in more detail in future, taking account of ongoing developments in the technological and academic spaces.	5) 生成的AIモデルは、それ自体がデータ保護に影響を及ぼす可能性がある。一部の開発者は、自分たちのモデルは個人データを「保存」しないと主張している。AIとデータ保護に関する2020年のガイダンスでは、AIモデルには個人データが含まれる可能性があると述べている18。生成的AIのコンサルテーションチャプターでは、生成的AIモデルは学習させたデータを、送信による検索や開示が可能な形で埋め込む可能性があると説明している。特に、これはオープンアクセスモデルに影響を与える可能性がある。このリスクがいつ、どのように顕在化するかを理解するためには、さらなる研究が必要である。私たちは今後、技術的・学術的な領域で進行中の発展を考慮しつつ、この問題をより詳細に調査するつもりである。
6) The ICO cannot determine or provide guidance on compliance with legal requirements which are outside the scope of our remit (ie data protection and information law). There was a perception by some respondents that the lawfulness principle19 meant that we could provide views or guidance on lawfulness under regimes other than data protection. Some also thought that data protection could be a useful lever to address issues within other regulatory remits. To be clear, data processing that is unlawful because it breaches other legal requirements (such as Intellectual Property law) will also be unlawful under data protection law. However, that does not mean we will or can be the arbiter of what is lawful under legislation outside of our remit.	6) ICO は、ICO の権限範囲外（すなわち、データ保護法や情報法）の法的要件の遵守について判断したり、ガイダンスを提供したりすることはできない。回答者の中には、適法性の原則19 は、ICO がデータ保護以外の制度における適法性について見解やガイダンスを提供できることを意味するとの認識を持つ者もいた。また、データ保護は他の規制の範囲内の問題に対処するための有効な手段となり得ると考える者もいた。明確にしておくと、他の法的要件（知的財産法等）に違反して違法となるデータ処理は、データ保護法においても違法となる。しかし、だからといって、われわれが、われわれの権限外の法律のもとで、何が合法であるかの裁定者になるわけではないし、なれるわけでもない。
7) There is no ‘AI exemption’ to data protection law. Some of the respondents argued that data protection law should not complicate generative AI development. While we support responsible AI development and deployment, it is important for organisations to be aware that there are no carve-outs or sweeping exemptions for generative AI. If an organisation is processing personal data, then data protection law will be applicable. We encourage organisations that are uncertain about compliance to adopt a “data protection by design approach”, considering compliance issues before they start processing.	7) データ保護法に「AI免除」はない。回答者の中には、データ保護法が生成的AI開発を複雑化すべきではないと主張する者もいた。我々は責任あるAIの開発と展開を支持するが、生成的AIには除外規定も適用除外もないことを組織が認識することが重要である。組織が個人データを処理する場合は、データ保護法が適用される。私たちは、コンプライアンスに不安がある組織には、処理を開始する前にコンプライアンス問題を検討する「データ保護バイ・デザイン・アプローチ」を採用することを奨励している。
18 We said that model inversion and membership inferences show that AI models can inadvertently contain personal data: How should we assess security and data minimisation in AI?	18 モデルの反転とメンバーシップの推論により、AIモデルが意図せずして個人情報を含む可能性があることが示された。AIにおけるセキュリティとデータ最小化をどのように評価すべきか？
19 Principle (a): Lawfulness, fairness and transparency	19 原則(a)：適法性、公正性、透明性

日本の場合...

● 個人情報保護委員会

・ 2024.06.05 生成AIサービスの利用に関する注意喚起等について

・・[PDF] 【別添１】生成AIサービスの利用に関する注意喚起等

・・[PDF] 【別添２】OpenAIに対する注意喚起の概要

● まるちゃんの情報セキュリティ気まぐれ日記

・2024.01.24 英国 ICO 生成的AIとデータ保護に関する意見募集シリーズ1 ウェブスクレイピングの合法性の根拠 (2024.01.15)

2024.12.17 07:40 in 個人情報保護 / プライバシー, in 法律 / 犯罪, in AI/Deep Learning | Permalink | Comments (0)
Tweet

まるちゃんの情報セキュリティ気まぐれ日記

サイト内検索

Archives

Categories

Recent Posts

Recent Comments

Recent Trackbacks

連載 (ITmedia)

ウェブページ

法律 / 犯罪

2024.12.22

アイルランドデータ保護委員会メタ社に約410億円の罰金 (2024.12.17)

2024.12.21

米国 CISA 2024の活動...

欧州 EDPB AIモデルが匿名とみなされるのはどのような場合か？など、４つの質問に答える意見書を公表していますね...

米国司法省財務省ファイアウォールを悪用するマルウェアを開発等の疑いで中国人を起訴し、関与した企業にも制裁 (2024.12.10)

2024.12.20

個人情報保護委員会いわゆる3年ごと見直しに係る検討関係（第310回委員会、第6-7回検討会）

2024.12.19

オランダデータ保護局意見募集社会的スコアリングのためのAIシステム + 操作および搾取的AIシステムに関する意見募集の概要と次のステップ

2024.12.18

ブラジル国家データ保護局生成的AIについての一般向け説明 (2024.11.29)

2024.12.17

ユネスコ合成コンテンツとAI政策への示唆 - 入門編 (2024)

英国 ICO 生成的AIに関するコンサルテーションに対する情報コミッショナー事務局の回答：生成的AIの開発者たちよ、あなたたちが人々の情報をどのように使っているのか伝える時だ(2024.12.12)

より以前の記事一覧

その他のカテゴリー

ココログ

まるちゃん

関連団体

情報法関連Blog

情報法 Web

セキュリティ Blog

セキュリティ web

内部統制