オランダ データ保護局 意見募集 職場や教育における感情認識のための特定のAIシステムの禁止 (2024.10.31)
こんにちは、丸山満彦です。
オランダのデータ保護局が「職場や教育機関における感情認識のための特定のAIシステムの禁止」に関する意見募集をしていますね...
AI法の適用を見据えて、徐々にこのようなガイドが整備されていくのでしょうかね...
A:特定の操作型AIシステム(サブリミナル技術の利用等)
B:特定の搾取的AIシステム(個人や集団の弱みに漬け込む利用等)
C:ソーシャル・スコアを用いて作動する特定のAIシステム
D:個人による犯罪の可能性を予測する特定のAIシステム
E:顔画像の非標的スクレイピング
F:職場や教育における感情認識のための特定のAIシステム
G:生体認証による人物分類のための特定のAIシステム
H:法執行目的の公共の場における遠隔リアルタイム生体認証のための特定のAIシステム
このうち、
A:特定の操作型AIシステム(サブリミナル技術の利用等)
B:特定の搾取的AIシステム(個人や集団の弱みに漬け込む利用等)
についてのガイド案がすでに公開されていますが、
今回は、
F:職場や教育における感情認識のための特定のAIシステム
です。
・[PDF]
AI systems for emotion recognition in the areas of workplace or education institutions | 職場や教育機構における感情認識のためのAIシステム |
Prohibition in EU Regulation 2024/1689 (AI Act) | EU規則2024/1689(AI法)における禁止事項 |
Summary | 概要 |
The European AI Act (2024/1689) has been in force since 1 August 2024 and regulates the use of artificial intelligence (AI) in the European Union (EU). The AI Act has a risk-based approach. As a result, certain AI systems posing an unacceptable risk are prohibited from 2 February 2025. | 欧州AI法(2024/1689)は2024年8月1日から施行されており、欧州連合(EU)における人工知能(AI)の利用を規制している。AI法はリスクベースのアプローチを採用している。その結果、許容できないリスクをもたらす特定のAIシステムは2025年2月2日から禁止される。 |
It is up to the supervisors of the AI Act to explain how the prohibitions will be interpreted for the purpose of supervision. In order to prepare for this in the Netherlands, the Autoriteit Persoonsgegevens (AP) asks interested parties (citizens, governments, businesses and other organisations) and their representatives for needs, information and insights. We can use all input to consider the necessary further clarification of the prohibited AI systems. | AI法の監督当局は、この禁止事項が監督上どのように解釈されるかを説明しなければならない。オランダでこれに備えるため、Autoriteit Persoonsgegevens(AP)は関係者(市民、政府、企業、その他の組織)やその代表者にニーズ、情報、洞察を求めている。私たちは、禁止されているAIシステムの必要なさらなる明確化を検討するために、すべての意見を利用することができる。 |
On 27 September 2024, the AP published the first call for input on the first two prohibitions of the AI Act. In this second call for input, we address the sixth prohibition: AI systems for emotion recognition in the areas of workplace or education institutions (prohibition F). Later on, we will ask for input on other prohibitions. This document outlines specific criteria for these prohibited AI systems while requesting (additional) input through a set of questions. Contributions can be submitted until 17 December 2024. | 2024年9月27日、APはAI法の最初の2つの禁止事項に関する最初の意見募集を発表した。今回の2回目の意見募集では、第6の禁止事項を取り上げる: 職場や教育機構における感情認識のためのAIシステム(禁止事項F)である。後日、他の禁止事項についても意見を求める予定である。この文書では、これらの禁止されるAIシステムの具体的な規準の概要を示すとともに、一連の質問を通じて(追加の)意見を求める。意見は2024年12月17日まで提出できる。 |
The AP makes this call for input based on its role as a coordinating supervisor of algorithms and AI. For the purpose of this new task, the Department for the Coordination of Algorithmic Oversight (DCA) was established within the AP. This call for input also aligns with the preparatory work being done in support of future supervision of AI systems prohibited under the AI Act. The Dutch government is currently working on the formal designation of national supervisory authorities for the AI Act. | APは、アルゴリズムとAIの調整監督者としての役割に基づき、この意見募集を行う。この新しい任務のために、AP内にアルゴリズム監督調整部(DCA)が設立された。この意見募集は、AI法で禁止されているAIシステムの将来の監督を支援するために行われている準備作業とも一致している。オランダ政府は現在、AI法の国内監督当局の正式認可に向けて作業を進めている。 |
I. Background | I. 背景 |
1. The European AI Act (2024/1689) has been in force since 1 August 2024. This Regulation sets out rules for the provision and use of artificial intelligence (AI) in the EU. The premise of the AI Act is that while there are numerous beneficial applications of AI, the technology also entails risks that have to be managed. The legislation follows a risk-based approach. More restrictive rules will apply to those AI systems that pose a greater risk. Some systems entail such an unacceptable risk that their placing on the market or use is completely prohibited. This is, for example, the case with AI systems that are used for emotion recognition in the areas of workplace or education institutions. The prohibitions are set out in Article 5 of the AI Act. | 1. 欧州AI法(2024/1689)は2024年8月1日より施行されている。この規則は、EUにおける人工知能(AI)の提供と利用に関する規則を定めたものである。AI法の前提は、AIには多くの有益な用途がある一方で、管理すべきリスクも伴うということである。この法律は、リスクベースのアプローチに従っている。より大きなリスクをもたらすAIシステムには、より厳しい規則が適用される。なかには、上市や使用が完全に禁止されるほどの許容できないリスクを伴うシステムもある。例えば、職場や教育機構の分野で感情認識に使用されるAIシステムがそうである。禁止事項はAI法第5条に定められている。 |
2. This call for input provides a preliminary basis for further clarification of the prohibitions in the AI Act. To get there, this call for input aims to gather generic information and insights on, among other things, the functioning of AI technologies and the application possibilities that are relevant to the clarification of the prohibitions. | 2. この意見募集は、AI法の禁止事項をさらに明確にするための予備的根拠を提供するものである。そのために、この意見募集は、特に禁止事項の明確化に関連するAI技術の機能や応用の可能性に関する一般的な情報や見識を収集することを目的としている。 |
Prohibited AI applications as from February 2025 | 2025年2月から禁止されるAIアプリケーション |
3. The prohibitions in the AI Act will become applicable soon. As from 2 February 2025, the prohibited AI systems listed in Article 5 may no longer be put on the European market or used. As from 2 August 2025, market surveillance authorities should be designated for prohibited AI systems, and sanctions may be imposed for violations of the prohibitions. Before this time, violation of one of the prohibitions could already lead to civil liability. | 3. AI法の禁止事項が間もなく適用される。2025年2月2日以降、第5条に記載された禁止されたAIシステムは、もはや欧州市場に投入されたり、使用されたりすることはできない。2025年8月2日以降、禁止されたAIシステムについては市場監視当局が認可される必要があり、禁止事項に違反した場合には制裁が課される可能性がある。それ以前は、禁止事項のいずれかに違反した場合、すでに民事責任を問われる可能性がある。 |
Supervision in the Netherlands on compliance with the prohibitions | オランダにおける禁止事項の遵守に関する監督 |
4. The Dutch government is currently working on legislation designating which supervisory authority will be responsible for overseeing compliance with the prohibitions. In the Netherlands, the AP (through its Department for the Coordination of Algorithmic Oversight) and the Dutch Authority Digital Infrastructure (RDI) provide advice on the supervisory framework for the purpose of the AI Act. They do so in cooperation and coordination with other supervisors. In a second interim advice, published in May 2024, the Dutch supervisors proposed to make the AP primarily responsible for the supervision of prohibited AI. Following these recommendations, the AP will closely cooperate with other relevant supervisors for the supervision of prohibited AI systems. | 4. オランダ政府は現在、禁止事項の遵守を監督する責任を負う監督当局を指定する法制化に取り組んでいる。オランダでは、AP(アルゴリズム監督調整局を通じて)とオランダ認可デジタル・インフラ(RDI)がAI法の目的のために監督枠組みに関する助言を提供している。これらは、他の監督当局との協力・協調の下で行われている。2024年5月に公表された2回目の中間助言において、オランダの監督当局は、禁止されたAIの監督をAPが主に担当することを提案した。これらの勧告に従い、APは禁止されたAIシステムの監督について他の関連監督当局と緊密に協力する。 |
5. Because the prohibitions in this call concern AI systems that also fall under other Union laws, this call has been coordinated within the AI and Algorithm Group of the Dutch Cooperation Platform of Digital Supervisory authorities. This is in the spirit of the requirement in Article 70(8) of the AI Act to consult relevant national competent authorities responsible for other Union law that covers AI systems. | 5. この要請における禁止事項は、他の連邦法にも該当するAIシステムに関するものであるため、この要請は、デジタル監督当局のオランダ協力プラットフォームのAI・アルゴリズムグループ内で調整されている。これは、AI法第70条8項が要求する、AIシステムを対象とする他の連邦法を担当する関連国の管轄当局と協議するという精神に則ったものである。 |
II. About this call for input | II. この意見募集について |
Purpose: why do we ask for input | 目的:なぜ意見を求めるのか |
6. It is up to the supervisors of the AI Act to explain how the prohibitions will be interpreted for the purpose of supervision. In preparation for this, the AP is asking for information and insights from stakeholders (citizens, governments, companies and other organisations) and their representatives. All responses can be used for further explanation of the prohibited AI. Within the AP, the Department for the Coordination of Algorithmic Oversight is charged with this task. | 6. AI法の監督当局が、監督目的で禁止事項がどのように解釈されるかを説明する次第である。その準備のため、APは利害関係者(市民、政府、企業、その他の組織)およびその代表者からの情報と洞察を求めている。すべての回答は、禁止されているAIのさらなる説明に利用することができる。AP内では、アルゴリズム監督調整部がこの任務を担っている。 |
7. This call for input discusses the prohibition outlined in Article 5, paragraph 1 subparagraph f of the AI Act. In addition to this call for input, the AP already published a first call on 27 September 2024 on two other prohibitions, namely the prohibition on manipulative and deceptive AI systems and the prohibition on exploitative AI systems. | 7. この意見募集では、AI法第5条第1項f号に概説される禁止事項について議論する。この意見募集に加え、APはすでに2024年9月27日に、他の2つの禁止事項、すなわち、操作的で欺瞞的なAIシステムの禁止と搾取的なAIシステムの禁止に関する最初の意見募集を発表している。 |
8. The legislative text and the recitals serve as the foundations for this call for input. Given the scope and possible impact of this prohibition, a call for input is issued for this prohibition. Please refer to the annex to this document for an overview of all prohibitions in subparagraphs (a) to (g) of Article 5, paragraph 1 of the AI Act. | 8. 立法文書とリサイタルは、この意見募集の基礎となるものである。この禁止事項の範囲と起こりうる影響を考慮し、この禁止事項に関する意見募集を行う。AI法第5条第1項第(a)号から第(g)号までのすべての禁止事項の概要については、本書の附属書を参照のこと。 |
9. This call for input highlights specific aspects of this prohibition. The focus is on those specific criteria that determine whether or not an AI system is within the scope of this prohibition. Each criterion is briefly explained based on the legislator’s recitals of the AI Act. In some cases, we provide an interpretation of our own. This is explicitly mentioned. We then pose several questions, the answers to which will contribute to a better understanding of the prohibition. | 9. 本意見募集は、この禁止事項の特定の側面に焦点を当てたものである。AIシステムが本禁止の範囲に含まれるか否かを判断する具体的な規準に焦点を当てる。各基準は、AI法の立法者の説明に基づいて簡潔に説明されている。場合によっては、独自の解釈を提供することもある。これについては明確に言及する。その後、いくつかの質問を投げかけ、その回答は禁止事項のより良い理解に資するものである。 |
Process: this is how you send your input to us | プロセス:これは、あなたが私たちに意見を送る方法である |
10. You decide which questions you answer. You can also provide us with other relevant input in addition to the questions asked. Please send your input by email to [email protected] by 17 December 2024. Please mention the topic “Call for input DCA-2024-02 AI systems for emotion recognition in the areas of workplace or education institutions”, and your name and/or your organisation in your email. If desirable, you can provide us with your contact details so that we can reach you when we have further questions. When we have received your input, we will send a confirmation by email. | 10. どの質問に答えるかはあなたが決める。また、質問以外にも関連する意見をプロバイダに提供することができる。2024年12月17日までに、[email protected]。その際、「Call for input DCA-2024-02 AI systems for emotion recognition in areas of workplace or education institutions」(職場や教育機関における感情認識のためのAIシステム)というトピックと、あなたの氏名または所属する組織を明記してください。また、ご希望であれば、ご連絡先をご記入いただければ、ご質問の際にご連絡を差し上げることができる。入力が確認されたら、Eメールにて確認のご連絡を差し上げる。 |
Follow-up: what do we do with your input? | フォローアップ:あなたの意見をどうするか? |
11. After the closure of this call for input, the AP will publish a summary and appreciation of the input on AI systems for emotion recognition in the areas of workplace or education institutions. In this summary, we will refer in generic terms to the input received (e.g., “several sectoral representative organisations have indicated’, “a developer of AI systems points out that”, “organisations advocating for fundamental rights note that”). If preferred and indicated by you, we may explicitly name your organisation or group. Through our summarised and evaluative response, we can also share the acquired insights with other (European) AI supervisory authorities. For instance, the summary and appreciation of the contribution may be utilised in the drafting of guidelines on the prohibitions. At a European level, the AI Office - part of the European Commission- can collaborate with the market surveillance authorities to develop such guidelines. | 11. 本意見募集の終了後、APは、職場や教育機構の分野における感情認識AIシステムに関する意見の要約と評価を公表する。この要約では、寄せられた意見について一般的な用語で言及する(例えば、「いくつかの分野の代表者組織からの指摘」、「AIシステムの開発者からの指摘」、「基本的権利を擁護する組織からの指摘」など)。ご希望があれば、またご指摘があれば、あなたの組織や団体名を明示することもある。また、要約・評価した回答を通じて、得られた知見を他の(欧州の)AI監督当局と共有することもできる。例えば、禁止事項に関するガイドラインのドラフトを作成する際に、寄稿の要約と評価を活用することができる。欧州レベルでは、欧州委員会の一部であるAI事務局は、市場監視当局と協力して、そのようなガイドラインを作成することができる。 |
12. We will only use your input for our task to obtain information and insights about the prohibitions in the AI Act. We will delete your personal data after publication of our summary and evaluation of the input, unless you have given permission for further use. For more information about how we process personal data, please see: The AP and privacy. | 12. 当社は、AI法の禁止事項に関する情報や見識を得るという当社の任務のためにのみ、あなたの意見を使用する。ご意見の要約と評価を公表した後、それ以上の使用についてご本人の許可がない限り、個人データを削除する。当社がどのように個人データを処理するかについての詳細は、以下を参照のこと: APとプライバシー。 |
More calls for input | インプットのさらなる募集 |
13. Following this call, there will be more calls for input on other parts of the AI Act, including other prohibitions. The AP has previously called for input for manipulative, misleading and exploitative AI systems. In the short term, the AP wants to publish a call for input on prohibition C: AI systems for social scoring. | 13. 今回の呼びかけに続き、他の禁止事項を含むAI法の他の部分についても意見募集を行う予定である。APはこれまでにも、操作的、誤解を招く、搾取的なAIシステムについての意見を求めてきた。短期的には、APは禁止事項C「ソーシャル・スコアリングのためのAIシステム」に関する意見募集を公表したいと考えている。 |
III. Definition of the prohibition on AI systems for emotion recognition in the areas of workplace or education institutions | III. 職場や教育機構における感情認識AIシステム禁止の定義 |
General scope of prohibited AI systems | 禁止されるAIシステムの一般的範囲 |
14. The AI Act (and its prohibitions) apply to ‘AI systems’. Thus, in order to determine whether the Regulation applies, an important question is whether the product falls within the definition of an AI system: | 14. AI法(およびその禁止事項)は「AIシステム」に適用される。したがって、本規則が適用されるかどうかを判断するためには、その製品がAIシステムの定義に該当するかどうかが重要な問題となる: |
“A machine-based system that is designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment, and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments.” | 「様々なレベルの自律性で動作するように設計され、展開後に適応性を示す可能性があり、明示的または暗黙的な目的のために、物理的または仮想的環境に影響を与えることができる予測、コンテンツ、推奨、決定などの出力を生成する方法を、受け取った入力から推測する機械ベースのシステム」。 |
15. The prohibitions are addressed to providers (e.g. developers), deployers, importers, distributors and other operators. These operators shall not place on the market, put into service or use the prohibited AI systems. Therefore, it is important for the above operators to ensure that they do not place on the market or use a prohibited AI system. To do so, they will have to verify whether the AI system in question falls under the prohibitions in Article 5. | 15. この禁止事項は、プロバイダ(開発者など)、展開事業者、輸入事業者、頒布事業者、その他の事業者を対象としている。これらの事業者は、禁止されているAIシステムを上市、サービス開始、使用してはならない。したがって、上記の事業者は、禁止されているAIシステムを上市したり、使用したりしないようにすることが重要である。そのためには、当該AIシステムが第5条の禁止事項に該当するか否かを確認する必要がある。 |
Content of the prohibition | 禁止事項の内容 |
16. This call for input focuses on the prohibition set out in subparagraph (f) of Article 5, paragraph 1. The AI Act prohibits AI systems used to infer emotions from a natural person in the areas of workplace or education institutions based on biometric data (hereinafter: emotion recognition systems). In the remainder of this call for input, we will refer to this prohibition as ‘prohibition F’. The Regulation defines this prohibition as follows: | 16. 今回の意見募集では、第5条第1項(f)号の禁止事項に焦点を当てる。AI法は、職場や教育機関などの分野において、生体データに基づいて自然人の感情を推測するAIシステム(以下、感情認識システム)を禁止している。本意見募集では、この禁止事項を「禁止事項F」と呼ぶ。規則では、この禁止事項を以下のように定義している: |
Article 5, paragraph 1, subparagraph f (‘prohibition F’): | 第5条第1項f号(「禁止F」): |
“The placing on the market, the putting into service for this specific purpose, or the use of AI systems to infer emotions of a natural person in the areas of workplace and education institutions, except where the use of the AI system is intended to be put in place or into the market for medical or safety reasons;” | 「職場および教育機構の分野における自然人の感情を推測するためのAIシステムの上市、この特定目的のための使用、または使用は、医療上または安全上の理由からAIシステムの使用が意図され、または上市される場合を除く」 |
17. The AI Act contains a definition of the concept of an ‘emotion recognition system’, which includes not only the inference but also the identification of emotions and intentions. It is therefore assumed that the prohibition involves both the inference and the identification of emotions and intentions based on biometric data. The AI Act defines an ‘emotion recognition system’ as follows: | 17。AI法には、「感情認識システム」という概念の定義があり、そこには、推論だけでなく、感情や意思の識別も含まれている。したがって、生体データに基づく感情や意思の推論と識別の両方が禁止に含まれると考えられる。AI法は「感情認識システム」を以下のように定義している: |
“An AI system intended to identify or infer the emotions or intentions of natural persons based on their biometric data.” | 「生体データに基づいて、自然人の感情または意図を識別または推論することを目的とするAIシステム」。 |
18. It is important to note that AI systems for emotion recognition that are not put into use in the areas of workplace or educational institutions qualify as ‘high risk’. If AI systems intended to be used for emotion recognition qualify as high-risk under Annex III, paragraph 1, subparagraph c, the requirements applicable to these systems will have to be complied with. In addition, users of a system for emotion recognition are subject to specific transparency obligations. These are defined in Article 50(3) of the AI Act. | 18. 注意すべきは、職場や教育機関の分野で使用されない感情認識のためのAIシステムは、「ハイリスク」と認定されることである。感情認識に使用されることを意図したAIシステムが附属書III第1項cのハイリスクに該当する場合、これらのシステムに適用される要件に従わなければならない。さらに、感情認識システムの利用者は、特定の透明性義務を負う。これらはAI法第50条第3項に定義されている。 |
19. Finally, the AI Act is without prejudice to the GDPR. Obligations of providers and deployers of AI systems in their role as controllers or processors stemming from Union or national law on the protection of personal data continue to apply in the design, development or use of AI systems. | 19. 最後に、AI法はGDPRを妨げるものではない。AIシステムのプロバイダおよび展開者は、個人データ保護に関する連邦法または国内法に由来する管理者または処理者としての役割を果たす義務が、AIシステムの設計、開発、使用において引き続き適用される。 |
IV. Criteria and questions regarding the prohibition | IV. 禁止に関する規準と質問 |
20. In order to structure this call for input, separate criteria of the prohibition have been set out in more detail in the next section. These criteria are highlighted because they are important conditions for determining whether or not AI systems are covered by prohibition F. A brief explanation is provided for each criterion, based on the explanation provided by the legislator in the explanatory recitals to the AI Act. In some cases, explanations are based on the AP's own interpretation; this is clearly indicated. This is followed by some accompanying questions that you can use when giving your input. | 20. この意見募集を構成するために、禁止事項の個別の規準が次のセクションで詳細に示されている。これらの規準は、AIシステムが禁止事項Fの対象となるか否かを判断するための重要な条件であるため、強調されている。各規準については、AI法の説明の中で立法者が提供した説明に基づき、簡単な説明がなされている。場合によっては、AP独自の解釈に基づく説明もあるが、これは明確に示されている。続いて、意見を述べる際に利用できる付随的な質問をいくつか示す。 |
Criterion 1: inference and identification of emotions and intentions | 規準1:感情や意図の推論と特定 |
21. The prohibition applies where emotions or intentions of natural persons are inferred. It follows from the definition of an ‘emotion recognition system’ that, in addition to inference, it includes the identification of emotions and intentions. The AP therefore assumes that both the inference and the identification of emotions and intentions are covered by the prohibition. | 21. 禁止事項は、自然人の感情や意図が推測される場合に適用される。感情認識システム」の定義から、推論に加え、感情や意図の特定も含まれる。したがってAPは、感情や意図の推論と識別の両方が禁止事項の対象であるとする。 |
Questions related to criterion 1 | 規準1に関する質問 |
1. Can you describe AI systems used to infer or identify emotions or intentions? | 1. 感情や意図を推論または特定するために使用されるAIシステムについて説明できるか。 |
2. Is it clear to you when a system is aiming to infer or identify emotions or intentions? If not, what part asks for more clarity? Can you elaborate on this? | 2. システムが感情や意図を推論したり識別したりすることを目的としている場合、それがどのような場合であるかは明らかか。そうでない場合、どの部分がより明確であることを求めているか?詳しく説明してくれる? |
Criterion 2: emotions or intentions | 規準2:感情または意図 |
22. The prohibition applies to the emotions or intentions of natural persons. The recitals describe emotions or intentions such as happiness, sadness, anger, surprise, disgust, embarrassment, excitement, shame, contempt, satisfaction and amusement. The prohibition does not include the detection of readily apparent expressions, gestures or movements, unless they are used to identify or infer emotions. These expressions can be basic facial expressions, such as a frown or smile. Such expressions can also be gestures such as the movement of hands, arms or head, or characteristics of a person's voice, such as a raised voice or whispering tone. | 22. 禁止は自然人の感情または意図に適用される。朗読では、喜び、悲しみ、怒り、驚き、嫌悪、恥ずかしさ、興奮、恥、軽蔑、満足、娯楽などの感情や意図が述べられている。この禁止には、感情を識別または推論するために使用されるのでない限り、容易に見て取れる表情、身振り、動作の検知は含まれない。これらの表情は、しかめっ面や微笑みといった基本的な顔の表情でありうる。このような表情は、手、腕、頭の動きのようなジェスチャーや、高めの声やささやき声のような人の声の特徴であることもある。 |
23. The prohibition shall not apply to physical states such as pain or fatigue. This could include systems used to detect the state of fatigue of professional pilots or professional drivers in order to prevent accidents. AI systems that detect such states are outside the scope of the prohibition. | 23. この禁止は、痛みや疲労といった身体的状態には適用されない。これには、事故を防ぐためにプロのパイロットやプロのドライバーの疲労状態を検知するためのシステムも含まれる。このような状態を検知するAIシステムは、禁止の範囲外である。 |
Questions related to criterion 2 | 規準2に関する質問 |
3. Can you give examples of other types of emotions or intentions that can be inferred or identified with the use of AI systems? | 3. AIシステムの使用によって推測または識別できる他の種類の感情または意図の例を挙げることができるか。 |
4. Can you describe situations in which AI systems can be used to infer or identify physical states? In that case, are emotions or intentions also inferred or identified? Is the difference between emotions and intentions on the one hand and physical states on the other hand sufficiently clear to you? | 4. AIシステムを使用して物理的状態を推測または特定できる状況を説明できるか。その場合、感情や意図も推論されたり識別されたりするのか?一方の感情や意図と他方の物理的状態の違いは、あなたにとって十分に明確か? |
5. Can you describe AI systems used to detect readily apparent expressions, gestures or movements? Do you know of situations where the detection of expressions, gestures or movements can be used to identify or infer emotions or intentions? | 5. すぐにわかる表情、ジェスチャー、動きを検知するために使われるAIシステムについて説明できるか?表情、ジェスチャー、動きの検知が、感情や意図の識別や推論に利用できる状況を知っているか? |
6. Is it clear to you when an AI system infers or identifies emotions or intentions or other states? What questions or need for clarification do you have in the context of this prohibition? | 6. AIシステムが感情や意図、あるいはその他の状態を推論したり識別したりするのは、どのような場合か明確か。この禁止事項に関して、どのような疑問や明確化の必要性があるか。 |
Criterion 3: on the basis of biometric data | 規準3:生体データに基づいて |
24. The prohibition applies to AI systems that use human biometric data to identify or infer emotions. Biometric data is defined in the AI Act “as personal data resulting from specific technical processing relating to the physical, physiological or behavioural characteristics of a natural person, such as facial images or dactyloscopic data”. However, as stated in the recitals, the concept of biometric data in the AI Act must be interpreted “in the light of” the concept of biometric data in the GDPR. Importantly, biometric data as defined in the AI Act (among others) enables the recognition of emotions of natural persons. | 24. この禁止は、人間の生体データを使用して感情を識別または推論するAIシステムに適用される。生体データは、AI法では「顔画像やダクティロスコピックデータなど、自然人の身体的、生理的、行動的特徴に関連する特定の技術仕様から生じる個人データ」と定義されている。しかし、説明文にあるように、AI法における生体データの概念は、GDPRにおける生体データの概念に「照らして」解釈されなければならない。重要なことは、AI法に定義されている生体データ(とりわけ)は、自然人の感情の認識を可能にするということである。 |
Questions related to criterion 3 | 規準3に関連する質問 |
7. What kind of biometric data can be used in these AI systems intended to infer or detect emotions? | 7.感情を推測または検出することを意図したこれらのAIシステムでは、どのような生体データを使用できるのか? |
8. In your opinion, how does biometric data form the basis for inferring or identifying emotions in practice? Can you indicate how this process works and illustrate this with (imaginary) examples? | 8. 生体データは、実際にどのように感情を推測または識別するための基礎となるのか。このプロセスがどのように機能するかを示し、(想像上の)例で説明できるか。 |
Criterion 4: the areas of workplace or education institutions | 規準4:職場または教育機構の領域 |
25. Prohibition F states that an AI system for emotion recognition must infer emotions of natural persons in the areas of workplace and education institutions. An AI system for emotion recognition in situations related to the workplace and education is also covered by this prohibition. Here, too, there are the same unfair power relations and AI systems for emotion recognition can, taking into account the far-reaching nature of these types of systems, lead to detrimental or unfavourable treatment of certain people or whole groups thereof. It can be assumed that the application of emotion recognition in, for example, home working environments, or in online or distance learning, therefore also falls within the scope of the prohibition. This also applies to the application of emotion recognition for recruitment and selection or application for education. | 25. 禁止事項Fでは、感情認識AIシステムは、職場や教育機関の領域において、自然人の感情を推論しなければならないとされている。職場や教育に関連する場面での感情認識AIシステムも、この禁止事項の対象となる。ここでも、同じように不公正な力関係が存在し、感情認識のためのAIシステムは、この種のシステムの広範な性質を考慮すると、特定の人々やその集団全体に不利益や不利な取り扱いをもたらす可能性がある。したがって、たとえば在宅勤務環境やオンライン学習、遠隔学習における感情認識の適用も、禁止事項の範囲に含まれると考えられる。これは、採用選考や教育への応募のための感情認識の適用にも適用される。 |
Questions related to criterion 4 | 規準4に関連する質問 |
9. Can you describe AI systems used for emotion recognition in, or related to, areas of workplace? | 9. 職場の領域で、または職場に関連する領域で、感情認識に使用される AI システムを説明できるか。 |
10. Can you describe AI systems used for emotion recognition in, or related to, education institutions? | 10. 教育機関において、または教育機関に関連して、感情認識に用いられるAIシステムについて説明できるか。 |
11. What questions or need for clarification do you still have in the context of this prohibition regarding criterion 4? | 11. 本禁止事項のうち、基準4に関して、まだ不明な点や明確化すべき点があるか。 |
Scope of the prohibition | 禁止事項の範囲 |
26. Finally, it is important to emphasise the scope of prohibition F. The prohibition should not apply to the placing on the market, putting into service or use of AI systems intended to be used for medical or safety reasons. The recitals of the AI Act stress that these are AI systems used strictly for medical or safety reasons. For example, a system intended for therapeutical use. | 26. 最後に、禁止事項Fの範囲について強調しておきたい。この禁止事項は、医療または安全のために使用されることを意図したAIシステムの上市、使用開始、使用には適用されるべきではない。AI法のリサイタルは、医療または安全上の理由で厳密に使用されるAIシステムであることを強調している。例えば、治療目的のシステムなどである。 |
Questions related to criterion 5 | 規準5に関連する質問 |
12. Can you describe an AI system for emotion recognition deployed in the areas of workplace or in education institutions for medical reasons? | 12. 医療上の理由から、職場や教育機構で展開される感情認識AIシステムについて説明できるか。 |
13. How can AI systems for emotion recognition be deployed in the areas of workplace or in education institutions for safety reasons? Can you think of any examples? | 13. 職場や教育機関において、安全面を考慮した感情認識AIシステムはどのように展開できるか。また、そのような事例を思いつくか。 |
14. What further questions or clarifications do you have about the scope of this prohibition? | 14. この禁止事項の範囲について、さらに質問や説明があれば教えてほしい。 |
27. In conclusion, it is stressed that this document does not cover all aspects of the prohibition. Therefore, interested parties are expressly invited to provide relevant input, also outside the questions asked, for further clarification of prohibition F. | 27. 結論として、この文書は禁止事項のすべての側面を網羅しているわけではないことを強調する。したがって、利害関係者は、禁止事項Fのさらなる明確化のため、質問以外の関連する意見を提供するよう明示的に要請される。 |
Concluding questions | 締めくくりの質問 |
15. Apart from the questions posed, is there any relevant input that you would like to provide for the further clarification of prohibition F? | 15. 提示された質問以外に、禁止事項Fの更なる明確化のために提供したい関連するインプットはあるか? |
16. Do you think it is desirable that we explicitly mention your organisation or group in our public response and appreciation to this call for input, e.g. so that we can discuss examples and considerations that you provide? | 16. この意見募集に対する私たちの公的な回答および謝辞の中で、あなたの組織または団体について明示的に言及することが望ましいと思われるか。 |
Annex: overview of prohibitions from Article 5, paragraph 1 of the AI Act 2024/1689 | 附属書:AI法2024/1689第5条第1項による禁止事項の概要 |
Prohibition A: Certain manipulative AI systems | 禁止事項A: ある種の操作的なAIシステム |
AI systems that deploy subliminal techniques beyond a person’s consciousness or purposefully manipulative or deceptive techniques, with the objective, or the effect of materially distorting the behaviour of a person or a group of persons by appreciably impairing their ability to make an informed decision, thereby causing them to take a decision that they would not have otherwise taken in a manner that causes or is reasonably likely to cause that person, another person or group of persons significant harm. | 人の意識を超えたサブリミナル的な技法、または意図的に操作的もしくは欺瞞的な技法を展開するAIシステムであって、その目的または効果が、十分な情報に基づいた意思決定を行う能力を著しく損なうことによって、人または人の集団の行動を実質的に歪め、それによって、その人、他の人または人の集団に重大な危害をもたらす、またはもたらす可能性が合理的に高い方法で、他の方法では行わなかったであろう意思決定を行わせるもの。 |
Prohibition B: Certain exploitative AI systems | 禁止事項B:特定の搾取的AIシステム |
AI systems that exploit any of the vulnerabilities of a natural person or a specific group of persons due to their age, disability or a specific social or economic situation, with the objective, or the effect, of materially distorting the behaviour of that person or a person belonging to that group in a manner that causes or is reasonably likely to cause that person or another person significant harm. | 自然人または特定の集団の年齢、障害または特定の社会的もしくは経済的状況に起因する脆弱性を悪用するAIシステムであって、その人またはその集団に属する人の行動を、その人またはその集団に属する人に重大な危害をもたらすか、またはもたらす可能性が合理的に高い方法で、実質的に歪めることを目的とし、またはその効果を有するもの。 |
Prohibition C: Certain AI systems for social scoring | 禁止事項C:社会的スコアリングのための特定のAIシステム |
AI systems for the evaluation or classification of natural persons or groups of persons over a certain period of time based on their social behaviour or known, inferred or predicted personal or personality characteristics, with the social score leading to either or both of the following: | 自然人または集団の社会的行動または既知、推論もしくは予測される個人的もしくは人格的特性に基づいて、一定期間にわたって評価または分類するためのAIシステムであって、社会的スコアが以下のいずれかまたは両方につながるもの: |
• detrimental or unfavourable treatment of certain natural persons or groups of persons in social contexts that are unrelated to the contexts in which the data was originally generated or collected; | • データが元々生成または収集された文脈とは無関係な社会的文脈において、特定の自然人または集団が不利益または不利な扱いを受けること; |
• detrimental or unfavourable treatment of certain natural persons or groups of persons that is unjustified or disproportionate to their social behaviour or its gravity. | • 社会的行動またはその重大性に不当または不釣り合いな,特定の自然人または集団に対する不利益または不利な取り扱い。 |
Prohibition D: Certain AI systems for predictive policing | 禁止事項D:予測的取り締まりのための特定のAIシステム |
AI systems for making risk assessments of natural persons in order to assess or predict the risk of a natural person committing a criminal offence, based solely on the profiling of a natural person or on assessing their personality traits and characteristics; this prohibition shall not apply to AI systems used to support the human assessment of the involvement of a person in a criminal activity, which is already based on objective and verifiable facts directly linked to a criminal activity. | 自然人が犯罪を犯すリスクを評価または予測するために、自然人のプロファイリングまたは人格的特徴および特性の評価のみに基づいて、自然人のリスクアセスメントを行うためのAIシステム。この禁止は、犯罪活動に直接関連する客観的かつ検証可能な事実に既に基づいている、犯罪活動への人の関与に関する人間の評価を支援するために使用されるAIシステムには適用されない。 |
Prohibition E: Untargeted scraping of facial images | 禁止事項E.顔画像の非対象スクレイピング |
AI systems that create or expand facial recognition databases through the untargeted scraping of facial images from the internet or CCTV footage. | インターネットやCCTV映像から顔画像を非対象にスクレイピングすることにより、顔認識データベースを作成または拡張するAIシステム。 |
Prohibition F: Certain AI systems for emotion recognition in the workplace or in education | 禁止事項F:職場や教育機関における感情認識のための特定のAIシステム |
AI systems that infer emotions of a natural person in the areas of workplace and education institutions, except where the use of the AI system is intended to be put in place or into the market for medical or safety reasons. | 職場や教育機構の分野における自然人の感情を推論するAIシステム。ただし、医療上または安全上の理由からAIシステムの導入または市場投入が意図されている場合を除く。 |
Prohibition G: Certain AI systems for biometric categorisation of persons | 禁止事項G:人物の生体データ分類のための特定のAIシステム |
AI systems for biometric categorisation that categorise individually natural persons based on their biometric data to deduce or infer their race, political opinions, trade union membership, religious or philosophical beliefs, sex life or sexual orientation; this prohibition does not cover any labelling or filtering of lawfully acquired biometric datasets, such as images, based on biometric data or categorising of biometric data in the area of law enforcement. | 人種、政治的意見、労働組合員、宗教的または哲学的信条、性生活または性的指向を推測または推論するために、生体データに基づいて個々の自然人を分類する生体データ分類のためのAIシステム。この禁止は、合法的に取得された生体データセット(画像など)を生体データに基づいてラベリングまたはフィルタリングしたり、法執行の分野で生体データを分類したりすることは対象としない。 |
Prohibition H: Certain AI systems for real-time remote biometric identification in publicly accessible spaces for purpose of law enforcement | 禁止事項H:法執行を目的とした、一般にアクセス可能な空間におけるリアルタイムの遠隔バイオメトリッ ク識別のための特定のAIシステム |
AI-systems used for of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purpose of law enforcement, unless and in so far as such use is strictly necessary for one of the following objectives: | 法執行を目的とした、一般にアクセス可能な空間における「リアルタイムの」遠隔バイオメトリッ ク識別システムのために使用されるAIシステムは、そのような使用が以下のいずれかの目的の ために厳密に必要である場合を除く: |
• the targeted search for specific victims of abduction, trafficking in human beings or sexual exploitation of human beings, as well as the search for missing persons; | • 誘拐,人身売買,性的搾取の特定の被害者,および行方不明者の捜索。 |
• the prevention of a specific, substantial and imminent threat to the life or physical safety of natural persons or a genuine and present or genuine and foreseeable threat of a terrorist attack; | • 自然人の生命または身体の安全に対する特定の、実質的かつ差し迫った脅威、または真正かつ現在の、または真正かつ予見可能なテロ攻撃の脅威の防止; |
• the localisation or identification of a person suspected of having committed a criminal offence, for the purpose of conducting a criminal investigation or prosecution or executing a criminal penalty for offences referred to in Annex II and punishable in the Member State concerned by a custodial sentence or a detention order for a maximum period of at least four years. | • 附属書IIに規定され,かつ,当該加盟国において少なくとも4年の拘禁刑または拘禁令によって処罰される犯罪について,犯罪捜査または訴追を行い,または刑事罰を執行する目的で,犯罪を犯したと疑われる者を特定または識別すること。 |
Point (h) of the first subparagraph is without prejudice to Article 9 of Regulation (EU) 2016/679 for the processing of biometric data for purposes other than law enforcement. | 第1号の(h)点は、法執行以外の目的での生体データの処理に関する規則(EU)2016/679の第9条を損なうものではない。 |
● まるちゃんの情報セキュリティ気まぐれ日記
・2024.10.30 オランダ 会計検査院 政府はAIのリスクアセスメントをほとんど実施していない...
・2024.10.18 オランダ AI利用ガイド (2024.10.16)
・2024.09.29 オランダ データ保護局 意見募集 「操作的欺瞞的、搾取的なAIシステム」
・2024.09.05 オランダ データ保護局 顔認識のための違法なデータ収集でClearviewに3,050万ユーロ(48.5億円)
・2024.08.28 オランダ データ保護局 ドライバーデータの米国への転送を理由にUberに2億9000万ユーロ(467億円)の罰金
・2024.08.12 オランダ データ保護局が注意喚起:AIチャットボットの使用はデータ漏洩につながる可能性がある
・2024.08.11 オランダ AI影響アセスメント (2023.03.02)
・2024.08.05 欧州AI法が施行された... (2024.08.01)
Recent Comments