Subscribe to DeepL Pro to translate larger documents.

Visit [Link]/pro for more information.

Secure Artificial Intelligence (AI)-Data

Utilization

AI Privacy Risk
Management Models

2024. 12.
[Reminder].

◆ Purpose of publication
- This model is intended to provide direction and principles for AI privacy
risk management, and AI model and system developers, providers, and others
can adapt it to their individual circumstances.

- This model was prepared based on the discussions of the "AI Privacy Public-
Private Policy Council" organized and operated by the Personal Information
Protection Commission, and may be continuously modified and supplemented
in accordance with future legal, institutional, and technological developments.

◆ Primary Audience
- The main audience of this book is companies and organizations that want to
introduce and apply AI technology and establish and maintain an internal
management system related to privacy.

- This model is a guide to the risk management system covers the entire AI
cycle, including pre-training and additional training of AI models, development
and delivery of AI systems, and we will continue to refine guidance materials
specific to small organizations, startups, and other areas.
What is the Personal Information Commissioner's "Innovation Support
◆Service"?
Contact us
-▸ Inquiries
A chairman's body the
regarding specializing
contents:inAIenterprise support,
Privacy Team providing fast, 3078)
(☎ 02-2100-3073, secure, and
practical
service solutions support:
for innovation to enterprise pain points
Dedicated officeracross departmental divides.
(☎ / onestoppipc@[Link])
▸ In principle, we will provide a response to the applicant within 5 working , and if
additional application procedures* are required, we will provide an initial
response on the direction of the application and conduct a sectoral review.
*△ Regulatory Sandbox,△ Prior Adequacy Review,△ Privacy Shield,△ Affirmative
Interpretation of Statutes, etc.
木 TU

I. Overview 1
 Background to the discussion ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙1
 Coverage ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙3
 Relationship to privacy laws and other guidance 5

II. AI Privacy Risk Management Procedures

6
 Types of AI - Know Your Uses ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙7
 Identify risks for your use case∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙8
 measurement of risk ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙8
 Review and implement risk mitigation measures 9
[Attachment 1] State of the global discussion on AI risk∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙10
[Attachment 2] Principles of an oriented risk management framework 12
[Attachment 3] Standards for AI Risk Management ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙13

III. Identify of risk 14

 Planning - Development Phase∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙14
[Attachment 4] Example of lawful basis for collecting and using AI training data
∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙17

 Provide service Steps ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙20

IV. Mitigate of risk 26

 Administrative actions ∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙26
 Technical actions∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙∙31

V. AI Privacy Risk Management

Organization 36
[Appendix 1] AI Privacy Risk Self-Assessment Items 39

[Appendix 2] Types and Effectiveness of Privacy Risk Mitigation Techniques

for Language Models (LLMs) 46

[Appendix 3] Diagrammatic representation of AI privacy risk types and

mitigations . 59
Ⅰ . Overview
1 Discuss Background

1. The relationship between AI and privacy risk

□ Advances in artificial intelligence (AI) are based on processing large

amounts of data, including personal information, making AI and
provisioning inextricably linked.
○ The fundamental changes in data processing required by AI
technologies traditional privacy , such as the retention and disclosure
of personal information, new types of risks are not anticipated by
existing data processing environments
○ Managing and mitigating the complex and evolving privacy
risks associated with advancing AI technologies is a prerequisite
for sustainable AI progress.
[Changes in data processing in the AI era].

See How AI Technology Impacts Privacy Risk1)

▪ Amplify and exacerbate typical privacy risks under privacy laws
Increased volume and scope of data required for AI training exacerbates
risk of indiscriminate collection, use, tracking, and surveillance without
lawful basis
Complex value chains in AI data processing increase security vulnerabilities
▪ AI Technology Creates New Types of Privacy Risks
Connecting trivial or de-identified fragmented information about
individuals→ Predicting behaviors and intentions not contained in training
data (e.g., predicting risk of committing a crime)
Inferring an individual's personality and emotions from physical attributes
about them (e.g., )
Risk of exposing personal information memorized by AI in its raw form
(e.g., name, home address, etc.) 1 --

Steal a person's identity to create fake images, audio, etc.

1) Haoping Lee et al., Deepfakes, Phrenology, Surveillance, and More! A Taxonomy of AI Privacy Risks,
CHI '24, 1-9 (2024).

2 --
2. The need for a risk-based approach
□ A systemic understanding of AI privacy can as a to support
socially necessary AI development innovation, rather than and
uniformly regulating the development of AI technologies.
☞ The need to maximize the benefits of AI technology while
managing and mitigating the negative impacts of AI through a
"risk-based approach " in a r e a s of high uncertainty.

3. Purpose and limitations

□model is designed AI privacy risk factors andand principles risk
management so that AI, core competitive of the digital e r a , can
be in a manner,
○ It is prepared in consideration of AI data processing characteristics ,
risk types , international interoperability , etc. that are currently
being discussed in academia and government.
○ Compliance with this model is voluntary , and AI companies
and others may establish specific AI privacy management systems
based on individual circumstances.

□ This model is also intended to increase the likelihood of

compliance with personal information protection laws for AI
companies organizations, and to provide for security management
systems,
○ When a company, organization, etc. has made its best efforts to
ensure the safety described in this model, the fact of compliance
with the Personal Information Protection Act may be
acknowledged or considered as a mitigating factor in
administrative sanctions.

□ However, the AI privacy management system is in its early stages

globally, and this model is expected to be modified and
3 --
supplemented in the future as technologies , policies, and
standards evolve.
[Example of how to apply the guide
▸ AI model and system developers and providers must comply with the
Privacy Impact Assessment or
Further incorporate the model into privacy reviews, etc,
- You can perform a separate, independent assessment by referring to this
guide
- Also, from a Privacy by Design (PbD) perspective, the contents of this model
can be used to guide the planning of AI systems from the earliest
stages of conception.
▸ When establishing policies related to risk management of AI systems,
governments, research organizations, etc. may refer to the contents of this
model for privacy-related matters.

4 --
2 Applies to Scope
□ ( Applicable to) AI models - and providers, etc.
○ ( Model-System 2) The AI models and other components that data ,
including data collection, storage, transmission, and access
management.
- An AI model is a collection of parameters that represent correlation
between feature values, and is not necessarily inherently
personalized or processed,
- AI providers should also to this , AI models may operate as
part of an AI that involves processing personal , as well as the
possibility of inferring personal information from parameter
values.

See Conceptual diagram of an AI system3)

■ AI systems consist of three main components: 1) sensors that collect input data from the
external environment, 2) operational logic (such as AI models) that interprets the data and
provides output, 3actuators that change the environment based on the output.

Reconstructing the OECD "How artificial intelligence works"

2) Recently, there has been a distinction between AI models and AI systems to determine
whether personal data should be processed and the level of privacy risk, and the global
debate is expected to continue.
Mrs. LLM's memorization and Recognition
Hamburg, storability of personal CCPA, US,
Germany information Academic Research
(Opinion of the Hamburg Data Protection Authority (HmbBfDI), Hamburg, Germany (24.7.15.)) Since
no personal information is stored in LLM, simply storing LLM does not constitute personal
information processing under the GDPR. However, insofar as AI systems comprising LLMs
process personal data through queries outputs, the processing must comply with the

5 --
requirements of the GDPR.
(Amendment to the California Personal Information Protection Act (CCPA) (AB-1008) (effective
25.1.1.)) Includes "AI systems that can output personal information in an "abstract digital
format" where personal information may exist, assuming the risk of memorization and leakage
of personal information by AI systems.
* (Research Trends) Research shows that large-scale language models (LLMs) can act as high-
performance lossless compressors that compress and restore data losslessly (Grégoire Delétang,
Anian Ruoss, Paul-Ambroise Duquenne, Elliot Catt, Tim Genewein, Christopher Mattern, Jordi
Grau-Moya, Li Kevin Wenliang, Matthew Aitchison, Laurent Orseau, et al. Language modeling is
compression. arXiv preprint arXiv:2309.10668v2, 2024).
3) OECD, "How artificial intelligence works", [Link]

6 --
○ ( Developer4 )) AI model and developers can influence decisions on
purpose, scope, and means of AI processing (*), as model and parameter
settings,
- Note that the model the to and control foreseeable that may arise
in downstream stages after development.
* Large training data inputs to pretrain AI models, as well as additional learning such
as ((1) AI model fine-tuning, domain adaptive learning (DAL), and (((2)()) in-context learning
such as pushshot learning,
3 human alignment, and 4 additional data processing during the RAG process

○ ( formulator ) AI model - A is a developed that interacts with

the end through , etc,
- Refer to this model that it forand controlling the of the steps
that result in decisions, inferences, etc. that affect the rights
and obligations of data subjects.

□ ( Scope of Risks) Among the various that may be derived from the
and provision of AI models and the risks that are being
discussed in and abroad in terms privacy.
○ Focuses on or data subject rights violations and risks of privacy due
to the unique characteristics, capabilities, and data
requirements of AI technologies, as identified through literature
research and interviews with companies.
* (Example)▲ Synthetic c➔Causes new threats such as infringement of personality
rights due to deep pockets
▲ AI's automated nature, ability to connect large amounts of data➔ Amplifies
threats of mass surveillance, profiling
▲ AI training requires massive amounts of data➔ Indiscriminate collection and
use of personal information is increasingly possible

○ However, risks presented in this model do not imply that they

true all AI models and .

4) In this model, a "developer" is someone who builds an AI model or system by planning, designing,
training and testing, tuning, etc,
7 --
"Provider" means a person who brings an AI model or AI system to market and distributes it,
either for a fee or for free.
However, the classification system, definition, etc. of AI value chain participants are being
discussed in various ways, and in the privacy area, the main issue is whether personal
information is processed in the process of AI development and provision.
(Basic Act on the Development of Artificial Intelligence and the Creation of a Trust Foundation ⑨)
A person engaged in business related to the artificial intelligence industry ('artificial intelligence
business') is classified as an artificial intelligence development business and an artificial
intelligence utilization business.
(EU AI ACT) Categorized as provider, deployer, etc.
(NIST AI RMF) Categorized into AI design actors, development actors, deployment actors, etc.
(ISO/IEC 42001) Classified as AI provider, AI producer, etc.

8 --
◈ Definition of "risk": the probability of occurrence and magnitude
of harm.
(magnitude) uncertainty.
(NIST RMF 1.0) Defines risk as "a composite measure of the probability of an event
occurring and the magnitude or degree of the consequences of the corresponding
event."
(EU AI ACT) defines risk as "the combination of the probability of an occurrence of harm
and the severity of that harm."

3 " 's Relationship to the Privacy Act and Other Guides,

etc.

□ Relationship to the duty to take safety measures (Article 29)

○ It is difficult to the provision of safety measures based on

traditional personal information files to AI models and systems
such, to and implement measures environment by to the purpose
and intent
(e.g., including safety measures referenced in Chapter 4 (Risk Mitigation) of this
model in the internal management plan pursuant to Article 29 of the Act and
disclosing them in the privacy policy, etc.

□ Relationship to Privacy Impact Assessment (Article 33)

○ If construction and operation of an AI in a public organization

within scope of an impact (*), the conduct an impact assessment may
refer"Guide Conducting a Personal Impact " a supplement to
model.
* Public institutions that establish and operate personal information files falling
under Article 35 of the Enforcement Decree of the Personal Information
Protection Act, or change or link existing systems

○ Private companies etc. are not in the stage of AI model and

and disclosure can autonomously consider conducting impact
evaluation on this model.
Establishment and implementation of a ground rule that allows an additional
reduction of up to 30% of the initial adjustment amount for penalties for
violation of the Personal Information Protection Act if an impact assessment

9 --
conducted in accordance with Article 33 of the Personal Information
Protection Act despite not being an obligated organization.
(Article 10, Paragraph 2 of the Standards for Imposing Penalties for Violations of
the Personal Information Protection Act, enacted on September 15, 2023)

□ Relationship to other guides

○ This model incorporates some of the content of the personal
information committee's other guidelines (guidelines, policy direction, but
refer to individual guidelines specific content.
○ This model is based on Bowie's (AI) Privacy
Autonomous scorekeeping
('21. 5. 31. ) ' replaced by '21. 5. 31. * Reflects the revision of the Personal
Information Protection Act ('23.2)

10 --
Ⅱ . Procedures for AI Privacy Risk Management
□ Today, AI is a general-purpose technology that is used in a wide
variety of contexts and purposes across all sectors of the economy
and society, with different data requirements ( types , shapes, scale, etc.)
and processing methods (types of algorithms, etc.) depending on the
application.
○ Therefore, identifying the specific types and uses of AI is a
starting point for determining the purpose, scope, and privacy
implications of personal information processing.

○ Based on this, you can implement systematic safety management

and measuring specific and measures the risks.

□ Risk management should ideally at AI model/system conception

and development stage for early detection and mitigation of
risks,
○ and risk management recommended because AI system
capabilities and may continue to be after this external factors may
such as unintended or environment.

□ Risk management processes can vary, but a four-step process is

recommended: (❼)identify the type and use of AI, (❼)map the risk ,
(➌)measure risk , and (➍) consider and implement mitigations .

○ These procedures are in accordance with the Privacy Principle ) and

the Risk-Based Approach
(risk-based approach) , and is implemented on the basis of the

○ AI risk management framework under international discussion - similar

to the approach of the standard*
* NIST AI Risk Management Framework (AI RMF 1.0), ISO/IEC 42001:2023, etc.

11 --
❼ ❼ ➌ ➍
AI's Use cases for Risk Mitigation
Measuring
Types - Identify risks Review -
Know your
Understand the ≫ Identify the types ≫ risk Adoption
Determine the ≫ Review and
uses
specific context of of AI models and
probability of implement
AI models and systems identified
occurrence, administrative and
systems, including - and the risks
materiality, technical measures
their purpose, they may pose
acceptability, and to mitigate risk
scope, and the based on their
priority of risks.
data they process. use cases

5) [Principles of Protection under the Personal Information Protection Act (Article 3 of the Act)] ①
Appropriateness of purpose, ② Lawful processing, ③ Accuracy, completeness, and currency, ④
Transparency, ⑤ Safety management, ⑥ Guarantee of data subject rights, ⑦ Minimization of
invasion of privacy

12 --
1 Types of AI - Know what they are used for
○ Globally accepted privacy purposes for which personal is processed be
clear and that the processing be the extent necessary purposes for
which is processed.
○ On the other hand, AI privacy depends on the specific context,
including the purpose, , and being the AI .
- Therefore, it is necessary to identify the type and of the be
developed and provided in order to the to the context the
privacy protection

○ AI privacy risks can be broadly categorized by AI life-cycle and

service purpose.
- Risks may vary depending on the life cycle of the AI, including
the concept-development phase, when learning data is
collected and used , and the service delivery phase, when the
trained AI interacts with real users.
- There are different types of intended purpose use of , such as
generative AI that are general-purpose even in the actual
service provision stage, and AI that are specialized in specific
problems .
[AI Type-Classification of Uses Example].
Separation Concepts
■ (Project Planning) Model-Define the purpose of AI, including the
scope and purpose of the system,
Determine what data you need, whether to use open source, and
Planning more
■ (Data Collection-Preprocessing) Collect training data required to
and
achieve AI objectives and perform preprocessing such as feature
developme selection, feature extraction, and data integration.
nt ■ (Model training) Feed data to learn correlations, such as patterns,
structures, and arrangements.
Additional learning, such as fine-tuning by inputting additional data, domain
adaptive learning, etc.
Includes in-context learning, human alignment, search augmentation generation
13 --
(RAG), etc.

■ (Generative AI) Text, images, and audio using user input and
context,
Systems that create videos and more
■ (Discriminative AI) Categorize or score user inputs into specific
Servic classes to create a
e Predictive systems
deliv ▸ Systems that perform human assessment and categorization
Recruitment AI, credit rating AI, ranking, fraud detection system (FDS), criminal
ery justice AI, etc.
▸ Recommendation system
AI-based personalized ads/recommendations, etc.
▸ Systems that perform factual recognition
Medical assistant AI, autonomous vehicle sensors, biometric recognition AI, etc.

14 --
2 Identify of risks that correspond to uses and map
them to
○ Identify type of AI you've identified and the privacy concerns for your
use case
○ The general risks and provisioning risks of AI included in the
examples below can be considered representative AI and
application-specific risks, but are not your own discretion.
[Example of a risk mapping plan
Separation General risks Privacy risks
■ Unauthorized collection and use
■ Infringement of of learning data
Planning and
rights ■ Improper storage and
development (Copyright, privacy, DB management of AI training data
rights) ■ Diversifying AI value chains
complicate data flows and data
subject rights responsibilities
■ Memorizing training data and
■ Misuse of AI leaking or exposing personal
Generate synthetic content information
AI ■ Infringement of Also applies to risks of discriminative AI
Servic
rights ■ Information from malicious AI
e
■ Security, security synthetic content
deliv
issues Violation of subject rights (such as
ery
using biometrics against the subject's
will)
human ■ Bias, discrimination, ■ Data subjects affected by
Dis Rating/Ca and quality variation automated decisions
cri tegorizati ■ Opacity Weakening rights
on
mi
Recommend ■ Profiling, political polarization
na ■ Mass surveillance and sensitive
ation system
tiv Awareness ■ Bias, quality information inference threats
e of facts deviation
AI

3 measuring of risk
15 --
○ Companies and organizations should use appropriate indicators and
measurement tools 6 and assess probability of △ risk occurrence ,
the of the consequences the organization, and society if △ risk is
realized, and the acceptability △ risk,
△ Determine priorities and more

6) Currently, the development of AI safety measurement tools and metrics is in its early stages
globally, especially privacy risks. However, you can refer to the following AI safety assessment
tools and methodologies provided by international organizations and AI safety research centers
▪ "Dioptra" ([Link] - U.S. NIST develops and releases AI software evaluation platform in
accordance with the AI Executive Order (E.O.14110)
▪ "CataLogue of TooLs & Metrics for Trustworthy AI" ([Link]
- OECD provides a catalog of qualitative and quantitative measurement tools/indicators for AI
safety, transparency, fairness, etc.
▪ "An open-source framework for Large Language modeL evaLuations" ([Link]
[Link])
- An AI safety evaluation platform developed and open-sourced by the UK AI Safety Institute. Can
be used to evaluate models in a variety of areas, including core knowledge, reasoning ability,
and autonomy.
▪ "Guide to Red Teaming MethodoLogy on AI Safety"
([Link]
- The Japan AI Safety Institute released a red team methodology for AI system developers and
providers to assess AI safety from an attacker's perspective.

16 --
- Judgments about risk acceptability and prioritization may be on
relevant and regulatory , such as privacy laws, sensitivities of the
organizational goals, culture, resources, environment, technology
environment, etc.

4 Review risk mitigations and implement (mitigation)

○ Identify risks - review and implement technical and managerial

measures based on the results of measurements.
- Management actions may include periodic measurement and
monitoring of identified risks, documentation of results, establishing
and operating an organization responsible for risk management ,
and gathering and acting on internal and external feedback.

- Technical measures may include, but are not limited to, the
introduction of various performance enhancement technologies
(PETs).

Reference Policy Research Examples for Privacy Commissioners [Appendix]

◈ The KIPC conducted a policy study to analyze the effectiveness of various

types of privacy risk mitigation technologies on the Korean Large
Language Model (LLM).
(Research name) 'Generative AI-related Privacy Risk Reduction Technology Evaluation
Study', (Research period) '24.5.~'24.10. (Research institute) JC Radar, Kyungpook
National University

■ (Research) de-duplication, input/output filtering, and perturbation for four

Korean LLM models.
(perturbation) and pruning techniques and compare the degree of memorization and
representation of personal information before and after the application.

■ (Key findings) Deduplication, input-output filtering, perturbation, and pruning

for the Korean language model.
Verify that mitigation techniques are valid, such as

17 --
- However, even with mitigation techniques, it is difficult to completely eliminate
the risk of memorization, so additional safeguards are needed to ensure
the rights of data subjects, and there is a significant trade-off between the
application of mitigation techniques and the performance of AI models.

■ (Significance and Limitations) Laying the groundwork for science-based AI

privacy risk management policies and systems by demonstrating the
effectiveness of privacy mitigation technologies for Korean LLM models, which lack prior
research.

- However, the experimental conditions and scope of the study were

limited due to limited computing resources (GPU), budget, and
duration→The general applicability of the results of this study is
limited and needs to be supplemented through follow-up research.

18 --
Attac State of the global discussion on AI risk
h1

◈ With the rapid development of AI, there is a global

discussion on the systematic categorization and scientific
assessment of AI risks to properly manage AI safety.

- Privacy risk is being discussed as a type of systemic risk,

alongside growing global inequality, copyright infringement,
job displacement, etc.

□ AI Safety Summit (1st '23.11. , 2nd '24.5. Seoul)

○ Through the AI Safety Summit, leaders of major countries

contribute managing the risks of AI and shaping AI global for the
coexistence humanity and AI.
* (Participating countries and organizations) 28 countries including Korea,
UK, US, Canada, France, Japan, EU, UN, Google , , AI, etc.

- Declarations on AI , including and AI identification (1st session),

and advancing AI safety, and inclusion ( session

- In addition, we jointly published the International Scientific

Report on the Safety of Advanced AI(*) to categorize the
potential risks of general AI, including privacy risks.
* International Scientific Report on the Safety of Advanced AI('24. 5. interim
report)
[Universal AI Risk Classification
Risk Key risks
categorizati
on
■ Personal harm from fake content(*), disinformation and ,
Risk of
cybercrime, and dual-use science risk
maliciou
* Creating fake and content without an individual's consent, such as
s use
phishing attacks, , etc.

19 --
Risks ■ Risk from product functionality issues, bias (risk from bias
from and underrepresentation), and loss of control
malfuncti
ons
■ Labor market risk, global AI gap, market concentration risk
and single point of failure, environmental risk, privacy
Systemi
risk*, copyright infringement
c risk
* When using adversarial inputs, models can extract training data that contains
information about individuals
- Models trained sensitive personal information (health, financial, etc.) can result in
significant privacy leaks
- Potential to effectively and efficiently retrieve sensitive data to infer and
abuse personal information

Cross-risk ￭ Cross-blocking technical risk factors, cross-blocking social risk

factors factors *
* Imbalance between the pace of technological advancement and
regulatory response, etc.

20 --
□ G7 Hiroshima Process
○ At the G7 Summit ('23 May) , it was agreed to establish the
' Hiroshima AI Process' to codify international norms on the
potential risks of AI technologies.
* (Participating countries) US, Japan, Germany, UK, France, Italy, Canada, EU

- The results of a survey conducted by the host country ( Japan) among

G7 countries (September 23, 2013)
G7 nations recognize privacy erosion risk as a major risk of generative AI
[Survey Key Findings
Research Ranking results
topics
Generative (1) misrepresentation and manipulation; 2) intellectual
AI's property infringement3invasion of privacy,
Key risks ➃ Exacerbate bias and discrimination, ⑤ Threaten
safety, ⑥ Threaten cybersecurity
Prioritize (1) responsible use of technology, (2) addressing
principles for misleading information, 3governance,
generative AI by ➃ Promote transparency, and ⑤ Protect intellectual
urgency and property rights.
importance (Other urgency) Privacy and data governance, human
rights and fundamental rights, etc.

- Announced the Code of Conduct for to Manage AI Risks (.

* 11 actions, including managing AI lifecycle risks, enhancing
transparency and accountability, developing risk management policies,
including privacy policies, and protecting personal data and
intellectual property

□ ML Commons (MLCommons) AI Safety Benchmarks

○ ML Commons * , a private consortium, has developed AI Luminate

(** ) ,
a benchmark for safety testing of large language models
(LLMs).
* (ML Commons) A consortium of researchers, engineers, and
practitioners from industry and academia to build the reliability, safety,
21 --
and efficiency of AI technologies (since 23), with members including
Google, Meta, NVIDIA, Samsung Electronics, Naver, and Puriosa AI.
** (AILuminate) Benchmark to based on LLM's responses to over 24,000
test prompts across 12 risk categories (V.1.0 released in December)

- To create the AI Safety Benchmark, we have categorized

AI into 12 hazard categories , including privacy as one of them.
Child sexual CBRNE ③ Sex-related Suicide and self-
exploitation crimes harm
⑤ Violent ⑥ Defamation ⑦ Hate Non-violent
crimes crimes
⑨ Intellectual ⑩ Privacy ⑪ Sexual ⑫ Professional
Property Rights content advice

22 --
Attac Principles of an oriented risk management
h2 framework
◈ Organizations and institutions that wish to establish and
implement a risk management framework based on this
model are encouraged to consider the following principles

□ Context-specific approach
○ Depending on the use and type of AI, individual contexts are
taken account to identify, assess, respond with a customized,
approach.
Avoid applying one-size-fits-all controls without considering individual AI
characteristics

□ Coherent
○ However, for consistent and predictable risk management, AI uses
are categorized by the stage of processing and how they
interact with humans.
□ proportional , granular

○ Set the control intensity for risk management to progressively

increased in the assessed risk level.
□ approach
○ Given the rapidly changing technology landscape, we maintain
technology neutrality by managing with principles rather than
overly fine-grained specifications for individual technologies.
□ measurable, commensurable
○ Even with a principles-based approach, there is a clear set of risk
measurement and mitigation measures that can be applied
directly in the AI development and service field.
□ Stakeholder participation
○ In particular, the use of AI by
23 --
utilization of AI , Ensure the participation of data subjects
and citizens and actively solicit their views.
□ interoperability
○ Cultural characteristics of our country , and diversity ,
interoperability with international standards, etc. within the
scope of capturing the cultural, diversity, and inclusiveness of our
country.

24 --
Attac Standards for AI risk management
h3

□ National Institute of Standards and Technology (NIST), AI RMF

1.0 (2023)
○ Provide a standard AI risk management four phases (governance, mapping,
measurement, and management )
Steps Key takeaways
① Establish policies, procedures, and practices for mapping, measuring, and
managing AI risks in the organization, transparently disclose them, and
I. effectively implement them
Establish a responsibility structure by assigning authority and responsibility
Governanc for mapping, measuring, and managing AI risks to appropriate
e (Govern) departments and individuals and conducting training.
Prioritize workforce diversity, equity, inclusion, and accessibility processes in
mapping, measuring, and managing AI risks across the lifecycle
HR is committed to a culture of considering and communicating AI risks
effectively
Establish procedures for solid collaboration with relevant AI actors
AI risks/benefits arising from third-party software, data, and other value
chain issues.
Create responsive policies and procedures
Set the context-understand
II. Implement categorization of AI systems
Understand AI capabilities, targeted uses, goals, and expected benefits and
Map costs against appropriate benchmarks.
ping ➃ Map the risk-benefit of all AI system components, including third-party
(Map software and data.
) Characterize the impact on individuals, groups, communities, organizations,
and society.
III. Identify and apply appropriate methods and metrics
Evaluate the reliability of your AI system
Measure Create mechanisms to track identified AI risks over time
➃ Gather and evaluate feedback on the effectiveness of your
measurements
Prioritize, respond to, and manage AI risks based on evaluation of mapping
and measurement capabilities and other analysis results
IV. Plan, prepare, implement, and document strategies to maximize the benefits
管理 and minimize the negative impacts of AI with input from relevant AI
actors.
(Manage
Manage AI risks and benefits from third-party organizations
) Document risk handling, including response, recovery, and communication
plans for identified and measured AI risks,
Periodic monitoring

□ ISO/IEC 42001:2023-Information Technology-AI-Management-

25 --
Systems
○ Categorize your AI risk management as follows
Management Key takeaways
systems
■ Understand the organization and its context, understand the needs and
Organization
expectations of stakeholders, and understand how the AI management
al context system
Determining scope, AI management systems
Leadership ■ Leadership and Commitment, AI Policy, Roles-Responsibilities-Authorities
■ Actions to address risks and opportunities (AI risk assessment, AI risk
Planning
remediation, AI system
impact assessment), AI-related goals and plans to achieve them, and
plans for change.
Support ■ Documenting resources, capabilities, awareness, communication, and
information
Operations ■ Operational planning and management, AI risk assessment, AI risk
remediation, AI system impact assessment
Performance ■ Monitoring/Measurement/Analysis/Evaluation, Internal Audit,
evaluation Management Review
Improvement ■ Continuous improvement, nonconformances, and corrective actions
s

26 --
III. Identify risks
1 Planning - Development phase


Overvie
w

□ The AI planning development stage is the stage where set the

specific purpose AI , collection mechanism required achieve the ,
AI model and configuration to be used, and train the model,
○ Laying the foundation for a risk management system that spans
the entire life cycle of AI based on the principles of Privacy by
Design ( PbD )(*)
* Privacy by Design: The principle of designing technologies and policies that
consider user privacy throughout the entire lifecycle of personal information
processing, from the planning stage when developing products and services to
the entire lifecycle of personal information processing.

[Things to consider during the planning and development

phase].
Separation Highlights
 (Purpose) Predicting future outcomes (e.g., stock price forecast,
demand forecast, etc.)
Prediction  (Data) Time series data
systems  (Model Architecture) Regression, Recurrent Neural Networks (RNN),
Transformers, etc.
 (Privacy risk) Risk of exposing behavioral patterns such as user
spending habits
 (Purpose) To classify given data into a specific category (e.g., , diagnosis, image
categorization, etc.)
Taxonomy
 (Data) Datasets with labels (e.g., email text, image data, etc.)
system  (Model architecture) Logistic regression, decision trees,
convolutional neural networks, etc.
 (Privacy risk) Sensitive information such as personal emails and health
records, which are the basis for classification, is available or exposed
 (Purpose) Recommend items that match your tastes (e.g., movie,
music, shopping recommendations, etc.)
Recommen  (Data) User profile data, past conversation history data, etc.
 (Model architecture) Content-based filtering, recommendation models
27 --
dation using reinforcement learning, etc.
 (Privacy risk) Concerns about profiling sensitive information in personalized
system recommendations

 (Purpose) Understand and create text data (e.g., chatbots,

Natur translators, sentiment analysis, etc.)
al  (Data) Text data, such as chat , news articles, review data, etc.
Lang  (Model Architecture) Transformer-based BERT, GPT models, etc.
uage  (Privacy risk) Exposure of sensitive information, exposure of
Syste psychological state in emotion prediction process
ms
 (Purpose) Understanding and analyzing image or video data (e.g.,
Computer facial recognition, autonomous driving, etc.)
vision  (Data) Images, video data, labeling data
systems  (Model Architecture) CNN, R-CNN, transformer-based models, etc.
 (Privacy risk) Risk of identification and surveillance through facial
recognition

□ AI models are the core components of AI and are developed

through the AI learning process in which identify statistical
correlations such as , , and arrangements of through large-scale
data. 7)

28 --
○ Training data consists of available data, user data, data, data, etc.
depending on the intended purpose of the AI model or , and is likely
to contain

□ The personal information contained in the training data subjected

some form of aggregation during compression and transformation, such
as tokenization and embedding, which identifiability.
○ In addition, AI are not necessarily of AI models alone, but are
developed and operated through , including user interfaces, input
and output systems , and other elements (search augmentation ).
* Retrieval-Augmented Generation (RAG): An approach that integrates a
generation model with a search engine to generate answers by using database
search results relevant to a user query to augment .

○ Therefore, the AI is and stage, it cannot be concluded the model

itself is a realization of the .
○ However, if the learning data contains personal information,
the collection and use of the learning data constitutes personal
information processing, so AI model and manage the of the
model training .

□ On the other hand, as AI learning requires huge computing

and data resources, third-party AI models in the form of open
source and API 8) are actively utilized instead of self-developed
AI models.
○ This may lead to unnecessary transfer of personal information,
off-purpose use , and lack of security, so it is necessary to review
the distribution of responsibilities among business entities in
advance from the planning stage.

7) General-purpose AI models are models that are pre-trained on large amounts of data, often
through self-supervised learning, and then further trained, such as through fine-tuning and
domain adaptive learning (DAL), to adapt to various downstream tasks. AI models for specific
tasks are trained using traditional supervised learning, unsupervised learning, and
reinforcement learning methods.
■ Supervised Learning: which AI from data; most widely used in AI applications
■ Unsupervised Learning: which AI from unlabeled data, useful for finding hidden patterns,

29 --
structures, etc. in and amounts of data.
■ Self-supervised learning (seLf-supervised Learning): A for AI to by acquiring for data on its
own based on relationships between data, useful for tasks such as predicting or certain parts of
data from other parts.
■ Reinforcement Learning: Driving AI to choose better behaviors by allowing it to choose actions
in a given environment and receive "rewards" or "punishments" as a result.
8) Open Source: Software source code is publicly available through a platform (a hugeface in
the AI field ⑨) ⑨ and can be freely used, modified, and distributed by anyone (however,
there be some restrictions depending on the open source license). Advantages include cost
savings, transparency, and continuous modification by the developer community, but the
open source code may be exposed to attacks that exploit source code vulnerabilities, and
there be a lack of official technical support when issues arise.
API (Application Programming Interface): An interface defined to allow different software to
interact with each other. The source code is not disclosed, but specific services or
information be provided through API calls. Advantages include increased development
efficiency and ongoing maintenance by the API provider, but increase service development
costs (if paid) and external dependencies.

30 --
 Risk types

 Unlawful collection and use of learning data

○ Because the size of the training data directly affects model

performance, the advancement and proliferation of AI
technology expands the need for large-scale personal information
collection and use.

- This increases compliance risks for companies, including ensuring the

lawfulness of the collection and use of personal information ( Articles
15, 17, 18 , etc.), and makes it more difficult to implement privacy
principles such as clarity of purpose, the principle least ,
minimization , and .

○ The AI learning data is▲ (disclosed)(made) defined collected) collected) (collected)plan,▲ 旣

held in)(the) (AI) learning purpose by re use plan , ▲consent - 계 약 등에 기 반하여 정 보 주체

from 직) 접 수집 하는 방안 ,▲ 협 (력) (사) (등) (제 ) (3)(자에) (게) (제) (공받는) (방안) (등) (다양)

(한) (형) (태) ()(수집) () ()(용되) ()(있) (음)

- On the other hand, the size , type , and main source of AI

training data vary depending on the development stage of
the AI model and the purpose of the training.
(Example) ▲ Developing a model that is a base model such as the Large Language
Model (LLM) → Utilizing web scraping data, etc. because large-scale training
data is required, ▲ Fine-tuning the LLM → Utilizing data that you build yourself
because relatively small-scale training data is required depending on the
purpose.

○ AI models - ensure that the collection and use of personal by the

source from which data is collected, and strive thetransparency to
* (1)Additional learning, such as fine-tuning AI models and domain adaptive
learning (DAL), 2 in-context learning, such as pure shot learning during the
development process, 3 human alignment, and 4 search augmentation generation
(RAG) are required for AI system developers who want to use the model.

- In particular, separate review is required if the personal

31 --
information includes personal sentiment information, unique
identification information, resident registration number , account
information, credit card information , and personal
information of children under the age of 1-4, which are specially
protected under the Personal Information Protection Act (Articles 22(2),
23, 24, 24(2), 34(2), etc.
If it is determined that there is a high probability that the above data is included
depending on the source of learning data collection, it is necessary to take
enhanced safety measures in the pre-learning phase.
(△removes personally identifiable information,△ excludes web crawling of the
'Korean data subject's personal information exposure page (URL) provided by
the Personal Information Protection Commission-Korea Internet & Security
Agency, etc.)

32 --
Attac AI Training Data Collection - Lawful Basis of
h4 Use Examples

The legality of collecting and using publicly available personal

information and user data for AI learning purposes, which
are typically in high demand for AI learning, can be referred
to the following examples

□ Publicly available personal information, such as web data

○ Publicly available personal information is personal information

that is legally accessible to anyoneprimarily is collected from
publicly accessible sources using web scraping techniques AI
training the data contains personal information.
- It is not limited to personal information disclosed by the subject
itself, but also includes personal disclosed by law - publicly
personal information, personal reports contained in , media, etc.

○ ( Lawful basis ) The legitimate interests clause (Article 15(1)(6) of

allows consideration of the specific context of
the Act), which
the AI proposal, may be the substantive lawful basis.
For details, refer to "Guide to Handling Publicly Available Personal Information for
AI Development and Services" (24.7.).

- To be recognized as " legitimate interest," the data must

three :△ legitimacy of the purpose ,△ necessity of processing,
and△ specificity of the of the interest.
(No. 6) Necessary to achieve the legitimate interests of the controller and clearly
overrides the rights of the data subject, that such interests are
substantially related to the legitimate interests of the controller and do
not exceed a reasonable scope.

Requiremen Key takeaways

ts

33 --
■ Existence of a legitimate interest of the controller
Legitim - Clarify legitimate interests by specifying the purposes and
acy of uses of the AI you intend to develop through the
purpose processing of disclosed personal data
* (e.g., medical diagnostic assistant, credit rating, LLM for text
generation, categorization, translation, etc.

Need ■ The necessity, substantiality, and reasonableness of the

for collection and use of the disclosed personal information
processi is recognized
ng (Example) When developing AI for medical diagnosis, irrelevant
information such as individual income and property is excluded from
learning.

■ The legitimate interests of the controller clearly override

Specifi the data subject's rights
c Profit - To meet the 'obviousness' requirement, take measures to
Shaping ensure that the interests of the personal information
processor are prioritized by (i) securing safety measures to
prevent infringement of the rights of the data subject and
(ii) preparing and implementing measures to ensure the
rights of the data subject

34 --
□ User personal information

○ In the case of user personal information, such as a c c o u n t

information (ID, contacts, etc.), user content (such as input prompts that

include information), and behavioral information is personal

information, that is lawfully collected the course of providing service,
we may use it if we a lawful basis do so.

- In particular, in the AI environment, there is a demand for

utilizing user personal information for various purposes such
as improving existing AI services and developing new AI services.

○ ( Lawful basis ) Companies, organizations, etc. can autonomously

select and operate the lawful basis based on their own
assessment of the relevance of the purpose for which the
information was originally collected.

- If it is within the scope of the original purpose of collection,

such as service improvement, the user's personal information
may be used for AI learning, technology research, statistical
compilation, etc.
Cases Online platform operators may use existing usage records
collected to prevent fraudulent activities of operators using their
platforms and protect the interests of legitimate users to operate a
fraud detection system (FDS) that incorporates AI technology.

- In the case of new service initiatives that are reasonably related *

to the purposes for which they were originally collected,

additional uses (Art . 15 (3) ) can be reviewed on lawful grounds.

35 --
* e.g., a particular AI development is reasonably related if it is connected to the
Cases relevance may be recognized when using existing service usage
information to develop AI chatbot counseling functions to provide
efficient AS consultation for members who originally signed a
shopping mall service use contract.
original service and its user benefits.

- If want to use AI learning for the purpose of developing a new

service that is separate from the original service, you must obtain
pseudonymization (§ 28(2) of the Act) or separate consent (§ 15① (1)
of the Act) before using it.
Cases For medical AI research and development to diagnose or assist

with specific diseases, hospitals can use the

When using MRI, CT, X-ray photos and videos as training data after
◆ The Personal Information Commissioner's Office plans to
pseudonymization
specify and guide the lawful basis interpretation standards
applicable to the use of user personal information for AI
model training in the future.

36 --
 Improper storage and management of learning data

○ Personal information security threats *, such as leaks, may exist inside

or outside the organization if the server that stores the learning
data is not secure , or if measures to limit access rights and control
access to the learning data are not in place.
* (Internal) Leakage of personal information due to unauthorized access to the
learning data server by internal employees, risk of combining personal
information and identifying individuals due to improper data separation and
storage, etc.
(External) A backdoor was inserted into the training data server, allowing a
malicious attacker to access the server.

○ Learning data sets are typically so large that a breach could have a
significant impact on a large number of individuals, requiring
secure storage and management.

□ The complexity of data flows in the AI value chain

○ In process of developing and operating AI you AI model to

implement certain functions through APIs, etc., including
personal be transferred the party for processing,
- In this case, the outsourcing of personal data processing (Article 26) and
the international transfer of personal data
(Article 28(8) of the Act) and comply with relevant regulations.

Cases of outsourcing personal information processing for AI service

Cases operation and transferring personal information overseas

‣ SKT entrusts the processing of personal information to MS (using Azure

OpenAI service*) to provide functions such as data summarization through the
[Link] service, and to Google cloud platform and Naver Cloud Corporation to
provide interpretation call functions.
* A service where MS provides access to OpenAI's AI models via private API calls
through a private instance of the service hosted on Azure.

37 --
* (Reference) Distinction between third-party provision and outsourcing
(Supreme Court, July 4, 2017, ruling 2016 No. 13263)
‣ (Provided by a third party) When personal information is transferred beyond
the scope of the original purpose of collecting and using personal information
for the business processing and interests of the person to whom the information
is provided (Article 17 of the Act applies)
‣ (Delegation of processing) When personal information is transferred for the
consignee's own business processing and interests related to the original
purpose of collecting and using personal information (Article 26 of the Act applies)
- The Custodian shall have no independent interest in the processing of personal
information other than to receive payment from the Controller for the processing of
the entrusted business, and shall process personal information only within the scope of
the entrustment under the management and supervision of the Provider.

38 --
 Complicating data subject rights responsibilities in the AI
value chain

○ Diversification of AI value chain participants * may blur and

complicate management responsibilities (e .g., safety measures) for
end AI services and responsibilities for ensuring data subject
rights.
- ▲ Those who develop and distribute AI models or use them themselves, ▲
those who host third-party models (e.g., MS's Azure OpenAI service), ▲ those
who develop and deploy final AI systems using third-party models through open
source, APIs, etc.

- If the proper distribution and execution of roles among AI value

chain participants is not ensured, it may lead to infringement of
data subject rights and of in service.

○ AI risk management and mitigation measures that can be

taken by each participant, measures to support the exercise of
data subjects' rights, and the scope of risk control may vary and
may affect each other, so careful review is required.

2 Deliver the service Steps


Overvie
w

□ Once developed and trained, AI systems deployed and utilized in

contexts through human interaction.

○ field of application of AI continues to expandthe impact of AI

system simple full automation9).

□ The AI receives data from provide AI-based and services and

39 --
outputs inference results of such as synthetic content, evaluation
results, and inprocessinfringement of the rights of data subjects may
realized.
○ The input data output data of AI contain , such as the privatethe , or
may contain that is collected or inferred inways not by the
data .

9) AI systems are evolving to use near-human cognition to autonomously determine and execute
actions to achieve goals, minimizing human oversight.
* (Example) Development of AI agents that autonomously analyze situations and take over human
tasks such as payments and reservations.

40 --
□ However, all AI systems have privacy, and depends purpose and
output of the , so individually.
○ generative AI systems that output synthetic content such as text,
images, and videos, the itself may contain or expose information or
the the synthetic content may violate the rights of data
subjects.
○ In the case of judgmental AI, which outputs information-based
evaluation, classification , and cognitive results, there are issues
such as excessive or inappropriate collection and use of personal
information for inference, and reduced transparency due to the black
box nature of AI *.
- The structural complexity of neural networks makes it difficult to understand the
logic and process behind the AI's predictions.

□ On other hand , AI can be continuously modified and with

additional , feature development, etc. even after deployment,

○ In this case, efforts such as collecting learning data, securing the

legitimacy of suspicions, etc. are required AI planning and reviewing
the reviewed in the development phase.

See AI system before and after deployment conceptualization10)

41 --
10) OECD, "What is AI? Can you make a clear distinction between AI and non-AI systems?",
[Link] '24.3.6.

42 --
 Risk types

 Memorizing Training Data and Leaking or Exposing

Personal Information (Generate AI, Determine AI)

○ A malicious actor may attempt a cyberattack to obtain AI

training data.
- Attackers can use membership attacks, model , and to certain is in the
or to reconfigure data.
However, there is a view that training data extraction attacks remain theoretical or
academic and are unlikely to be exploited in practice.
Discriminative models may be more vulnerable to membership inference attacks
than generative models because they include confidence values in their output
that can be used to infer membership.

[Image extracted using random and membership inference attack11)

【Example Example of cyberattack for the purpose of inferring and extracting

training data]
Separatio Description.
n
 Predict whether a particular piece of data is in the training
Members
data by analyzing * the predictive confidence derived
hip
inputting the data into the targeted model.
inference * Based on the model's tendency to assign higher confidence to samples
attacks that are present in the training data
(Membership * Early research focused on attacking discriminative models, such as
Inference Attack) adversarial generative neural networks (GANs).
Expanded to study attacks against generative models12)

Model  Attackers reconstruct training data by leveraging

transposition interactions with the target model (queries and responses)
and the rich information within the model output.
attacks
Attacks
exist across multiple modalities, including computer vision, language models,
(Model Inversion
and graph learning models13)
43 --
Attack)

 Attackers infer additional attributes about individuals

Attribute based on partially known information.
Inference * (Example) An attacker with knowledge of a specific individual's
medical history could use a similar medical history to create a
Attacks Attempt to use the trained model to infer an individual's
(attribute genotype14)
inference)

11) Nicholas Carlini, Extracting Training Data from Diffusion Models,

[Link]
ni, 2023

44 --
○ 또한 악의적인 목적이 아니더라도 일반적인 사용자가 서비스를
, AI

이용하는 과정에서 학습시 암기된 토큰이 출력단계에서 재조립 및

역류될 가능성도 존재
※ 관련 연구들은 생성모델이 생성하는 시퀀스가 훈련데이터에 있는 문구를 그대로
(verbatim) 출력할 확률을 0.007%에서 4.85% 사이로 측정15)

○ 생성모델의 암기 및 개인정보 유 노출 위험은 생성 방식과 · (generation)

검색 방식에서 구분됨
(retrieval) 16)

생성 방식 토큰이 단어나 형태소 단위인 경우 통상 토큰 자체에

- ( )

식별성이 있지는 아니하나 확률적으로 선정된 토큰들을 조립하여 ,

생성하는 과정에서 암기된 토큰이 재조립되어 역류되어 개인정보가

침해되는 문제가 쟁점임
검색 방식 시퀀스를 전체적으로 출력하므로 준식별정보간 결합으로
- ( )

인한 식별위험 등 리스크가 생성방식보다 높으며 데이터 복제와 ,

관련된 전통적인 개인정보 침해 리스크와 상대적으로 동질적인

리스크가 있다고 평가할 수 있음
▲ (언어모델) 과거엔 검색 방식(이루다 1.0, XiaoIce)도 사용되었으나 현재는 생성
방식(ChatGPT, Gemini, CLOVA X, 이루다 2.0)이 주로 사용됨
- 단, 검색증강생성(RAG)은 외부 지식 베이스의 검색 후 이를 활용한 생성이
이뤄지므로, 아키텍처 별 개별적인 리스크 평가 필요

▲ (T2I(text-to-image) 모델* 또는 T2V(text-to-video) 모델**) 비전트랜스포머(ViT)는

생성 방식. CLIP은 검색 방식이나, 발산모델(diffusion model) 등 픽셀 단위로
합성하는 모델과 결합되면 리스크가 상대적으로 경감될 수도 있으므로, 리스크가
일반적인 검색 방식에 상응하는지 여부에 대해서는 모델 별 개별적인 평가 필요
* Dall·E, Midjourney, Stable Diffusion 등 ** Sora 등

12) Jamie Hayesy, Luca Melisy, George Danezis, and Emiliano De Cristofaro, LOGAN: Membership
Inference Attacks Against Generative Models, arXiv:1705.07663v4 [[Link]] 21 Aug 2018
13) Hao Fang, Yixiang Qiu, Hongyao Yu, Wenbo Yu, Jiawei Kong, Baoli Chong, Bin Chen, Xuan Wang ,
Shu-Tao Xia, Privacy Leakage on DNNs: A Survey of Model Inversion Attacks and Defenses,
arXiv:2402.04013v1 [[Link]] 6 Feb 2024
14) M. Fredrikson, E. Lantz, S. Jha, S. Lin, D. Page, and T. Ristenpart, \Privacy in pharmacogenetics:An
end-to-end case study of personalized warfarin dosing," in USENIX Security Symposium, pp. 17~32, 2014
15) Nikhil Kandpal, Eric Wallace, and Colin Raffel, “Deduplicating Training Data Mitigates Privacy Risks
in Language Models,” arXiv:2202.06539 (2022), p. 7; Jooyoung Lee et al., “Do Language Models Plagiarize?”
arXiv:2203.07618 (2022), p. 6.
16) Daniel Jurafsky and James H. Martin, Speech and Language Processing (3rd Ed. (draft), 2020), p. 24.2:11
(2021. 3. 14. 기준); Jurafsky and Martin, Introduction to Chatbots and Dialogue Systems, 2024, pp. 48–
57, [Link] (2024. 3. 11. 기준).

- 23 -
(생성 AI)
 악의적 AI 합성콘텐츠로 인한 정보주체 권리침해

○ 딥페이크 성범죄 생성 기술이 이미지 영상 음성 분야로 발전하면서

(
*
) , ,

이를 악용해 생성한 아동·청소년 성착취물 (child sexual abuse material;

비동의 사적 이미지
CSAM), 가 심각한
(non-consensual intimate image; NCII)

사회이슈로 대두
* 반포 등을 목적으로 사람의 얼굴·신체·음성을 대상자 의사에 반하여 성적 욕망 또는 수치심을
유발하는 형태로 합성하거나 해당 합성물을 유포하는 행위(성폭력처벌법)

-성적 허위영상물을 생성하기 위해서는 피해자 의사에 반하는 얼굴 ,

신체 등 생체정보 이용이 요구되는 바 피해자의 성적 자기결정권뿐 ,

아니라 인격권 및 개인정보자기결정권도 침해

○ 기만적 오용 피편취자 소비자 투자자 유권자 등의 기만이 주요 사회적
( ) · · ·

리스크이나 프라이버시 측면에서는 얼굴·목소리·생체정보 등을 도용당한

,

정보주체의 평판을 손상시키고 개인정보자기결정권을 침해

(판별 AI)
 자동화된 결정으로 인한 정보주체 권리 약화

○ AI기술이 발전함에 따라 사회 각 분야에서 개인정보에 대한 자동화된

처리 및 이를 통한 개인의 행동 분석·예측·평가가 활발
※ (예) △ AI 면접을 통해 입사지원자의 개인정보를 분석하여 합격 여부를 결정, △ AI를
통해 개인의 신용도를 평가하여 대출 승인 여부를 결정 등

○ 이는 의사결정의 일관성을 보장하고 효율성·신속성을 높이는 등 다양한

사회적 편익을 가져오고 있지만 ,

-의사결정 과정의 불투명성 개인에 대한 낙인·차별 등 새로운 형태의

*

프라이버시 위험 기본권 침해 위협도 야기 ,

○ 개인정보 보호법은 자동화된 결정에 대한 정보주체의 권리로 거부권 ,

설명 및 검토 요구권을 보장하고 있어 필요한 조치 방안을 마련·이행 ,

했는지 여부가 법 준수 리스크로도 작용할 수 있음

‣ (관련 법조항) 제37조의2, 자동화된 결정에 대한 개인정보처리자의 조치 기준(고시) 등
‣ (관련 안내서) 자동화된 결정에 대한 정보주체의 권리 안내서(‘24.9.26.) 등

- 24 -
(판별 AI)
 대중감시 및 민감정보 추론 위협

○ AI기술은 수집 분석되는 데이터 종류 및 양을 확대하고 관찰된

·
*
,

데이터 간 상관관계를 효과적으로 분석

※ (예) 전통적 맞춤형 광고는 웹사이트 방문 기록, 검색기록 등 정형데이터에 의존했으나,
AI 기반 맞춤형 광고의 경우 실시간 행동 패턴, SNS 활동 등 비정형 데이터까지 활용

이는 범죄 예방 건강·안전 모니터링 등 사회적 필요성이 높은

- ,

서비스를 가능케 하지만 악용될 경우 개인에 대한 감시 우려를 증폭

,

특히 공공장소에서 불특정 다수의 얼굴 등 생체인식정보를 인지하여

-

신원을 파악하는 기술은 대중감시 우려를 유발

○ 기술은 얼굴 목소리 등 생체정보 등을 기반으로 사람의 감정 및
AI ,

성적·정치적 성향 등 민감정보를 프로파일링하는 능력을 보유

이는 의 고유한 학습 및 추론 능력에서 비롯되는 리스크로서
- AI ,

객관적 입증 및 설명이 어려운 알고리즘에 기반한 새로운 형태의AI

민감정보 추론 리스크를 유발
※ EU는 개인의 육체·정신적 특성을 활용하여 정치성향, 종교신념, 인종, 성적취향 등 민감한
데이터를 추론하기 위한 시스템을 「AI ACT」의 금지 AI에 포함하는 등 높은 규제 수준 설정

- 25 -
Ⅳ. 리스크의 경감

※ 본 장에서 제시되는 모든 관리적·기술적 경감조치가 AI 모델·시스템에

필수 적용되어야 하는 것은 아니며,

- AI 모델·시스템 개발자 및 제공자는 개별 맥락에 따라 식별한 프라이버시

리스크를 경감하기 위해 「최적의 안전조치 조합」을 마련·시행

1 관리적 조치

 학습데이터 출처·이력 관리

○ 개인정보를 포함하는 학습데이터 수집 출처별로 개인정보 수집·이용의

적법성을 확보했는지 판단하고 출처·이력을 관리
○ 개인정보보호위원회와 한국인터넷진흥원의 개인정보 노출 및 불법 ‘

유통 탐지·삭제 사업 을 통해 식별된 도메인 정보 는 학습데이터

’
*
(URL) AI

수집 출처에서 배제할 필요
* 공공·민간 홈페이지를 대상으로 주민등록번호, 여권번호, 운전면허 정보, 계좌정보 등 9개
항목의 개인정보 노출 및 불법유통 탐지·삭제

○ 최소 수집 목적 명확화 등 개인정보 보호법 원칙을 고려하여 학습데이터

,

수집·전처리·이용 기준 을 미리 정하고 이를 개인정보 처리 방침 기술

*
, ,

문서 등에 공개하는 것을 권장
, FAQ

* AI 시스템 개발에 필요한 데이터양(volume), 범주(민감정보, 행태정보 등) 등을 고려하여,

개인정보의 주요 수집 출처, 수집 방법, 최소 품질기준, 안전성 확보 조치 방안 등 포함

- 학습데이터 수집 이용 기준은 알기 쉬운 용어로 구체적이고 명확하게

·

표현하여야 하고 특히 해외사업자의 경우 국내 이용자가 이해할 수

,

있는 쉽고 명확한 한국어 정보를 제공하여야 함

※ 표준 개인정보 보호지침 제18조(개인정보 처리 방침의 작성 기준 등) 참고

‣ (관련 법조항) 제3조, 제15조, 제16조, 제17조, 제18조, 제19조, 제20조, 제22조, 제23조,
제24조, 제24조의2, 제34조의2 등
‣ (관련 안내서) AI 개발·서비스를 위한 공개된 개인정보 처리 안내서(‘24.7.) 등

- 26 -
 안전한 보관·파기 방안 마련 및 실행

○ 부적절한 학습데이터 보관으로 인해 학습데이터 內 개인정보가 유·

노출되거나 이용자 등과 결합되어 개인이 식별 및 민감정보가
, DB

추론되는 리스크를 방지 예방하기 위하여 학습데이터에 대한 접근통제 · ,

접근권한 제한 접속기록 관리 등의 조치를 시행하고 , ,

-보안프로그램 설치 보관시설의 물리적 보안장치 마련 등 이행 ,

○ 학습데이터의 처리 목적 등을 고려하여 보유기간을 설정하고 처리

AI ,

목적 달성 보유기간 경과 등으로 개인정보가 불필요하게 되었을 때는

,

지체없이 복원 불가능한 방법으로 파기

‣ (관련 법조항) 제3조, 제29조, 제21조 등

 AI 가치망 참여자간 역할 명확화

○ 개인정보처리 위탁 개인정보의 국외이전 해당여부를 검토하고 개인정보

,

보호법 관련 규정 준수 필요
- 처리위탁 위탁 목적 외 개인정보의 처리 금지 기술적 관리적 보호조치
( ) , · ,

위탁업무의 목적 및 범위 등을 포함한 문서로써 업무를 위탁하고 ,

위탁자는 개인정보처리방침 등을 통해 위탁사실과 관련된 내용을

정보주체에게 공개하는 등 보호법상 규정 준수
국외이전 정보주체와의 계약의 체결·이행을 위해 개인정보의 처리
- ( )

위탁·보관이 필요한 경우로서 국외이전과 관련한 사항을 개인정보

처리방침에 공개한 경우 정보주체로부터 별도의 동의를 받은 경우 등 ,

국외이전의 적법근거 확보 등 보호법상 규정 준수

‣ (관련 법조항) 제26조, 제28조의8조 등

○ 개발 제공 전주기 참여자간 적절한 역할 분배·실행을 보장하기 위해

AI ·
계약 라이센스 사용지침 등의 수단을 검토
, ,

- 참여자별로 취할 수 있는 역할 및 역할분배 수단은 모델의 개방 AI

단계 오픈소스 모델 모델 등 에 따라 달라질 수 있음
( , API )

※ (예) [오픈소스] 모델 개발자는 개인정보보호를 고려한 이용방법, 조건을 명시한 라이선스를

수립·배포, [API 모델 등] API 이용 사업자가 개인정보 보호를 준수하도록 계약상 의무 부과

- 27 -
사 례 네이버 CLOVA Studio AI 윤리 가이드 사례

‣ 네이버는 자사 AI 서비스인 CLOVA Studio를 제3자가 이용할 경우에도 자사의 AI 윤리

원칙과 정책을 준수해야 함을 명시하고, 이를 촉진하기 위해 설명 제공, 기술도구 제공,
심사과정에서의 개선사항 제안 등의 의무를 이행할 것을 약속
- 또한, 사용자에게 함께 제공되는 자사 AI Filter를 이용할 것을 의무화하는 등 AI 악용
위험성을 완화하기 위해 노력하고 있음
※ 네이버는 위와 관련한 사항을 'CLOVA Studio AI 윤리 가이드'로 공개 중

사 례 MS Azure OpenAI 서비스 사례

‣ MS Azure OpenAI는 제한된 엑세스 프레임워크(Limited Access Framework)가 적용되어
계약을 통해 제한적으로 제공되며 MS에서 결정한 자격 기준 및 약관이 적용
- 제한된 엑세스 프레임워크는 MS가 고성능 모델을 개발·사용하는 고객이 누구인지를
파악하고 적절한 규제 요구사항을 충족했는지 등을 확인하는데 도움
- 약관에는 데이터 처리 및 보안에 대한 고객의 의무 등 Azure OpenAI 서비스 사용에
적용되는 조건과 의무가 포함되어 있음
- MS는 생성형 AI 서비스 준수 사항을 통해 고객이 준수해야하는 요구 사항을 정의하고
있으며, Azure OpenAI Service에 대한 데이터·개인정보 보호 및 보안에 대한 정보*를 제공
* MS에서 처리하는 고객 데이터 목록, 목적, 프로세스 등

 허용되는 이용 방침(acceptable use policy; AUP)의 작성, 공개

○ 생성 시스템의 예견 가능한 오용을 열거하고 해당 목적의 사용을

금지하는 이용방침을 작성하여 공개함으로써 오용을 방지
사 례 네이버 CLOVA X 서비스 이용정책 일부(‘24.7월 기준)

사용자는 CLOVA X 서비스를 사용함에 있어 아래 의무를 부담합니다.

① 사용자는 CLOVA X 서비스를 악의적으로 사용하는 것이 금지됩니다. 악의적 사용에는 아래와
같은 행위 및 이와 유사한 목적을 가진 행위가 포함되며, 아래 예시에 한정되지 아니합니다.
1. 불법적인 행위나 범죄 및 유해한 행동에 대한 콘텐츠 생성
• 아동 성적 학대 또는 착취와 관련된 콘텐츠
• 불법 약품(마약 등) 또는 상품(무기 등)의 판매를 조장/촉진 또는 이를 제조하는 방법에 대한 콘텐츠
• …
6. 악성코드 및 해킹, 공격, 서비스 어뷰징 코드 등의 생성 등
• 정보처리장치 등에 접근권한 없이 액세스하는 등 침입하거나…
8. 본인이나 타인의 민감정보, 고유식별정보 등 개인정보를 입력하거나 개인정보 및 사생활
침해를 야기할 수 있는 대화의 유도 및 콘텐츠 생성

- 28 -
 AI 프라이버시 레드팀 구성·운영

○ AI개발자 및 서비스 제공자는 가칭 프라이버시 레드팀을 구성 운영( )

AI ·
하여 기획 개발 시 예상하지 못한 개인정보 침해 유형을 시험‧확인
·
하고 모델이 배포된 이후 정보주체에 미칠 수 있는 유해한 영향을
, AI

최소화하는 것이 권장됨
- (구성 내 외부 전문가로 구성될 수 있으나 독립성 객관성 확보를 위해
) · , ·
외부 전문가를 포함하거나 외부 레드팀 그룹과 협업할 수 있음
- (역할 악의적 행위자에 의한 공격 테스트 외 일반적인 이용
) , AI

과정에서 발생할 수 있는 개인정보 유·노출 거짓정보 생성 등 침해 ,

위험도 주기적으로 식별하고 조치방안을 마련하는 것이 바람직함

※ 레드팀 테스트 결과 사회적 파급력이 큰 중대한 취약점 발견 시 관련 정부 부서와 공유하는 것이 바람직

 정보주체 신고 방안 및 조치 방안 마련

○ 부적절한 답변에 대한 신고 기능을 갖추고 정보주체의 의도에 반하여 ,

출력물에 생성된 얼굴·목소리 등의 삭제 요청 보호법 제 조 에 대비

AI

하여 모델 개발자 서비스 제공자는 조치 방안을 마련하여 시행

( 36 )

AI ,

- 개발자 삭제 요청 수령시 모델에 투입된 데이터에 피해자의 얼굴

( ) ,
①

등의 구성요소가 존재하는지 여부를 확인하고 존재할 경우 입력 ,

②

및 출력 필터링 등 보다 용이하게 취할 수 있는 조치를 먼저 취하고 ,

종국적으로는 해당 데이터가 삭제되도록 기술적 경제적으로 합리적인

③
·
기간 내에 모델을 업데이트
- 서비스제공자 삭제 요청 수령시 입력 및 출력 필터링 등 서비스
( ) ,
①

제공자가 실행 가능한 경감조치를 취하되 가능한 경우 개발자에게 ,

②

삭제·정정 요구를 전달하고 그 결과를 정보주체에게 통보

 자동화된 결정에 대한 개인정보처리자의 조치 기준 준수

○ AI시스템을 활용하여 이루어지는 최종 의사결정이 보호법상 자동화된

결정에 해당하는지 여부를 확인
※ 「자동화된 결정에 대한 정보주체 권리안내서(‘24.9.26.)」의 ‘개인정보처리자를 위한 자동화된
결정 자율진단표’를 활용하여 스스로 확인

- 29 -
○ 자동화된 결정에 해당하는 경우 개인정보위 고시·안내서 등을 참고하여
,

정보주체의 △거부권 △설명 요구권 △검토 요구권 보장 방안을 마련·이행

, ,

정보주체 권리 개인정보처리자 조치
거부권 ▸ 자동화된 결정 적용 정지 또는 인적 개입에 의한 재처리 후 결과 고지
▸ 자동화된 결정에 대한 간결하고 의미있는 설명을 제공
설명 요구권
※ 중대한 영향을 미치는 경우가 아닌 때에는 공개된 사항 등을 활용하여 설명
검토 요구권 ▸ 제출한 의견 반영 여부 검토 등 조치 후 그 결과를 통지

‣ (관련 법조항) 제37조의2, 자동화된 결정에 대한 개인정보처리자의 조치 기준(고시) 등

‣ (관련 안내서) 자동화된 결정에 대한 정보주체의 권리 안내서(‘24.9.26.) 등

 개인정보 영향평가 수행 고려

○ AI모델 시스템 개발 및 제공시 개인정보처리가 수반되는 경우 개인

·
정보 영향평가 수행을 고려할 수 있음
※ 의무 대상기관이 아님에도 불구하고 개인정보 보호법 제33조에 따라 영향평가를 수행
하는 경우 개인정보 보호법 위반 과징금에 대해 1차 조정 금액의 최대 30%를 추가로
감경받을 수 있는 근거규정 마련·시행 중
(개인정보 보호법 위반에 대한 과징금 부과기준 제10조 제2항, 2023.9.15. 제정)

- 특히 학습데이터에 민감한 정보가 포함되어 있을 개연성이 높거나

, AI

대규모 개인정보가 포함되는 경우 *

,

* (예) ▲ 대규모 웹스크래핑 데이터 등을 활용해 기반모델을 구축·제공하는 경우 영향평가

수행이 바람직, ▲ 개인정보가 포함될 개연성이 낮은 소규모 데이터로 기반모델을
미세조정하는 경우 대규모 개인정보 처리로 보지 않을 수 있음

- AI시스템 운영이 정보주체 권리·의무에 중대한 영향을 미칠 것으로

예상되는 경우 영향평가를 실시하는 것이 바람직
**

** 정보주체의 권리·의무에 중대한 영향을 미치는지 여부를 판단할 때는 국내외 AI 규제

현황(EU AI ACT 및 국내 입법 동향 등) 등을 참고할 수 있음

○ 영향평가는 사전적인 위험 식별·경감을 위해 개인정보 처리가 이루어

지기 전에 수행되는 것이 바람직하며 ,

-요구되는 데이터 종류·규모의 변경 최신 기술의 사용 등이 있을 때 , AI

추가적으로 수행될 수 있음
‣ (관련 법조항) 제33조 등
‣ (관련 안내서) 개인정보 영향평가 수행 안내서(‘24.4.) 등

- 30 -
2 기술적 조치

 학습데이터 전처리

○ 데이터 최소화 학습데이터 유출 위험 경감 등을 위하여 개발과

( ) AI

상당한 관련성이 없는 정보는 학습데이터에서 제외하여 이용 보관 ·

○ 가명·익명화 모델의 의도된 용도 성능 등을 고려할 때 학습데이터를

( ) AI ,

익명 또는 가명으로 처리하여 이용하여도 충분한 경우에는 수집 직후

익명화·가명화하여 이용 및 보관
개인정보 보호법에서 특별히 보호하고 있는 주민등록번호와 그 밖의
-

고유식별정보 유 노출 시 막대한 경제적 피해를 야기할 수 있는 계좌

, ·

정보 신용카드정보 등의 경우 학습 전 삭제하거나 비식별화

, AI

○ 중복제거 암기 리스크는 학습데이터 내 동일 문장·단어 등이 중복되는

( )

경우 높아지는 것으로 알려져 있어 신뢰할 수 있는 기관에서 배포한 ,

중복제거 데이터셋을 이용하거나 중복제거 도구를 직접

(de-duplication)

적용하는 방안을 고려할 수 있음

사 례 AI 챗봇 개발 과정에서 데이터 전처리를 통한 개인정보 보호 노력 사례

‣ AI 스타트업 A사는 한국어 대화가 가능한 챗봇 개발을 위해 자체적으로 수집한 일상대화

데이터를 가명처리하여 AI 모델 학습에 사용
- 가명처리 누락으로 인한 정보주체 피해를 최소화 하기 위해 개인정보 포함 가능성이
높은 동시에 한국어 대화 성능과 관련성이 낮은 알파벳 또는 숫자가 들어간 문장을
데이터셋에서 제외하거나, 특정 유형 데이터를 토큰으로 대치*하는 등의 노력을 기울임
* (예) 학습데이터 내 이메일 주소를 일괄적으로 [MAIL]로 변환

 AI모델 학습시 합성데이터 사용 고려

○ 합성데이터 는 기술적으로 생성된 가상의 데이터로 개인정보가 포함된

*
,

원본데이터를 학습에 직접 사용하지 않고도 데이터에 내재된 경제적

AI

가치를 안전하게 활용할 수 있는 강점을 보유

* 합성데이터(synthetic data) : 특정 목적을 위해 원본데이터의 형식과 구조 및 통계적 분포
특성, 패턴을 학습하여 생성한 모의(simulated) 또는 가상(artificial) 데이터

- 31 -
-합성데이터는 적절하게 생성된 경우 개인정보에 대해 요구되는 법적
제약 없이 활용 가능한 익명정보로 볼 수 있음
○ 합성데이터 생성시 실제 데이터의 구조적 정보를 최대한 유지하여
유용성을 확보하면서도 원본데이터에 포함된 개인이 식별되지 않도록 ,

균형점을 찾는 것이 중요
‣ (관련 참고 자료) 합성데이터 생성 참조모델(‘24.5.30.), 데이터의 안전한 활용을 위한 합성
데이터 생성·활용 안내서(’24.12.19.) 등

 모델 미세조정을 통한 안전장치 추가

○ AI모델이 사람의 의도에 부합하게 안전하고 바람직한 답변을 생성

하도록 지도학습 기반 미세조정 사람 피드백 (Supervised Fine-Tuning, SFT),

기반 강화학습 *
등의
미세조정 기법을 고려할 수 있음
(Reinforcement Learning with Human Feedback, RLHF)

* 생성 AI가 생성한 답변에 대하여 사람이 피드백(보상 또는 벌)을 부여하고, 이를 추가

학습하여 안전하고 유용한 답변을 제공하도록 미세조정

- 다만 에 소요되는 막대한 비용과 사람의 주관적 편향성 기술적

, RLHF ,

복잡성 등에 대한 한계를 보완하기 위하여 를 대체하는 방법론 RLHF

예 등이 꾸준히 연구되고 있으므로 ,

향후 기술 발전을 고려해 안전장치를 확보하는 것이 바람직

( : Direct Preference Optimization; DPO)

참고 미세조정 기법 예시17)
￭ 파라미터 효율 미세조정(Parameter Efficient Fine-Tuning(PEFT))
- 사전학습된 모델 파라미터(매개변수)를 동결하고 소수의 파라미터를 의도된 용도에 맞게
미세조정하는 것으로 학습 비용과 시간을 최소화하는 방법
￭ 지도학습 기반 미세조정(Supervised Fine-Tuning(SFT))
- 비지도학습으로 만들어진 생성AI를 지도학습적으로 미세조정하는 과정으로, 바람직한
답변을 생성하도록 미리 정제되거나 레이블링된 데이터를 추가 학습
※ (예) 개인의 사생활을 묻는 프롬프트에 대하여 답변을 거부하는 내용의 답안을 학습시킴

￭ 사람 피드백 기반 강화학습(Reinforcement Learning with Human Feedback(RLHF))

- 보상모델 생성(Reward Model Creation) : AI 모델이 생성한 출력물에 사람(라벨러)이 점수
또는 순위를 부여하고, 이를 토대로 보상모델을 훈련
※ (예시) 개인의 사생활을 묻는 프롬프트에 대하여 사생활이 포함된 답변에는 (-1)의 보상을,
회피하는 답변에는 (+1)의 보상을 제공
- 정책 최적화(Policy Optimization): 보상모델을 사용하여 AI 모델의 정책을 최적화하는
단계로, 주로 정책 그라디언트 강화학습 알고리즘인 PPO(Proximal Policy Optimization)을
활용하여 미세조정

- 32 -
 입력 및 출력 필터링 적용

○ 입력 필터링 이용자가 프롬프트 입력을 통해 개인을 프로파일링하거나

( )

사생활 침해 우려가 큰 답변 생성을 유도하는 경우 이에 대한 답변 ,

생성을 거절하거나 프롬프트의 맥락 취지에 따라 미리 정해진 답변을 ·

제공하는 등의 방식을 고려
※ 다만, 탈옥(jailbreaking) 등의 리스크가 잔존할 수 있음

○ 출력 필터링 모델이 생성하는 출력물에서 개인정보가 노출 생성

( ) AI ,

되지 않도록 감지·제거하는 필터 기술을 적용

사 례 부적절한 이용자 프롬프트에 대한 필터 사례

※ GPT-4 기반의 ChatGPT에 가상의 주민등록번호를 입력하여 출력된 결과물임

※ (참고) 생성모델 오용으로 인한 개인정보 침해와 입력 및 출력 필터링

 특정 단어나 위법한 의도를 가진 프롬프트를 필터링하는 방식도 검토되고 있으나, 기만
수단 등으로 사용되는 콘텐츠는 그 내용보다는 활용 맥락이 문제되는 경우가 많으므로
필터링만으로 기만행위 등에 완벽히 대응하기에는 한계가 있음
 그러나, 선거 후보, 유명 인사 등 빈번하게 피사칭되는 자의 구체적인 요청이 있는 경우에는
필터링을 통하여 기만적 사용을 일정 수준 감소시킬 수 있음

17) SPRi 이슈리포트 IS-158, “초거대언어모델의 부상과 주요이슈” (2023.2.)

- 33 -
 차분 프라이버시 기법의 적용

○ 차분 프라이버시 기법이 적용되는 AI 모델은 경사도에 잡음(noise)을

섞는 학습을 통해 공격자가 출력값을 기반으로 훈련데이터 등 입력
데이터를 유추하는 공격을 예방
※ 다만, 차분프라이버시 기법이 모든 AI 모델에 효용이 있는 것은 아니며 데이터 효용과
상충관계가 존재할 수 있으므로, 유·노출 리스크가 현존하는지 등 적정성 검토 후 적용

○ 머신러닝에 널리 사용되는 차분프라이버시 알고리즘으로는 DP-S G D 가

있으며 최근 등 개선된 알고리즘도 사용되고 있음
, D P-FT R L

참고 차분프라이버시 개념
￭ 특정 데이터베이스에 잡음(noise)을 추가하여 개별 데이터의 정보를 보호하면서도
유의미한 통계적 쿼리는 유지되도록 하는 기법
- 프라이버시 매개변수 의 값에 따라 프라이버시 보호 수준과 통계 결과의 정확도
사이의 트레이드 오프*가 존재하여 적절한  값을 설정하는 것이 중요
* 이 작을수록 프라이버시 보호수준↑, 이 클수록 통계결과의 정확성↑

< 차분 프라이버시 개념 > < MS-하버드, 차분 프라이버시 오픈소스 플랫폼 >

※ 출처: Oracle AI & Data Science Blog(2019.10.) ※ 출처: Microsoft Open Source Blog(2020.5.)

사 례 머신러닝에 적용되는 차분프라이버시 알고리즘 예시

￭ 작은 크기로 구성된 입력 데이터의 분할 집합(Mini-Batch)마다
DP-SGD18)
각 가중치를 구하고 최대 기울기 제한(Clip Gradient), 통계 기반의
(DP-Stochastic
노이즈(Gaussian Noise)를 추가하는 방식으로 차분 프라이버시 기법을
Gradient Descent)
적용하여 학습을 진행
￭ 데이터의 분할 집합(Mini-Batch)의 기울기의 합에 노이즈를 추가하기
DP-FTRL19) 위해 트리 집계 트릭(Tree aggregation trick)을 사용하여 독립적인
(DP-Follow The 노이즈가 아닌 시간 단계에 걸쳐 상관관계가 있는 노이즈를 추가
Regularized Leader) - DP-SGD 방식과 달리 샘플링, 셔플링에 의한 프라이버시 증폭에
의존하지 않아 보다 비용 절감, 활용성 등이 개선

18) 개인정보보호위원회 개인정보 기술포럼, AI PET 보고서, 2024.1.

19) Peter Kairouz, Brendan Mcmahan, Shuang Song, Om Thakkar, Abhradeep Thakurta, and Zheng Xu.

- 34 -
 출처 데이터 추적 및 합성콘텐츠 탐지 방안 마련

○ 합성콘텐츠 오용으로 인한 피해를 예방하기 위해 합성콘텐츠의 메타

데이터 를 기록하는 등 출처 데이터를 추적하는 방식 합성콘텐츠를
*

기술적 방식 등을 통해 구별 및 인지하는 방식이 제안됨

,

20)

* (메타데이터) 데이터에 대한 속성 정보로서, 콘텐츠의 생성시간, 위치, 내용, 작성자, 권리

조건, 이용 내력 등과 관련한 기록
구분 주요 내용
￭ (정의) 생성된 디지털 콘텐츠의 출처와 이력을 기록
출처 ￭ (효과) 생성 콘텐츠의 진위 여부를 판단하여 진위성, 무결성 및 신뢰성 확립에 기여
데이터 ￭ (한계) 조작 가능성 및 내구성 문제(외부 공격으로 인한 제거, 변경 등), 프라이버시
추적 침해 소지(출처 및 사용자 정보 저장) 등
￭ (종류) 메타데이터 기록, 디지털 워터마킹(가시성/비가시성)
￭ (정의) 특정 콘텐츠의 합성 여부 분류에 사용되는 기술, 방법 및 도구
￭ (효과) 디지털 워터마크와 같은 출처 정보 존재 감지 등을 통해 AI에 의한 콘텐츠
합성
생성 및 조작 여부 판단에 기여
콘텐츠
￭ (한계) 부분적인 합성콘텐츠인 경우 합성 여부에 대한 판단이 주관적일 수 있고,
탐지
기술적 탐지의 불완전성으로 인해 인간의 검토 필요
￭ (종류) 자동화된 콘텐츠 기반 탐지, 출처데이터 탐지, 인간 보조 탐지

 생체정보 활용시 가명·익명처리 기술 적용

○ 영상정보 비디오 음성 등에 다양한 가명·익명처리 기술을 적용하여

데이터 처리의 안전성을 높일 수 있음
, ,

사 례 영상정보 가명처리 기술 예시21)

￭ 원본 이미지의 픽셀 행렬값을 다른 값으로 변형하여 데이터 주체를
이미지 필터링 알아볼 수 없도록 하는 기법
※ ex) 이미지 블러링, 이미지 픽셀화, 이미지 마스킹 등
￭ 원본 이미지의 일부를 암호화하여 복호화하지 않고서는 데이터 주체를
이미지 암호화 알아볼 수 없도록 하는 기법
※ ex) 이산코사인변환 기반 암호화, 픽셀 위치 기반 암호화 등
￭ 영상 내 개인 식별 영역을 제거한 후 다른 물체 또는 배경으로
인페인팅 대체하여 신원을 보호하는 기술
※ ex) 패치 기반 인페인팅 기술, 객체 기반 인페인팅 기술 등

‣ (관련 안내서) 가명정보 처리 가이드라인(‘24.2., 개인정보위), 보건의료 데이터 활용 가이드

라인(’24.2., 보건복지부, 개인정보위) 등

Practical and private (deep) learning without sampling or shuffing. In Marina Meila and Tong Zhang,
editors, Proceedings of the 38th International Conference on Machine Learning, volume 139 of
Proceedings of Machine Learning Research, pages 5213–5225. PMLR, 18–24 Jul 2021
20) NIST, "Reducing Risks Posed by Synthetic Content, An Overview of Technical Approaches to Digital
Content Transparency, NIST AI 100-4", Nov 2024
21) 개인정보보호위원회, 가명정보 처리 가이드라인, 2024.2.

- 35 -
Ⅴ . AI 프라이버시 리스크 관리 체계

1 AI 프라이버시 거버넌스 구축

◇ AI 기업·기관 등은 AI 프라이버시 리스크 관리를 위해 개인정보보호

책임자(CPO) 중심의 내부 거버넌스 체계를 정비·마련하는 것이 바람직함

○ (CPO의 역할) 효과적인 리스크 관리는 조직의 사업적 요구사항 뿐만

아니라 규제 및 사회적 요구사항을 종합적으로 이해하고 있는 개인
정보보호책임자 의 역할이 중요 (CPO)

특히 환경에서는 개인정보 보호 거버넌스 사이버보안 안전

- AI , AI , ,

및 신뢰 등 디지털 거버넌스 의 하위 요소가 상호 연관됨에 따라 22)

의 책임과 권한이 확장될 것으로 전망

CPO

- 는 프라이버시 리스크 평가 관리에 대한 의지를 표명하고

CPO AI · ,

보다 포괄적인 디지털 거버넌스와 통합될 수 있도록 노력함으로써

응집력있는 관리체계를 구현할 수 있음
【 개인정보 보호법상 CPO 제도 (法제31조) 】
◈ CPO 제도는 개인정보 관련 법규 준수, 오남용 방지 등 개인정보처리자의 개인
정보 보호 활동을 촉진하고 책임을 부과하는 규제 장치임
▸ (CPO의 정의) 개인정보 처리에 관한 업무를 총괄하여 책임지는 자
▸ (CPO 지정 의무) 소상공인을 제외한 개인정보처리자는 CPO를 지정해야 함

○ (담당조직 구성) 등을 중심으로 구성할 수 있으며 적절한 부서

CPO ,

및 개인에게 권한과 책임을 부여해야 함

담당조직의 규모·구성 등은 개별 여건에 따라 자율적으로 결정할 수
-

있으며 중심의 개인정보보호부서를 이미 구성·운영 중인 경우에는

, CPO

해당 부서에서 역할을 담당 할 수 있음 *

* 다만, AI 사업 기획·전략 조직 등 AI 전문성을 갖춘 부서, 담당자와 긴밀히 협력할 필요

- 리스크에 대한 다각적 전문적 평가가 가능하도록 다양한 분야 및

,

층위의 담당자로 구성하는 것이 바람직

22) 조직의 ‘디지털 거버넌스’란 디지털 기술과 관련된 사회기술, 전략, 규제 영역에 대한 조직의 접근 방식(역할, 책임 등)을
설정하는 구조와 프레임워크를 의미
디지털 거버넌스는 ▴ 개인정보·데이터 보호, ▴ AI 거버넌스, ▴ 사이버보안, ▴ 콘텐츠 중재, ▴ 온라인 안전, ▴ 플랫폼 책임,
▴ 디지털 접근성, ▴ 데이터 거버넌스 및 윤리, ▴ 저작권, ▴ 무역, ▴ 법 집행 및 국가 안보, ▴ 경쟁, ▴ 제3자 관리, ▴ 시민권과
관련된 거버넌스 요구 사항을 포함할 수 있음 (IAPP, “Organizational Digital Governance Report 2024”, '24.9.)

- 36 -
【 담당조직의 역할 설정 예시 】
◈ 다양한 산업 분야에서 채택되는 위험관리 모델인 “3차 방어선(3LoD; 3 Lines of
Defence) 모델”을 AI 프라이버시 거버넌스에 적용하는 방안 고려 가능
▸ (1층위) AI 제품·서비스를 직접 다루는 사업부에서 리스크의 식별·평가·경감 등
일상적 운영을 수행함으로써 1차 방어선 역할을 수행
▸ (2층위) AI 프라이버시 담당조직이 사업부를 지원하여 리스크 관리 및 규정준수
관련 전문지식 제공, 감독 역할을 수행함으로써 2차 방어선 역할을 수행
▸ (3층위) 내부 감사팀이 1·2층위의 효과성을 객관적, 독립적으로 평가하고 이사회
또는 감사위원회에 보고함으로써 3차 방어선 역할 수행

○ (정책 마련) 본 모델 등을 참고하여 프라이버시 리스크를 평가 관리 AI ·

하는 정책을 마련해 문서화하고 담당조직을 중심으로 이행 ,

정책에는 리스크 평가·관리의 원칙 및 절차 지속적 이행 계획 결과의

- , ,

문서화 최고 책임자에 대한 보고 등 구조화된 의사결정 과정 이해

, ,

관계자와의 소통 방안 등이 포함될 수 있음
【 정책 주요 내용의 예시 】
▸ (지속적 이행) 추가 학습, 중대한 기술적 변경, 관련 규제 변화, 침해 발생 등이
있을 때 리스크를 재평가하고 안전조치를 보완하는 등 지속적 이행 계획 구체화
▸ (결과의 문서화) 리스크 평가·관리의 결과를 일관성있게 기록하여 모니터링
▸ (의사결정 과정) 각 부서·담당자별 책임과 권한, 부서간 의사소통 및 상부 보고
프로세스, 경영진의 최종 의사결정에 대한 책임 등 규정
▸ (이해관계자 소통) 리스크 평가·관리 절차 및 결과를 책임있는 부서 등에 공유,
정보주체 등 AI 개발·이용의 영향을 받는 외부 이해관계자의 의견을 수렴

2 AI 가치망 내 참여자와의 협력

◇ AI 가치망의 다양한 참여자간 상호의존적 활동을 인지하고 당해 기업·

기관의 역할 및 타 기업·기관과의 협력체계를 구체화하는 것이 바람직

○ (기업·기관의 영역 이해) 모델·시스템 개발 범위 직접 개발 오픈소스

AI ( ,

및 이용 등 등을 기반으로 당해 기업·기관의 권한 역할 등을 정의
API ) ,

※ 각 기업·기관은 AI 데이터 처리에 관여하고 영향력을 행사할 수 있는 권한 내에서 리스크

평가 및 경감, 정보주체 권리보장에 대한 책임을 부담

- 37 -
○ (타 기업·기관과의 협력) 프라이버시 리스크 변화에 지속 대응하고 ,

정보주체의 권리행사를 효과적으로 보장하기 위해 협력체계를 구축

- 각 기업 기관의 협력체계는 계약 라이센스 등 문서화된 형태로 명시
· ,

하여 책임있는 역할 분담을 보장
【 AI 가치망 내 참여자간 역할분담 예시 】
➊ 범용모델 개발·제공자
✓ 범용모델 학습 과정에서 초래되는 리스크, 범용모델의 의도된 용례에 따라 서비스
제공 과정에서 발생할 수 있는 리스크를 합리적인 범위 내에서 예견하여 경감

✓ 학습단계에서 인지하지 못했던 리스크를 출시 이후 인지하게 될 경우 조치

① (오픈소스) 모델 배포 플랫폼(Hugging Face 등) 등을 통해 해당 리스크를 공지하고,
기술적·경제적으로 합리적인 기간 내에 모델을 업데이트하여 재배포, 이전 모델 비활성화
② (클로즈드 소스) 입력·출력 필터링 등 좀 더 용이하게 취할 수 있는 조치를 먼저 취하고,
기술적·경제적으로 합리적인 기간 내에 모델을 업데이트하여 제공, 이전 모델 비활성화

✓ 범용모델 이용사업자의 책임있는 이용환경 조성

① (오픈소스) 프라이버시를 고려한 이용방법, 조건 등을 명시한 오픈소스 라이선스 약관을 수립·배포
② (클로즈드 소스) 프라이버시 보호를 준수하도록 계약상 의무를 부과하고 상세한 사용
지침, 기술문서 등을 제공할 수 있음

✓ 범용모델 이용사업자로부터 정보주체의 권리행사 요청을 전달받을 경우 당해

기업·기관의 책임과 권한을 확인하고 협력할 수 있도록 노력

➋ 범용모델 이용사업자 (AI 응용 서비스 제공자, 스타트업 등)

✓ 모델카드 등을 통해 범용모델 개발·제공자가 적용한 리스크 경감조치 등을 검토
하는 등 안전성이 확보된 범용모델을 활용하기 위해 노력
✓ 미세조정 등을 위해 추가로 투입한 데이터에 대해 리스크를 관리하고, 서비스의
의도된 용례 등에 따라 리스크를 경감

✓ 범용모델 개발·제공자가 배포 이후 발견된 리스크를 공지할 경우, 추가적인 리스크

경감조치를 검토·시행하고 모델 버전의 최신 업데이트를 유지

✓ 범용모델 이용 과정 중 발생한 개인정보 침해사고, 리스크와 관련하여 범용모델

개발·제공자의 조치가 필요하다고 판단될 경우 관련 사실 공유 및 협력 요청

✓ 서비스 출시 이후 삭제·정정 요구 등 정보주체의 권리행사 요청을 수령할 경우,

서비스 제공자가 취할 수 있는 우선 조치를 취하고, 가능한 한에서 범용모델 개발·
제공자에게 관련 요구를 전달

- 38 -
부록1 AI 프라이버시 리스크 자율평가 항목

【 자율평가 항목 안내사항 】
1. 이하 자율평가 항목은 AI 모델·시스템 개발 및 제공자가 AI 모델·시스템의 프라이버시
리스크를 관리하기 위해 자율적으로 활용할 수 있는 점검 항목임
- 「개인정보 보호법」의 모든 규율사항을 망라하고 있는 것은 아니며, 본 모델 내용
및 관련 국제 논의 등을 중심으로 작성됨
- 따라서 동 자율평가 항목에 포함되지 않은 개인정보 보호법 규율사항은 별도로
확인하는 등 개별 상황에 따라 평가 항목을 수정·보완하여 사용

3. 자율평가 항목은 안전성 확보를 위한 최선의 노력을 다하였을 때 AI 모델·시스템

개발자 및 제공자가 법령을 준수했는지 여부에 관한 기준으로 참고될 수 있으나,
법위반 사실을 인정하거나 행정제재를 발령·가중하는 근거로 사용될 수 없음

4. 자율평가 항목은 지난 ‘21년 발표된 ’인공지능(AI) 개인정보보호 자율점검표

(‘21.5.31.)’를 개인정보 보호법 개정 사항 및 본 모델 내용을 반영해 수정·보완한
것으로, 향후 관련 법·제도·기술 발전에 따라 지속 수정될 수 있음

구분 점검 항목
① AI 모델·시스템 기획·개발시 PbD 원칙을 적용하여 개인정보 침해위험을
분석하고 제거하였는가? (법§3⑥)
￭ 개별 AI의 유형과 구체적 용례를 파악하였는가?
1 ※ AI의 프라이버시 리스크는 사용의 맥락(context)에 따라 달라지므로 일정한 분류체계 下
개별 AI의 유형·용례를 파악할 필요

￭ 개별 AI의 용례와 유형에 대응하는 프라이버시 리스크를 식별(mapping)

하였는가?
<AI 용례에 대응하는 리스크 맵핑 예시>
구분 프라이버시 리스크
기획
￭ 학습데이터 수집·이용·보관 과정에서의 개인정보 침해
· 기획·개발
￭ AI 가치망 복잡성으로 인한 정보주체 권리 약화
설계
￭ 개인정보 암기 및 노출
2 생성 AI ￭ 합성콘텐츠로 인한 정보주체 권리 침해
(얼굴·목소리 도용 등)
서비스
사람의
제공 ￭ 자동화된 결정으로 인한 정보주체 권리 약화
판별 평가/분류

AI 추천 시스템 ￭ 정보주체 식별 및 민감정보 추론 위협

사실의 인지 ￭ 대중감시/프로파일링 위협

※ 구체적인 유형화 방식 및 리스크의 식별은 각 개발자와 서비스 제공자가 각자의 용례에

따라 자율적으로 결정

- 39 -
￭ 적절한 지표 및 측정 도구를 선택하여 리스크의 발생확률, 리스크가 실현
되었을 때 조직·개인·사회에 미치는 결과의 중대성 등을 정량적·정성적으로
평가하였는가?

<리스크 측정 방안 예시>
구분 내용

생성으로의 활용이 의도된 모델·시스템의 경우 식별자(특히

학습데이터 암기
고유식별정보)와 민감정보를 중심으로 암기와 재현의 빈도를
및 유노출 위험
측정하고 해당 정보의 민감도를 맥락에 따라 정성적으로 평가
3
합성매체의
정성적으로 평가하되, 가능한 경우 이미지 식별 정밀도(IIP)
얼굴/목소리 등
등 적절한 측도를 선정하여 정량적으로 평가
개인정보 도용
트래킹되는 행태정보로부터의 개인의 추론가능성을 프라이버시
프로파일링
보호모델(k-anonymity, l-diversity, t-proximity 등) 등으로 측정
※ 위 표는 예시에 불과하며 각자의 용례에 따라 평가
※ 국제기구(OECD 등), AI 안전연구소(미국, 영국, 일본, 한국 등)에서 제공하는 AI 안전성 평가
도구, 방법론 등을 참고할 수 있음

￭ 정량적·정성적 평가 결과를 바탕으로 리스크의 수용 가능 여부, 우선순위를

파악하였는가?
4 ※ 리스크의 수용 가능 여부 및 우선순위에 대한 판단은 보호법 등 관련 법률 및 규제현황,
사용되는 데이터의 민감성, 조직의 목표·문화·자원 등 경영환경, 기술 환경 등을 기반으로
이루어질 수 있음
￭ 리스크의 식별·측정 경과에 따라 개인정보 침해 요인을 제거, 최소화하기
위한 기술적*, 관리적** 안전조치를 검토하여 기획·설계에 반영하였는가?
* ▲ 학습데이터 전처리(데이터 최소화, 가명·익명화, 중복제거 등), ▲ 합성데이터 사용 고려,
5
▲ 모델 미세조정을 통한 안전장치 추가, ▲ 입력 및 출력 필터링 적용, ▲ 차분 프라이버시
기법의 적용, ▲ 출처 데이터 추적 및 합성콘텐츠 탐지, ▲ 생체정보 활용시 가명·익명화 등

** 관리적 안전조치의 예시는 이하 점검항목에 포함되어 있음

② AI 개발·운영 과정에서 정보주체의 개인정보 침해가 우려되는 경우 개인
정보 영향평가를 검토·수행하는가?
￭ 의무대상(법§33, 영§35)에 해당하는 공공기관인 경우 영향평가를 수행하였는가?
※ (영향평가 의무대상) 법 제2조 제6호에 따른 공공기관에서 운용하는 개인정보파일 중 그 규모가
1
“5만명 이상의 민감정보·고유식별정보, 50만명 이상의 시스템 연계, 100만명 이상 개인정보”
이거나, 영향평가 이후 운용 체계를 변경하려는 경우 등(영§35)

￭ 민간사업자 등 의무대상이 아니더라도 서비스에 따른 개인정보 침해가

우려되는 경우 개인정보 영향평가 수행을 고려하였는가?(법§33⑧)
※ AI 기술을 적용함에 따라 개인정보 처리방식에 중대한 변화가 발생하거나 개인정보와 관련된
2
AI 서비스를 신규 개발하는 경우 영향평가 수행·개선을 통해 침해위험 수준을 낮출 수 있음

※ 의무 대상기관이 아님에도 개인정보보호법 제33조에 따라 영향평가를 수행한 경우 보호법

위반 시 부과되는 과징금에 대해 1차 조정 금액의 최대 30%를 추가로 감경받을 수 있음

- 40 -
③ 수집되는 개인정보의 항목 및 수집근거를 검토·관리하는가?

￭ 학습데이터 수집 출처별로 개인정보 수집의 적법성을 확보했는지 판단하고

1
출처·이력을 문서화하는 등 관리하고 있는가?

￭ 개인정보보호위원회와 한국인터넷진흥원의 ‘개인정보 노출 및 불법유통 탐지·

삭제’ 사업*을 통해 식별된 도메인 정보(URL)는 AI 학습데이터 수집 출처에서
2 배제하였는가?
* 공공·민간 홈페이지를 대상으로 주민등록번호, 여권번호, 운전면허정보, 계좌정보 등 9개
항목의 개인정보 노출 및 불법유통 탐지·삭제

￭ 최소 수집, 목적 명확화 등 개인정보 보호법 원칙을 고려하여 학습데이터

수집·전처리·이용 기준을 미리 정하고, 이를 개인정보 처리방침, 기술문서,
3 FAQ 등에 공개하고 있는가?
※ AI 시스템 개발에 필요한 데이터 양(volume), 범주(민감정보, 행태정보 등) 등을 고려하여,
개인정보의 주요 수집 출처, 수집 방법, 최소품질기준, 안전성 확보 조치 방안 등 포함

개인 ￭ 서비스 제공 단계에서 수집되는 데이터 항목별로 적법성을 파악하고 출처·

4
정보 이력을 문서화하는 등 관리하고 있는가?
수집
④ AI 개발·운영을 위하여 정보주체로부터 개인정보의 수집 동의를 받는 경우,
동의 방법은 적법한가?
￭ AI 개발·운영을 위하여 정보주체로부터 개인정보의 수집 동의를 받는 경우,
동의 방법은 적법한가?
1 ※ 특히, ▲ 민감정보,고유식별정보 처리 시 다른 개인정보의 처리에 대한 동의와 별도로 동의를
받아 처리하는지(법§23, 법§24), ▲ 만 14세 미만 아동의 개인정보 처리 시 법정대리인의
동의를 받고 있는지(법 §22조의2) 확인 필요

⑤ AI 개발·운영에 활용할 목적으로 동의를 받지 않고 개인정보를 수집하려는

경우, 법에서 허용하는 근거에 해당하는지 판단하였는가?
￭ 정보주체의 동의 없이도 개인정보를 수집할 수 있는 사유에 해당하는가?

- 법률에 특별한 규정 또는 법령상 의무 준수를 위해 불가피한 경우(법§15①2)

- 공공기관이 법령 등에서 정하는 소관 업무의 수행을 위하여 불가피한 경우(법§15①3)
- 정보주체와의 계약의 체결·이행을 위하여 불가피하게 필요한 경우(법§15①4)
1
- 명백히 정보주체 또는 제3자의 급박한 생명, 신체, 재산의 이익을 위하여 필요
하다고 인정되는 경우(법§15①5)
- 개인정보처리자의 정당한 이익을 달성하기 위하여 필요한 경우로서 명백하게
정보주체의 권리보다 우선하는 경우(법§15①6)

- 41 -
⑥ AI 개발·운영 全 과정에서 개인정보 이용과 제3자 제공은 당초 수집 목적에
부합하는가? 만약, 목적 외 이용·제공인 경우 별도의 적법한 근거가 있는가?

￭ 당초 개인정보를 수집한 목적 범위에 해당하는가?(법§15,§17)

1 ※ 개인정보는 정보주체의 동의, 계약체결·이행, 정당한 이익 등 수집한 목적 범위 내에서
이용·제공할 수 있음

￭ 당초 수집 목적과 합리적으로 관련되어 추가적 동의 없이 이용·제공 가능

한가? (법§15③,§17④)
※ 당초 수집 목적과 관련성, 예측 가능성, 정보주체의 이익 침해 여부, 안전성 확보 등 시행령
2 제14조의2에 따른 사항을 종합적으로 고려하여 판단

개인 ※ 이 경우 개인정보처리자는 고려사항에 대한 판단 기준을 개인정보처리방침에 미리 공개

하고, 개인정보 보호책임자가 해당 기준에 따라 개인정보의 추가적 이용·제공을 하는지
정보
여부를 점검해야 함
이용·
제공 ￭ 목적 외 이용·제공인 경우 별도의 적법한 근거가 있는가?(법§18②)
3 ※ 정보주체로부터 별도의 동의를 받은 경우, 다른 법률에 특별한 규정이 있는 경우, 명백히
정보주체 또는 제3자의 급박한 생명·신체·재산의 이익을 위하여 필요하다고 인정되는 경우 등

￭ AI 개발·운영 등을 위해 정보주체의 동의 없이 개인정보를 가명처리하여

활용하는 경우 법령에서 허용한 목적(통계작성, 과학적 연구, 공익적 기론보존) 및
기준에 부합하는가?(법 §28조의2 등)
4
※ 일반적으로 AI 기술개발(모델링·학습·시험 등)에는 과학적 방법이 적용되므로 과학적 영구에
해당할 수 있으나, AI 관련 서비스 운영 자체를 과학적 연구로 보기는 어려움
- 다만, 서비스 운영 시 기능 개선, 알고리즘 고도화 등을 위해 기술개발·실증 등 과학적 방법을
적용하는 경우는 과학적 연구에 해당할 수 있음

⑦ AI 개발·운영에 이용되는 개인정보는 접근통제, 접근권한 제한 등의 조치를

통해 안전하게 보관·관리하는가?
※ AI 개발·운영에 이용되는 데이터의 성격(구성·배열 방식 등)에 따라 전통적인 개인정보파일을
전제로 하는 안전조치의무 조항(법§29)을 그대로 적용하기는 어려울 수 있으나, 동 조항의
취지·목적을 참고해 AI 환경에 적합한 안전조치를 마련·시행하는 것이 바람직함
개인
- (예) AI 학습을 위한 웹스크래핑 데이터 등에 대해서는 「인공지능(AI) 개발·서비스를 위한
정보 공개된 개인정보 처리 안내서의 안전조치」를 참고할 수 있음
보관
· ￭ 개인정보에 대한 접근통제, 접근권한 제한, 접속기록 관리 등의 조치를 취하고
1
파기 있는가?(법§29, 영§30)

￭ 보안프로그램 설치, 보관시설의 물리적 보안장치 마련 등을 조치하는가?

2
(법§29, 영§30)

- 42 -
⑧ AI 개발·운영 종료 등으로 개인정보가 불필요하게 되었을 때에는 지체없이
파기하고 있는가?

￭ 불필요하게 된 개인정보는 지체없이 복원이 불가능한 방법으로 안전하게

1
파기하는가?(법§21, 영§16)

￭ 다른 법령에서 일정기간 보관을 의무화하여 보존하는 경우 다른 개인정보와

2
분리하여 보관하는가?(법§21)

⑨ AI 프라이버시 리스크 평가·관리를 위해 개인정보보호책임자(CPO) 등을

중심으로 한 내부 거버넌스 체계를 정비·마련했는가?
￭ AI 환경에서의 개인정보보호책임자(CPO)의 권한과 책임을 규정하였는가?
※ AI 환경에서는 개인정보 보호, AI 거버넌스, 사이버보안, 안전 및 신뢰 등 디지털 거버넌스의
1 하위 요소가 상호 연관됨에 따라 CPO의 책임과 권한이 확장될 것으로 전망

※ CPO는 AI 프라이버시 리스크 평가·관리에 대한 의지를 표명하고, 보다 포괄적인 디지털

거버넌스와 통합될 수 있도록 노력함으로써 응집력있는 관리체계를 구현할 수 있음

￭ CPO 등을 중심으로 AI 프라이버시 담당 조직을 구성하고, 적절한 부서 및

개인에게 권한과 책임을 부여했는가?
2 ※ 담당조직의 규모·구성 등은 개별 여건에 따라 자율적으로 결정할 수 있음

※ 리스크에 대한 다각적, 전문적 평가가 가능하도록 다양한 분야 및 층위의 담당자로 구성

하는 것이 바람직

AI ￭ AI 프라이버시 리스크를 평가·관리하는 정책을 마련해 문서화하고, 담당조직을

서비스 중심으로 이행하는가?
관리· ※ 정책에는 리스크 평가·관리의 원칙 및 절차, 지속적 이행 계획, 결과의 문서화, 최고 책임자에
3
감독 대한 보고 등 구조화된 의사결정 과정, 이해관계자와의 소통 방안 등이 포함될 수 있음

(상시) ※ AI 프라이버시 리스크 평가·관리 정책은 개인정보의 안전한 처리를 위한 내부 관리계획

(법§29, 영§30)에 반영하여 실행할 수 있음

⑩ AI 가치망 전반에서의 다양한 참여자간 상호의존적 활동을 인지하고 당해

기업·기관의 역할 및 타 기업·기관과의 협력체계를 구체화하였는가?

￭ AI 모델·시스템 개발 범위(직접 개발, 오픈소스 및 API 이용 등) 등을 기반

으로 당해 기업·기관의 권한, 역할 등을 정의하였는가?
1
※ 각 기업·기관은 AI 데이터 처리에 관여하고 영향력을 행사할 수 있는 권한 내에서 리스크
평가 및 경감, 정보주체 권리보장에 대한 책임을 부담

￭ 프라이버시 리스크 변화에 지속 대응하고, 정보주체의 권리행사를 효과적

으로 보장하기 위해 타 협력체계를 구축하였는가?
2
※ 각 기업·기관의 협력체계는 계약, 라이센스 등 문서화된 형태로 명시하여 책임있는 역할
분담을 보장

- 43 -
⑪ AI 개발·운영에 수반되는 개인정보처리 위탁, 개인정보의 국외이전 해당
여부를 검토하고 개인정보 보호법 관련 규정을 준수하였는가?
￭ 개인정보처리 위탁의 경우 개인정보 보호법 제26조 등에 따른 규정을 준수
하였는가?
1 ※ 위탁 목적 외 개인정보의 처리 금지, 기술적·관리적 보호조치, 위탁업무의 목적 및 범위 등을
포함한 문서로써 업무를 위탁하고, 위탁자는 개인정보처리방침 등을 통해 위탁사실과 관련된
내용을 정보주체에게 공개 등
￭ 개인정보처리 위탁의 경우 개인정보 보호법 제28조의8 등에 따른 규정을
준수하였는가?
2 ※ 정보주체와의 계약의 체결·이행을 위해 개인정보의 처리위탁·보관이 필요한 경우로서 국외
이전과 관련한 사항을 개인정보처리방침에 공개한 경우, 정보주체로부터 별도의 동의를
받은 경우 등 국외이전의 적법근거 확인 등

⑫ 허용되는 이용 방침(Acceptable Use Policy; AUP)을 작성·공개하고 있는가?

￭ 생성AI의 예견 가능한 오용을 열거하고 해당 목적의 사용을 금지하는 이용

1
방침을 작성하여 공개함으로써 오용을 방지하고 있는가?

⑬ AI 프라이버시 레드팀을 구성·운영하고 있는가?

(가칭)
￭ AI 프라이버시 레드팀을 구성·운영하여 기획·개발 시 예상하지 못한 개인
1 정보 침해 유형을 시험‧확인하고, AI 모델이 배포된 이후 정보주체에 미칠
수 있는 유해한 영향을 최소화하고 있는가?

⑭ AI 개발·운영 시 개인정보처리에 관한 구체적 사항을 개인정보처리방침에

포함·작성하여 홈페이지 등에 공개하는가?

1 ￭ 개인정보처리방침에 의무적 수록사항을 포함하였는가?(법§30,영§31)

￭ 수정·변경된 개인정보처리방침을 지속적으로 인터넷 홈페이지 등에 공개

2
AI 하는가?(법§30, 영§31)
서비스 ⑮ 자동화된 결정에 대한 개인정보처리자의 법령상 의무를 이행하기 위한
이용자 절차를 구축·이행하는가?(법§37의2)
보호
￭ AI 시스템을 활용하여 이루어지는 최종 의사결정이 보호법상 자동화된 결정에
및
해당하는지 여부를 확인하였는가?
피해 1
※ 「자동화된 결정에 대한 정보주체 권리안내서(‘24.9.26.)」의 ’개인정보처리자를 위한 자동화된
구제
결정 자율진단표‘를 활용하여 스스로 확인

￭ 자동화된 결정에 해당하는 경우, 정보주체의 거부권, 설명 요구권, 검토요구권

보장 방안을 마련하여 이행하고 있는가?
2 ※ (거부권) 자동화된 결정 적용 정지 또는 인적 개인에 의한 재처리 후 결과 고지
(설명요구권) 자동화된 결정에 대한 간결하고 의미있는 설명을 제공
(검토요구권) 제출한 의견 반영 여부 검토 등 조치 후 그 결과를 통지

- 44 -
⑯ AI 서비스에서 처리되는 개인정보에 대한 열람·정정·삭제·처리정지 등 정보
주체의 권리행사 요구에 대한 처리절차를 마련하여 이행하는가?

￭ 개인정보의 열람, 정정·삭제, 처리정지 등에 대한 구체적 방법·절차를 마련

하여 이행하는가?(법§35, §36, §37)
※ AI 개발자 및 서비스 제공자는 정보주체의 개인정보 열람, 정정·삭제 등 권리행사에 대하여
1 시간, 비용, 기술을 합리적으로 고려한 범위 내에서 보장하기 위해 노력해야 함

※ 특히, AI 결과값에 개인정보가 포함되는 경우 AI 개발자 및 서비스 제공자는 정보주체 요구에

따라 신속하게 필터링, 미세조정 등 안전조치를 취하여 개인정보 침해 위험을 최소화하고,
이후 AI 모델 재학습시 배제하는 것이 바람직함

￭ AI 가치망 참여자간 정보주체 권리 행사에 응하기 위한 협력체계를 구축

2
하였는가?

⑰ AI 서비스 운영과정에서 개인정보 유출 시 정보주체 통지, 유출신고,

피해구제 지원 등에 관한 대응절차를 마련하여 이행하는가?

￭ 개인정보 유출 대응 매뉴얼을 작성하고 이행하는가?

구분 신고대상(유출건수) 및 시기 등
1 · 1천명 이상 유출 시 지체없이(5일 이내) 정보주체에게 통지,
개인정보처리자 조치결과를 개인정보위·KISA에 신고
· 관련 규정 : 법§34, §39의4, §48의4

￭ 개인정보 유출 사실을 알게 된 경우 지체 없이 해당 정보주체에게 관련

2
사실을 알리고 필요한 조치를 하기 위한 준비가 되어 있는가?

- 45 -
부록2 언어모델(LLM) 대상 프라이버시 리스크 경감기술의 유형 및 효과

◈ 개인정보보호위원회는 한국어 거대언어모델(LLM)을 대상으로 다양한 프라이버시

리스크 경감기술의 유형별 효과를 분석하기 위해 정책연구를 수행하였음
※ (연구명) ’생성형 AI 관련 프라이버시 리스크 경감기술 평가연구‘, (연구기간) ’24.5.~‘24.10.
(연구기관) (주)제이씨레이다(이철희 대표 등), 경북대학교(정희철 교수 등)

- (의의) 선행연구가 부족한 한국어 LLM 모델 대상 프라이버시 경감기술의 효과성을

실증함으로써 과학에 기반한 AI 프라이버시 리스크 관리 정책·제도 토대 마련

- (한계) 한정된 컴퓨팅 자원(GPU)·예산 등으로 실험조건 및 연구범위가 제약된 한계

→ 본 연구결과의 일반적 적용에 한계가 있고, 후속 연구를 통한 보완 필요

1. 실험 조건

○ (LLM모델 선정 백본 모델의 다양성 매개변수 억 억 개 이용

) , (50 ~130 ),

정도 다운로드 수 등을 고려하여 한국어

( )모델 개 선정 LLM 4

한국어 모델 백본 모델
연번 모델명(공개 일자) 파라미터
제공 기관(자) (기관)
SOLAR-10.7B-Instruct-v1.0 Solar
1 업스테이지 108억
(’23.12.23.) (Upstage)
Llama-3-Open-Ko-8B LLaMA3
2 데이터드리븐 80억
(’24.4.24.) (Meta)
gemma-ko-7b Gemma
3 데이터드리븐 70억
(‘24.3.8.) (Google)
EEVE-Korean-Instruct-10.8B-v1.0 Solar
4 야놀자 108억
(’24.2.23.) (Upstage)

○ 데이터셋 구축 개인정보 항목 이 나열된 가상 데이터셋 생성 약

( )
*
( 40 만개 )

* 이름, 주소, 주민등록번호(외국인등록번호), 여권번호, 운전면허번호, Email, ID, PW, 전화

번호, 카드번호, 계좌번호, 소속 등

- 인스트럭션 튜닝 (Instruction-tuning)
*
을 위한 데이터셋 으로 변환 약**
( 40 만개)

* 다양한 태스크를 입력, 출력 형태의 데이터로 구성하여 LLM을 미세조정하는 방식

** 예시: 【입력】 {이름}의 주민등록번호는? → 【출력】 {주민등록번호}

- 중복제거 평가를 위한 중복 데이터셋 을 별도 구축 약 만 개

(de-duplication)
*
( 24 )

하고 일반 데이터셋 약 만 개 과 병합하여 최종 데이터셋 구축

,
**
( 17 )

* 인스트럭션 튜닝 데이터셋 중 일부를 정해진 중복 횟수(1~1,000개)에 따라 데이터를 임의로

추출하여 구축 / ** KoCommercial 데이터셋 중 허깅페이스에 공개된 데이터

- 46 -
2. 경감기술 유형 및 효과 분석

1. 중복제거(de-duplication)

□ 개요

○ 개념 ( 학습데이터에 단어 문장 등의 중복 횟수가 많을수록 원본

) LLM ·

학습데이터의 암기 재생성 리스크가 높아지는 경향 ·

중복제거는 학습데이터 품질 제고 학습 연산량 감축 등 성능을

- , AI AI

일반적으로 향상시키기 위한 방법으로 주로 채택

<중복제거 관련 주요 연구 동향>

연구 기관 주요 연구 내용
￭ 50 토큰(token) 기준 완전히 동일한 시퀀스를 제거(EXACTSUBSTR)하는 방식과
시퀀스의 유사도가 일정 수준 이상인 경우 제거(NEARDUP)하는 방식 등을 제안
완전히 동일한 시퀀스 제거 유사도를 고려한 제거

Google
Research

※ 출처 : “Deduplicating Training Data Makes Language Models Better"(2022)

학습 데이터셋 내
￭ 중복제거를 통해 줄일 수 있는 프라 데이터 중복 정도에
UNC 이버시 리스크 정도에 대해 분석 따른 데이터 암기
Chapel Hill 및 재생성 정도

※ 출처 : “Deduplicating training data mitigates privacy risks in language models”(2022)

□ 효과 분석

○ 각 모델 을 미세조정 하는 단계에서 구축한

(solar, llama, gemma, eeve) (fine-tuning)

데이터셋으로 에폭 반복학습 을 증가 회 시키며 암기 위험성 측정

(epoch, ) (1~3 )

-에폭 증가 시 풀 파인튜닝과 , 튜닝 을
(f ull) LoR A(Low-R ank Adaptation)
*

각각 적용하여 데이터 중복 정도에 따른 암기 위험성 비교

* 미세조정 기법 중 하나로 거대 모델을 파인튜닝할 때 비용‧시간 차원의 효율을
위해 일부 파라미터만 조정하는 방식(PEFT의 일종)

- 47 -
Subscribe to DeepL Pro to translate larger documents.
Visit [Link]/pro for more information.

- In particular, in the case of LoRA, the parameter ratio is varied step

by step (0. 1%, 1%, 10%) to analyze the effect of changing the
adjustment ratio.
< Comparing memorization full . LoRA tuning >

Separ Key takeaways

ation

■ For full parameter tuning, regardless of the model type, the number
of data duplicates (1 to 1,000) and the
The memorization risk of a model tends to increase with the number
of epochs (iterations).
- Conversely, LLMs trained on deduplicated data (1 or 2 duplicates)
Full show no memorization at all, regardless of the number of epochs.
Memorization with increasing (Llama) Memorization Extent with Increasing
fine Epoch (EEVE)
tuni
ng

■ When tuning only a few parameters, see that increasing the ratio to
10% causes the memorization rate to converge to '0' for most
models, regardless of the number of data duplicates and epochs.
* Exceptionally, only the GEMMA model has seen some memorization of personal
information in data with more than 100 duplicates.

■ While the risk of memorization is relatively low when tuning LoRA,

LoRA there is also the possibility of poor training by utilizing small
Tunin parameter ratios.
g Memorization on LoRA tuning ratio Memorization LoRA tuning ratio (EEVE)
(Llama)

48 --
49 --
2. prompt & output filtering

□ Overview

○ (Concept) When attacking users , there is an filtering that to

generate an answer and provides a answer, and an output
filtering that exposes personal information in the model
output to prevent from being generated and detects from
being removed.
- There are regular expressions (Regex), object name recognition
(NER), sentence classification methods, etc. that de-identify input
output data containing personal information in a simpler
way.
○ (Limitations) Limitations of filtering techniques suitable for
identifying patterned personal information, including high
probability of false positives and false negatives, and trade-offs
with model performance.
Lack of publicly available solutions that support Korean and domestic personal
information patterns, resulting in in-house development of solutions or
utilization of overseas solutions
<Key research trends in filtering
Research Key findings
organizati
ons
■ (MS) Developed 'MS Presidio' framework to identify and filter
personal information from sentences using regular expressions,
object name recognition, etc.
Microsoft,
- Presidio does not officially support filtering for Korean privacy
Google patterns.
■ (Google) provides filtering through a similar service, Data Loss
Prevention (DLP).
- We support filtering for more than 150 internationally
standardized personal information types, but only social security
numbers and passport numbers are officially supported among

50 --
Korean personal information patterns.

National ■ Suggestion to filter and store

University the personal information
of Defense contained in the prompt
before it is entered into the
Technolog
model, and then restore and
y insert the personal
Changsha information when responding.
Source: "Protecting User Privacy in Remote Conversational Systems: A Privacy-
Preserving
framework based on text sanitization." (2023)

■ To filter out prompts that

contain hostile tokens or
Harvard jailbreak intent, we propose to
University iteratively pass through a
safety filter while them from
the input one by one.
Source: "Certifying llm safety against adversarial prompting." (2023)

51 --
□ Analyzing effects

○ Apply input/output filtering with name recognition (NER) for

detecting patterned personal identifiers among the filtering
techniques available online.
- Due to the configuration of the data set, multiple filtering
algorithms (Presidio , , KoELECTRA) are applied the 'output' part,
where memorized personal information is more likely to be
exposed, and only Presidio and KoELECTRA are applied to the
'input' part.
(MS Presidio/Google DLP) Supports personal information filtering techniques
based on regular expressions and object name recognition (supports filtering
for Korean personal information patterns X)
(KoELECTRA) Learned to recognize 15 object names according to the
standard tag set taxonomy (large classification) of the Korea Telecommunications
Technology Association (TTA) (Model X specialized for personal information
filtering tasks)

○ Object Name Recognition (NER) requires an understanding of

unstructured data or context to detect and detect data, which is
vulnerable to limitations, and more sophisticated filtering
techniques such as human preference-based learning * will need
to be applied and validated in the future.
* learning based on human feedback (RLHF), Direct Preference Optimization, etc.
Degree of memorization before and Extent of memorization before and
after applying filtering (Llama) after applying filtering (EEVE)
Separ Key findings
ation

52 --
■ When output filtering is applied, the risk of memorization of
personal information is generally lower than
Lower, but different filtering algorithms have different levels of risk
mitigation
- The degree of memorization risk reduction before and after filtering is
'KoELECTRA' → 'Presidio' → 'DLP'
■ For generalization performance, 'KoELECTRA' significantly degraded
Filte most models, but had no significant impact on other algorithms.
ring - This was determined to be due to 'KoELECTRA' excessively filtering
outp non-personal information and 'Presidio' and 'DLP' not being suitable
ut for the Korean language model.

53 --
■ When applying input filtering, the risk of memorizing personal
information depends on the type of filtering algorithm.
Noticeable differences
Memorization by model (before Memorization by model (after
- For 'Presidio', we found no memorization risk reduction across all
'Presidio') applying 'Presidio')
models, and no degradation in generalization performance
compared to the original model.

Filte - KoELECTRA, other hand, dramatically reduces the risk of

ring memorization, and is much more efficient than output filtering.
Memorization degree by model Memorization degree by model (after
input Identified a small 'KoELECTRA')
(before applying but significant generalization performance
applying 'KoELECTRA')
degradation

■ This is because, the shape of the dataset we've built, the "input" data
contains no personal information other than people's names.
Determined that the element was missing, so applying the 'Presidio'
algorithm was not effective

3. perturbation

□ Overview

○ () Also called privacy , learning by noise to the data or to the

gradients that occur during training, by gradients.
- Prevents the possibility of memorizing the original data of a
model and is resistant to model inversion attacks, where the original
data is inferred from an external source.
○ (Marginal) trade-off between noise size and model performance,
54 --
and practical limitations for LLM applications due to the
enormous computational increase in the learning process.

55 --
<Key research trends on perturbations
Research Key findings
organization
s
■ noise that we add to the slope is attenuated by the degree of
University
training.
of Differentially Private-Stochastic Gradient Descent (DP-SGD) based
Houston privacy
Protection algorithm suggestions
■ Instead of adding noise to the individual data, you can add noise
Google to the sum of the minibatch slopes to create a
sampling, shuffling without
effectively privacy privacy
Differentially Private Follow-The-Regularized-Leader (DP-FTRL)
Proposal

■ Propose a DP-Forward
The approach that adds noise to
Chinese data embedding and can be
University applied to pre-training, fine-
tuning, and inference stages
Hong * Source: "Dp-forward: Fine-tuning and inference on language models with
Kong differential
privacy in forward pass." (2023)

□ Analyzing effects

○ For all LLMs, memorization decreased as the noise size increased,

but the noise size (*) at which the memorization rate converged to "0"
varied by model.
* (Solar) 0.01~0.025, (Llama) 0.05~, (Gemma) 0.025~0.05, (EEVE) ~0.01

○ However, Memorization
generalization performance
Noise Size (Llama) degrades significantly
Extent of Memorization when
by Noise
Size (EEVE)
applying noise.
For reference, for the Llama model, applying noise with a standard deviation of
0.025 has no memorization risk and no degradation in model performance,
no more than 100 duplicate data.

Separat Key findings

ion

56 --
■ Since the appropriate noise size will vary depending on a number of
factors, including model type, training dataset, hyperparameters, etc.

Perturb
ation

57 --
4. Pruning

□ Overview

○ (into structural (*) and non-structural ** by removing less

important by a set .
* Remove parameters that take model structure into account / ** Remove
individual parameters with small parameter absolute values

- Researched as a model lightweighting approach, but not robust

( similar to perturbation), which is also being researched as a privacy
protection technique.
○ (Limitations) Related research is limited to image recognition
models, lack of empirical research on language model
application, pruning rate-model performance trade-off , etc.
<Key research trends in pruning
Research Key findings
organizati
ons
Zhejiang ■ Researching calm privacy and pruning techniques to improve
University model performance while reducing privacy risks

Michigan
■ Research on techniques to reduce the likelihood of inferring
Technologic
training data from pruned models using loss functions that
University control the distribution of model predictions, such as membership
inference attacks.

Peking ■ Proposed SafeCompress and MIA-SafeCompress techniques to

University find compressed models for predefined safety & performance
tests through iterative learning

Huang, ■ A study of training data

Yangsib restoration results as a
o, et al. function of pruning rate
Source: "Privacy-preserving learning via deep net pruning." (2020)

□ Analyzing effects

58 --
○ Applying non-structural pruning methods, most models show
that increasing the pruning ratio reduces memory risk.
- However, when the pruning ratio is increased excessively ( pruning ratio
of 0. 9), LLM fails to generate meaningful sentences.

59 --
○ Experimental results also show that different LLM models have
different pruning ratios that result in different degrees of
generalized performance degradation.
* Solar and EEVE showed significant performance degradation at 50% pruning,
but Llama maintained a constant level of performance.

Separ Key findings

ation

■ In most models, memorization decreased as the overall pruning rate

Compare model response to training data sentences after applying pruning ratio 0.1
increased,
(SOLAR)
See how excessive pruning can prevent models from generating
meaningful sentences

Comparison of model response and training data sentences after applying pruning ratio
0.9 (SOLAR)

Pru ■ Experiments show that different models have different degrees of

nin generalization
Memorizationdegradation
by pruning ratewith pruning ratioof* memorization by pruning
Extent
g (Llama) rate (EEVE)
Check what appears
* SOLAR and EEVE show a significant drop in performance with 50% pruning, while LLAMA
maintains a consistent level of performance with the same percentage pruning (GEMMA
has very poor generalization performance even before pruning)

- In this experiment, we found that for the LLAMA model, a pruning

ratio of 50% significantly reduces memorization risk and maintains
model performance comparable to the original.

60 --
■ However, the appropriate pruning ratio may vary depending on the
model type, training dataset, hyperparameters, etc.
Expect to spend significant time and computational resources as it
depends on many factors

61 --
5. Machine unlearning

□ Overview

○ () A technique information that a model has been , deleting

incorrect information or information that is inappropriate for
learning (personal information, , etc.).
- The goal is to delete information about forgotten data and keep
information about retained data intact.
Machine forgetting technology Before and after applying machine
overview forgetting to generative models

○ (Limitations) This is an emerging area of risk reduction technology

that requires further research , and it is difficult find the
appropriate level of awareness.
<Major Research Trends in Machine Forgetting
Research Separa Key findings
organizatio tion
ns

University Fine
■ Propose an algorithm that negates the task vector and
Tuning
of adds it to the pre-trained model's weights, causing the
Task
Washingt model to lose performance on the target task.
Vector-
The difference between the weights of the pre-trained model and the weights
on Based
of the model fine-tuned for the task.
Paramete
rs

Fine- ■ Perform gradient ascent on specific token sequences to

KAIST tuning be forgotten, and study effective forgetting techniques
based with sequential forgetting rather than forgetting data all
on slope at once.
rise * Typical deep learning model training uses gradient descent to minimize
62 --
loss.

Relabelin ■ Research on relabeling anchored terms, which are

Microsoft
g-based idiosyncratic representations of existing data, with
Research
fine- common representations, and then fine-tuning with that
tuning data to make the model forget about the specific data.

Fine-
■ To mitigate biases based on race, gender, religion, etc.
Universit tuning
inherent in trained language models, a technique that
y of based
computes a first-order approximation based on the slope
Illinois on
of contrasting sentence pairs to optimize only the
weight
weights that contribute most to specific areas of bias.
optimizat
ion

63 --
□ Analyzing effects

○ a result of the fine-tuning techniques to make token containing

personal information based on a rising bell curve, the
technique is applied (1 width→ 2 ), the higher the degree tends
to be.
Retrain each LLM for 3 epochs (allowing for data retraining), then apply the
forgetting technique for 1-2 epochs with the to the token sequence
including personal information.

○ However, there is a trade-off where excessive use of the forgetting

technique can reduce performance by forgetting more data
than should be preserved.
Sepa Key findings
ratio
Validation Key takeaways
n
metrics
■ Vary the strength of the attack by varying the prefix length for a
Extractability
specific token sequence and measure the average success rate of
Obliv
the extraction attack against it.
ion
Memory ■ Quantify much a language for a given sequence of tokens
accuracy
■ Extracted from a large-scale Korean machine reading dataset
Accuracy
(KorQuAD), the
Rete Measure how accurately a model answers a question
ntion
■ A metric to evaluate whether the model predicted correctly and
F1 Score
how well it detected important data without missing it, measuring
how similar the words predicted by the model are to the actual
correct answer.
Separat S 1ep 2ep L 1ep 2ep G 1ep 2ep E 1ep 2ep
ion
Extra 0.5584
3.3528 2.5668
0.5458 0.5239
6.3050
0.6698 0.1057 0.0188 0.6360 0.3224
1.1613

A ctabili *10-4 *10-5 *10-5 *10-4

ty
n
Me
gl 0.7094 0.1102 0.0939 0.7164 0.6641 0.0191 0.7726 0.3794 0.1094 0.7475 0.5995 0.0399
mory
e accur
of acy
vi
e
w

Accurac 68.39 62.47 43.23 54.23 72.43 51.63 60.93 61.74 53.20 37.44 27.52 24.00
Pr
es y 64 --
er F1 74.56 68.39 48.80 63.22 79.05 56.90 69.88 70.44 63.84 48.22 39.78 36.95
■ (Metrics) Use forgetting metrics (extractability, recall), retention metrics
(accuracy, F1 Score) for numerical validation

The lower the value of the forgetting metric, the higher the retention metric, the more
Qu effective the application.
anti (model forgets what it needs to forget, such as personal information, and remembers what
tati it needs to remember)
ve
vali ■ The longer we applied the forgetting technique (1EP→2EP), the lower the
dati forgetting metrics were for all models, but for the retention metrics, we
on saw a different phenomenon for each model (model-specific increase
and decrease (*) in 1EP, and a decrease for all in 2EP).
* Preservation metrics increased for LLAMA and GEMMA at 1EP, but decreased for SOLAR
and EEVE
- Need to find the right level of forgetting that strikes the right balance
between privacy and data retention, as excessive machine forgetting
means retained data can also be forgotten

65 --
■ Validate memorization and generalization performance based on the
degree of data level
Memorization overlap
beforeper
andmodel
after Degree of memorization before and
- 1EPOCH is partially
applying forgetting memorized
technology in some models (LLAMA,
after applying GEMMA,
forgetting EEVE)
techniques
(Llama) (EEVE)
when are many duplicates of personal information; 2EPOCH is not
memorized regardless of the degree of duplication.

Qu
alit
ativ
e
vali
■ Generalization performance varies across models and benchmarks,
dati
with a of and generalization performance as epoch increases
on
- In the actual model response results, we only applied the forgetting
technique to personal information, but the other
Information is forgotten, answers are hallucinatory, and answers are
3. Significance/implications and limitations incomprehensible.

□ Significance and implications

○ The study was conducted to derive a scientifically based

through empirical research, away from abstract ethical
principles, in a situation where there is a lack of research on the
evaluation of mitigation techniques for Korean language models.
- In particular, it is of great value that it is a pioneering research
that reflects the privacy patterns of Koreans in a situation
where privacy enhancing technology (PET) research for large
language models (LLM) is very scarce in the world.
○ Verify that mitigation such as deduplication, input/output filtering,
perturbation, and garbage disposal are valid for Korean language
models.
- However, even with the application of mitigation techniques,
complete memory erasure is , () are to the rights of data
66 --
subjects.
○ Confirmed that there is a trade-off between the application of
perturbation, pruning, and forgetting techniques and the
performance of the AI model.
- Therefore, flexible approaches, such as recommendations
through guidelines, should be considered first, rather than
blanket on the use of certain mitigation techniques.

67 --
□ Limitations

○ Aspects where the scope of the study was constrained (*) by

limitations such as lack of relevant prior research, limited budget

and computing resources (GPUs), etc.
* We excluded the pre-training phase from the scope of our review, and the
main fine-tuning-based mitigation technique, the
Excludes the effects of human feedback-based reinforcement learning (RLHF),
direct preference optimization (DPO), etc.

- Research findings should be understood a of for initial policy

setting rather than as a rigorous academic proof.
○ The rigor and realism of research is compromised by utilizing
generated data that is limited to a specific type of data
rather than diverse real-world data when building learning
data.
○ this onlyhigh-level comparison of the results of the mitigation
techniques, and does not accurately measure the trade-off
between the of the and model performance , leading to the
of point.
- In case of filtering, Named-Entity Recognition was applied to
prompted attack situations such as jail-breaking, which may have
the effectiveness of filtering.
○ Future AI privacy risk reduction technology development
trends - Reflecting the trends, it is necessary to specify the
optimal alternative technology and the level of privacy protection
that can maintain the appropriate level of privacy protection
while increasing the effectiveness of AI technology.

- When using this research project in the field, it is necessary to

consider the above limitations and make efforts to develop
68 --
and apply the most appropriate technology for individual
conditions.

69 --
Appe
ndix
3 AI privacy risk types and mitigation schematized

70 --
71 --
◆ Revision
history
Date Key takeaways
Published Published AI Privacy Risk Management Model
24.12.19.
◆ Copyright notice
- The contents of this model are not to be reproduced, and the source
must be acknowledged when processing and quoting.
Source: Personal Information Protection Commission, "AI Privacy Risk
For the latest laws
Management and regulations,
Model," December see2024.
the National Legal Information Center
([Link]), for the latest privacy guides, see the Personal Information Protection
Commission's website*, and the Personal Information Portal**.
* Personal Information Protection Commission ([Link]) : Act> Act information>
Guide
** Privacy Portal ([Link]): Resources> View Resources> Guide