박상철, 인공지능의 법적 규율 II 판별모델

원본 파일: 박상철, 인공지능의 법적 규율 II 판별모델.pdf
변환 일시: 2026-04-09 22:43

---

1페이지

논문 <

인공지능의법적규율 판별모델

1)

박상철*

서울대학교법학전문대학원조교수이연구는서울대학교법학연구소의 학년도학 * . 2024 술연구비지원을받았음서울대학교법학발전재단출연 ( ).

요약

판별모델 은주로지도학습기반의분류기또는채점기이다 (discriminative model) .

그간판별모델의법적통제는불투명성과자동화에의한인간소외존엄성훼손에 ,

초점이맞춰졌다이는 년신용정보법상 자동화평가 설명요구 이의제기권 . 2020 “ ” , ⋅

년행정기본법상 자동적처분의재량행위활용금지와기속행위활용법률유 2021 “ ”

보 년개인정보법상 자동화된결정 거부권 설명등요구권 공개의무조항으 , 2023 “ ” ⋅ ⋅

로이어진다그러나소외 존엄은자동성보다는자율성의문제이고불투명성 편 . , ⋅ ⋅

향이사람의판단에현저한경우도많으니자동화의금지 제약이제대로된해법 , ⋅

이될수없다특히취업준비생등판별대상자들이현실에서겪는어려움을덜려 . ,

면소외 존엄등추상개념에천착할것이아니라완전자동 부분자동 수동을 , , ⋅ ⋅ ⋅

불문하고판별작업의정확성가치정렬성비차별성다원성을기해야한다따라서 , , , .

입법적과제는의사결정자동화의억지 지연에있는것이아니라 기존의사람 , (1) ⋅

에의한결정의성실성까지성찰하면서 귀납 실증 데이터에근거한판별모델 , (2) ⋅ ⋅

의도입을오히려촉진하고 이로써채점기준 의공개등더나은설명을 , (3) (rubric)

기하되 판별대상자들이부당하게차별받고배제되지않도록안전장치를설정함 , (4)

에있다이관점하에다음단계를거쳐기존입법의대안을강구한다첫째판별 . . ,

모델을사람과의상호작용방식에따라유형화하여 배분모델채용 입학사정 (1) ( ⋅ ⋅

대출심사 신용평가 보험계약인수 사회보장 랭킹등은차별 제재모델부정 ) , (2) ( ⋅ ⋅ ⋅ ⋅

계정탐지 사기탐지 보험손해사정 재범예측등은오판정확성의부족 인지 ) ( ), (3) ⋅ ⋅ ⋅

모델의료영상진단 센서 생체인증 추천등은안전을해하거나배분 제재모델 ( ) ⋅ ⋅ ⋅ ⋅

의특성값에오류를초래할정도의정확성견고성포함의부족품질편차문제포 ( ) (

함 프라이버시를해할정도의정확성의과잉을핵심위해로지목한다모델에대한 ), .

설명 공개는배분 제재모델에서판별대상자에게대칭적정보하에서의개선의기 ⋅ ⋅

회또는차별에문제제기할근거를부여하는장치로구성한다둘째법적개입을 . ,

정당화할만큼 공적영역에서활용되거나판별대상자의삶을좌우하는배분 제 (1) ⋅

재모델 안전프라이버시리스크가있거나배분 제재모델에투입될특성값을 , (2) , ⋅

매기는인지모델을식별한다셋째이같이식별된모델들에대해앞서지목된핵심 . ,

서울대학교 뺷 法學뺸제 권제호 년 월 면 65 2 2024 6 317 380 ∼ Seoul Law Journal Vol. 65 No. 2 June 2024. pp.317 380 ∼ https://doi.org/10.22850/slj.2024.65.2.317

---

2페이지

318 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

들어가며 I.

검토의대상판별모델 1. :

이글의검토대상은인공지능 모델중 (AI) 판별모델 이다 (discriminative model) .

판별모델은주로지도학습 기반 (supervised learning) 1)으로서훈련된모델이특성값

(평가의대상이되는속성으로부터추론하는예측치 )( ) (가이산형 이 ) (discrete)[

항형 과범주형 포함이면합격 불합격등을판정하는 (binary) (categorical) ] ⋅ 분류기

이고연속형 이면점수를매기는 (classifier) , (continuous) 채점기(regressor; interpolator)

이다.2)

이글은판별모델의본질을살펴보고자동화에초점을맞추는기존통제입법 ,

들을비판하며대안을도출하기위해판별모델을유형화한다각유형별로식별된 , .

핵심위해에대한법적대응방식을구체화하면서구체적인개정안을도출한다 , .

판별모델의본질 2.

가판별모델의아키텍처 . 3)

판별모델아키텍처의몇가지예시를정확한법적분석에보탬이되는한에서만

최대한간략히살펴본다.

회귀모델 (1) (regression model)

회귀모델은기계학습의출발점인데예측치 , (의범주에따라다른형태로적합 )

1) 단비지도학습기반클러스터링 에입각한판별모델도있다 , (clustering) . 2) ISO/IEC TR 24029-1, Artificial Intelligence (AI) －Assessment of the Robustness of Neural

Networks Part 1: Overview (2021), 5.2. – 3) 전체적으로Andrew Ng, CS229 Lecture Notes 참조 (2020) .

위해를측정 경감하는방법과이를뒷받침할법적수단을검토한다넷째상기검 . , ⋅

토를종합하여현자동화평가 처분 결정규제의대안을제시한다. ⋅ ⋅

주제어인공지능판별모델자동화편향투명성 : , , , ,

---

3페이지

인공지능의법적규율 판별모델 박상철 II: / 319

한다 (fit) .

첫째, 연속형(continuous) 예측치예컨대수학능력를추론하는 ( ) 회귀모델의경우,

레이블 된훈련데이터예컨대졸업생들이입학사정때제출한서류로부터추 (label) [

출한특성값 들 (feature) (과졸업평점 ) (에다음선형 회귀식 )] (linear) (을적합 )

하는방식으로학습한다.



구체적으로훈련데이터내각사례 예컨대졸업생의특성값 , (example)( ) (을 )

위회귀식에투입하여얻은예측치( 와각사례에달린레이블 )

(각졸업생의실제졸업평점의차이의제곱의합손실함수을최소화하는 )( ) ( ) 

를구하는방식최소제곱법 으로모델을훈련데이터에적 [ (method of least squares)]

합시킨다이과정에서 . 의성분즉파라미터들 , (은특성값벡터의성 )

분인이 씩늘어날때마다 1 가얼마만큼늘어나는지를학습하게된다.

이렇게학습된모델로새로운사례향후입학할학생들에대한예측을할수있 ( )

게된다.

둘째이산형 중 , (discrete) 이항형 의 (binary) 예측치예컨대대출신청자의상환여 (

부를추론하는 ) 로지스틱회귀 의경우훈련데이터에시그모이 (logistic regression) ,

드 형태의다음회귀식을적합하여학습한다 (sigmoid) .

∣ 

 







구체적으로훈련데이터를구성하는각사례예컨대과거에대출받았던사람들 , ( )

중인사례들예컨대상환자들의경우특성값 ( ) (을위식에투입하여 )

얻은상환율(을 ) , 인사례들예컨대채무불이행자들의경 ( )

우채무불이행율(을산출한후이들 )

을전부곱한가능도 를최대화하는 (likelihood) 를구하는방식최대가능도추정 [

을쓴다단실제로는간단한수학적계산을거쳐 (maximum likelihood estimation)] . ,

다음과같은손실함수교차엔트로피손실 를최소화하는방식으 [ (cross-entropy loss)]

로적합하게된다.

loglog

그결과의성분즉파라미터들은특성값벡터의성분들이 씩늘어날때마다 , 1

승산비 의로그값이얼마만큼늘어나는지를학습하게된다이렇게학습된모 (odds) .

---

4페이지

320 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

델로새로운데이터향후대출신청자들에대한예측치상환율를구한다이러한 ( ) ( ) .

예측치가설정된임계치예컨대 를넘으면 ( 0.5) 예컨대대출대상자로분류한다 ( ) .

셋째이산형중 , 범주형(categorical) 예측치예컨대사진의강아지가어느품종인 (

지를추론할때는 ) 소프트맥스 를사용한다 (softmax) .



 















역시이하교차엔트로피손실을최소화하는방식으로적합한다.















log

이상을통해로지스틱회귀가클래스 가 개일때의소프트맥스의특수한 (class) 2

형태임을확인할수있다.

특히 법학자들의논문들과입법은일상적으로모델과알고리듬을혼동하 EU

고,4) 법령은심지어파라미터 EU (와특성값 ) (을헷갈리기도한다 ) .5) 그러나정

확한법적규율을위해핵심개념들의분별이필요하다.6) 특히위회귀모델및로

지스틱회귀모델에서, 즉파라미터들()의벡터가모델의실체로서,

각특성값이예측치에미치는영향이학습된결과물이다위세가지예에서알고 .

리듬에해당하는것은각회귀식내지손실함수이다알고리듬은대체로교과서나 .

깃헙 등개발자플랫폼에공개되어있어알고리듬투명성 (github) (algorithmic

4) 논문으로는예컨대Gianclaudio Malgieri & Giovanni Comande, “Why a Right to Legibility

of Automated Decision-Making Exists in the General Data Protection Regulation,” International Data Privacy Law 입법으로는예컨대 법 , Vol. 7, No. 4 (2017), p.245. P2B [Regulation (EU) 2019/1150 of 20 June 2019 on Promoting Fairness and Transparency for

은검색결과의조작으로소비자기만 피 Business Users of Online Intermediation Services] ⋅ 해가유발될수있으면알고리듬또는기타정보를공개하지않을수있다고규정한다 “ ” (art. 5(6)). 5) 예컨대 가 법의집행을위해고시한랭킹투명성가이드라인은특성값 을 EC P2B (feature) 파라미터 라 오칭하고 있다 (parameter) [Commission Notice, Guidelines on ranking transparency pursuant to Regulation (EU) 2019/1150 of the European Parliament and of the Council (2020/C 424/01), OJ C 424, 8.12.2020, pp.1 26]. – 6) 공정거래위원회는 온라인플랫폼공정화법안의세부지침을만들기위해플랫폼의 2021. 5. 알고리즘자료제출을요청한사실이없고동법안이기업의영업비밀에해당하는 AI , 알고리즘을공개하도록하는내용도아니라고해명한바있다공정거래위원회 온라 AI [ , “ 인플랫폼공정화법관련지침마련위해기업에 알고리즘제출요청사실없어 AI ” (2021. 5. 27.)].

---

5페이지

인공지능의법적규율 판별모델 박상철 II: / 321

은틀린말이다전문가시스템 이아닌기계학습 transparency) . (expert system) (machine

의경우 learning) 설명 공개가요구되는것은알고리듬이아닌모델 ⋅ 이다단위 . ,

선형모델들은파라미터의성격을사람이직관적으로이해할수있어모델이쉽게

설명될뿐이다.

심층학습 (2) (deep learning)

심층학습은비선형의복잡한패턴으로분포한데이터에도잘적합할수있도록

여러층 을쌓는다는차이는있으나결국최종출력층 에서는연 (layer) , (output layer)

속값의경우회귀이항값의경우로지스틱회귀범주값의경우소프트맥스 , , 7)로

출력하고이들의출력값 , (과실제레이블 ) ( 간의손실을최소화하는방식으로 )

적합한다각샘플혹은그묶음 마다손실함수이산값의경우교차엔트로피 . (batch) (

손실의기울기 를계산하여각노드의 ) (gradient) W와b에서깎는 방식으로 (descent)

적합하며이과정을역전파 라칭한다한층을이루는노드 , (backpropagation) . (node)

마다선형모델의계수에해당하는 ( ) 가중치(weight; W 와 ) 편이(bias: b 가학습되며 ) ,

이들이데이터의패턴에따라적합되는파라미터이고, W와b들의벡터가심층학

습모델 인공신경망의실체 (= ) 이다.

그림 인공신경망의개요 [ 1]

7) 단실무상으로는소프트맥스함수를적용하기전에그대로출력한다소프트맥스가단조 , . 증가함수이고가장높은수치인클래스를예측치로선택하면되기때문이다.

---

6페이지

322 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

범용모델의미세조정 (3) (fine-tuning)

특정판별태스크수행목적의모델 을훈련시킬수도있지만범 (narrow model) ,

용모델을레이블이달린데이터로미세조정 하여지도학습적작업 (fine-tuning) (task)

에활용할수있다미세조정은범용모델의전체파라미터를조정하는방식으로도 .

이뤄진다그러나폐쇄모델이 로서비스를제공할땐전체파라미터를미세조 . API

정하는것은무리이므로저랭크적응 등일부파라미 (low-rank adaptation; LoRA)

터만조정하는방식으로미세조정한다.8)

나판별모델의효용과사회적편익 .

판별모델은주로사람의판단 과인지 를대체또는보완한다 (judgment) (cognition) .

사람의부패(corruption), 정실주의 인맥청탁배경속칭빽 등 (favoritism)[ , , ( “ ”) ], 인지

적편향(cognitive bias)9), 생리적한계피로 배고픔 ( ⋅ 10) 질병굼뜸머뭇거림등로 , , , )

인해, 사람의결정은정확성효율성신속성일관성 , , , 11) 불편부당성 , (impartiality),

예견가능성이떨어진다판별모델은 . 과거의데이터를통해미래를추론하는과학

적경험적 적방법론 , , 溫故知新 과빠른연산능력을통해사람의결정에내재한상

기단점들을보완하고정확도가더높은결정을내리기도하며12) 신뢰성과납득가

능성을높여효용과사회적편익을창출할수있다.

8) Edward Hu et al., “LoRA: Low-Rank Adaptation of Large Language Models,” arXiv:2106.09685v2 (2021) passim. 9) Amos Tversky and Daniel Kahneman, “Extensional versus Intuitive Reasoning: The

Conjunction Fallacy in Probability Judgement,” Psychological Review, Vol. 90, No. 4 (1983), pp.293 315. – 10) Shai Danziger, Jonathan Levav, and Liora Avnaim-Pesso, “Extraneous Factors in Judicial

Decisions,” Proceedings of the National Academy of Sciences (PNAS), Vol. 108, No. 17

단이스라엘가석방판결의인용률이식사시간의영향을받았다 (2011), pp.6889 6892. , – 는취지의이논문의주장에대해서는강한반론이제기되고있음에유의대표적으로 . , Keren Weinshall-Margel and John Shapard, “Overlooked Factors in the Analysis of Parole Decisions,” PNAS, Vol. 108, No. 42 (2011), p.E833. 11) Jaya Ramji-Nogales, Andrew I. Schoenholtz, and Philip G. Scharg, “Refugee Roulette:

Disparities in Asylum Adjudication,” Stanford Law Review 마 , Vol. 60 (2007), pp.338 339 ( – 이애미소재연방출입국법원의같은청사에서재판을받은콜롬비아난민신청자들이 어떤판사를만나냐에따라인용률이 에서 까지차이를보였음을실증 5% 88% ). 12) Jon Kleinberg et al., “Human Decisions and Machine Prediction,” The Quarterly Journal of

Economics, Vol. 133, No. 1 (2018) passim 보석결정을기계학습으로대체함으로써사 ( 람의판단대비구속률의변동없이범죄율을 낮추거나범죄율의증가없이구 24.7% , 속률을 낮출수있음을실증 41.9% ).

---

7페이지

인공지능의법적규율 판별모델 박상철 II: / 323

구체적으로판별모델학습을위해투입된훈련데이터의레이블값 , (y 이사실의 )

관측에기한데이터예컨대보석결정을위한 에있어 회공판기일출석여 ( AI 1

부13) 진단 에있어영상진단대상자들의최종조직검사결과라면기계학습기 , AI ) ,

반판별모델은기존의데이터에근거한경험적예측을통해사람특유의부정확성

과인지적편향을극복하고사람이더정확한결정을내리도록보조할수있다.

판별모델의훈련데이터의레이블값(y 이사실에관한관측데이터의부족으로 )

대신숙련된사람들의기존판단에서추출하였다면예컨대사법 에있어각급 ( , AI

법원들의기존판결내용영상진단 에있어여러 의진단 판별모델은일관 , AI ), 名醫

성을높이고전문가들의숙련을위한학습곡선 을단축시키며당사 (learning curve)

자간결정전타협과조율을촉진할것이다.

행정처분에대한 의적용이행정부작위를줄여주는역할을한다는지적도있 AI

는데,14) 판별모델의활용이사람의머뭇거림답답함게으름응답없음 , , , (unresponsiveness)

에대한시원한해결책이될수있음에동의한다.

에대한두려움으로자동화의억지에급급한입법을제정함으로써판별모델 AI ,

로부터의이들효용과편익을누릴기회를박탈하고정확 효율 신속 일관 불 ⋅ ⋅ ⋅ ⋅

편부당 예견가능성이떨어질수있는인적결정에만의존하게된다면이러한 , ⋅ 판

별모델의사용불가로인한기회비용이야말로판별모델에대해논의되는그어떤

위해보다심각한위해일수있다.15)

다판별모델의사회적비용 .

그러나판별모델은이러한효익을상쇄할만큼의사회적비용을유발할수있

다이에대한작금의진단수준은미흡한데차례로살펴본다 . , .

인간소외와존엄성 자율성훼손 (1) ? ⋅

판별모델활용으로인한사회적문제로우선불투명성 내지 (opacity) 자동화

로인한 (automation) 인간소외및존엄성 자율성훼손 ⋅ 이거론된다.

첫째, 불투명성논변은주로기계학습특히심층학습의블랙박스 적 , (black box)

13) Ibid. 14) 유동훈 자동적재량행위가능성에관한시론적연구 , “ ”, 제 호 면 697 (2022. 6.), 19 .

15) U.K. Department for Science, Innovation & Technology and Office for Artificial Intelligence, A Pro-Innovation Approach to AI Regulation, Aug. 3, 2023 (“AI risk assessment should include the failure to exploit AI capabilities”).

---

8페이지

324 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

성격에서출발한다심층학습에있어사람이할일은몇층에몇개의노드를쌓 .

을지결정한후신경망의양쪽단 에각각 (end) 만계속

투입하는것일뿐이에따라 , W와b를적합시키는것은기계가알아서한다단대 [

단학습(end-to-end learning)].16) 결국층과노드가많아지면W와b이적합된방식

에대한해석과설명의 는높아지는데이로인해인공신경망은블랙박스로기 難度

술된다이특성은사람이심층학습모델을이해할수없어인공신경망이사람의 .

통제에서벗어나사람을지배하고소외시킨다는주장의근거로 되었다. 專用 17) 그

러나덜복잡한인공신경망의경우개발자는W이큰노드들을따라가며어느정

도해석을할수있고더복잡한인공신경망은현존하는설명가능한인공지능 ,

기술을투입함으로써해석가능성을높일수있다인공신경 (eXplainable AI; XAI) .

망의불투명성은심층학습이복잡하고비선형적인데이터패턴을귀납적으로파악

하는것에기인하나이로부터 의인간통제나소외를끌어내는것은논리의비 , AI

약이다.

이러한 블랙박스논변이놓치고있는점은우리가다른사람에게지배되고 “ ” ,

소외당한것이그의우리삶의향방에대한관철력즉권력 , (power)18) 때문이지,

의사결정과정에서그의뉴런의축삭에몇전위의전기가흐르고시냅스에서다음

시냅스로어떤신경전달물질이얼마큼분비됐는지우리가모르기때문은아니라는

점이다자동이든수동이든자기삶에대한권력을쥔타인으로부터선택을받지 .

못하거나나쁜평가를받은사람이궁금한것은한마디로채점기준 이다좀 (rubric) .

더구체화하자면 자신이바꿀수있는가변특성값 예컨대시 , (1) (mutable feature;

험성적때문에떨어졌을경우이것을얼마나올려야나중에다시붙을수있는지 ) ,

자신이바꿀수없는불변특성값 예컨대성별인종때문에 (2) (immutable feature; , )

떨어졌을경우차별에문제제기하기위해이러한특성값이결과에얼마나영향을

미치는지알고싶을것이다 전자는 . 반사실적설명(counterfactual explanation;

후자는 CFE), 파라미터에해당한다사람이직관과편견에따라결정하던기존의 .

완전수동화시대에는채점기준이공개는커녕사전설정되지않은경우도많고이 ,

16) Ng, supra note 3. 17) Frank Pasquale, The Black Box Society: The Secret Algorithms That Control Money and

Information (Harvard University Press, 2016) passim. Davide Castelvecchi, “Can We Open the Black Box of AI?,” Nature, Vol. 538 (2016), pp.21 23. – 18) 항구적인권력관계를의미한다기보다는예컨대다면인사평가의경우하급자가상급자 , 를평가하는권력을일시적으로나마가진다는정도의의미이다.

---

9페이지

인공지능의법적규율 판별모델 박상철 II: / 325

경우설명할방법조차없었다머신러닝환경에서데이터에입각하여추론하고파 .

라미터가정량화되며비로소체계적인설명이가능해진것이고사실설명가능성 ,

의비약적인향상이이루어진다블랙박스모델의불투명성도 . 사람에비해선낫지

만기계라면정량적으로더잘설명할수있어야한다는지적일뿐사람보다불 ,

투명하다며사람의결정시대에없었던수준의투명성을요구하는논리로이어지

기는어렵다투명성자체를목표로삼을것이아니라 . , 설명의무가판별대상자들에

게개선또는차별에대한문제제기기회를부여하는도구임을고려해야한다.

둘째, 자동화로인한인간소외 내지존엄성훼손이거론된다 (alienation) .19) 그러

나자동성은자율성과구분해야한다. 자율성 이란그리스어 (autonomy) autos 자 ( 신)

와nomos 규칙또는법의합성어로서스스로에대한규율을만든다 ( ) (self-regulating)

는의미이다.20) 판별모델중자율성을가진것은오토 등극히일부 ML (AutoML)

인데이들의경우단대단학습에한하지않고훈련데이터의준비특성값엔지니어 , ,

링 모델선택심층학습의경우층과노드의선정하이퍼파라 (feature engineering), , ,

미터최적화등의전부또는일부까지기계가담당한다.21) 더나아가판별작업의

실행여부와시점의결정까지기계가담당하는것도가능하다이단계의자율성 .

이라면인간소외와존엄성훼손이문제될수있고,22) 차회논문인공지능의법적 (“

규율 에서다룬다 III”) .

이와달리자동성 은스스로작동하는것 을뜻하며컴 (automaticity) (self-operating)

퓨터과학의바탕을이루는오타머턴 개념과직결된다오타머턴은자동 (automaton) .

으로일련의동작 을따르거나사전결정된명령 에응답하도록 (operation) (instruction)

설계된스스로작동하는기계또는제어체제를의미한다.23) 예컨대튜링기계

는 차원테이프 에기재된기호들을일정규칙에따라변환 (Turing machine) 1 (tape)

19) 국내외다수의문헌들이인간의존엄성 자율성침해를자동화결정규제의핵심근거 ⋅ 로들고있다예컨대이상용 이혜리 개인정보보호법에의한자동화된결정의규율 . , “ ”, ⋅ 통권제 호 면각주 등 105 (2024. 1.), 74 16) .

20) Gerald Dworkin, “Autonomy and Behavior Control,” The Hastings Center Report, Vol. 6,

No. 1 (1976), p.23.

21) Isabelle Guyon et al., “Design of the 2015 ChaLearn AutoML Challenge,” International

Joint Conference on Neural Networks (IJCNN) (2015) passim. 22) 자율화단계의자동적처분은허용될수없다는견해로권은정 자동적처분의행정법 , “ 적제문제처분의형식절차및구제에관한쟁점을중심으로 : ”, ･ 제 권제 38 3 호 면 (2021. 9.), 93-94 . 23) Merriam-Webster, Definition of Automation, last accessed Jun. 10, 2024,

http://www.merriam-webster.com/dictionary/automaton.

---

10페이지

326 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

하는오타머턴이다.24) 즉오타머턴으로개념화되는컴퓨터의자동성이란사람이 ,

미리설정한일련의명령을연달아수행한다는뜻이다.

그림 튜링기계의예 [ 2] : 3-state busy beaver25)

결국 맥락에서의자동화란사람이미리훈련한모델 에여러 AI (pretrained model)

사례들을 나 루프등을통해반복적 으로투입하여판별작업을 for while (iterative)

실행하는것을의미할뿐이다기존에사람이건건이결정한것에비해사람이사 .

전에일괄설정하는방식을의미할뿐인자동성으로인해소외나존엄훼손이왜

증분 되는지역으로수동적이면왜소외나존엄문제가해소되는지해 (increment) ,

명된바없다.26) 이상황에서 식자동화의사결정 EU (automated decisionmaking;

규제가우리를비롯한세계각국으로퍼져나간것은전혀합리적상황이 ADM)

아니다.

더욱이오토 등 에자율성이존재하는예외적인경우를제외하면실행 ( ML AI “ ” )

전모델훈련 검증 시험단계에서인적관여심층학습의경우데이터셋의선택 ( , ⋅ ⋅

특성값의선정하이퍼파라미터의결정층 노드등아키텍처의결정등 즉일 , , ), ⋅

종의사전일괄설정이이뤄진다는점에서최근입법들이강조하는완전자동화개 “ ”

념이존재할수있는지조차의심스럽다행정기본법제 조의해석과관련하여미 . 20

리모델을개별사안의특수성을고려하여처분할수있도록설정한다면자동화된

재량처분의가능성도있다는견해가제기되는데,27) 현재의다수의해석처럼최종 (

24) Alan M. Turing, “On Computable Numbers, with an Application to the Entscheidungsproblem,”

Proceedings of the London Mathematical Society. Series 2, Vol. 42, No. 1 (1937), pp.230– 265. 25) 이미지출처는Diego Queiroz, State Diagram 3 State Busy Beaver 2B, Wikimedia

Commons https://commons.wikimedia.org/wiki/File:State_diagram_3_state_busy_beaver_2B.svg. 26) 알고리듬이판별대상자의신체를훈육하여미시권력을주입하여사람을소외시킨다는

푸코 식의사변이실증을대체할순없다 (Michel Foucault) .

---

11페이지

인공지능의법적규율 판별모델 박상철 II: / 327

적인의사결정에대한인적관여여부에따라완전자동화여부를판단할것이아

니라사람이모델의훈련 검증 시험에관여한이상완전자동화는아니라고해 ) ⋅ ⋅

석한다면,28) 상기논증은더명료해진다다만판별모델은모든사례에대해 과 . , ( 1

중하나로만분류하거나난수를발생시키는것이아니라면 개이상의특성값 0 ) 1

에따라다른출력을내므로전부 개별사안의특수성을고려하도록미리설정 “ ”

된것이다즉이견해는완전자동화란기실자율성이있는경우가아니라면존 . , ( )

재하지않으므로자동화된재량처분은항상허용해야한다는결론으로무리없이

이어진다.

물론자동화를수용하는판별대상자들의심리적요소는고려할필요가있다그 .

러나사람들에게알고리듬기피(algorithm aversion)29)가있는지, 알고리듬선호

(algorithm appreciation)30)가있는지양자가엇갈린다면그결정요소는무엇인지도 ,

아직명확히실증되지않았다 년에발표된문헌검토에따르면 건의이주 . 2020 , 29

제에관한선행연구중 건에서알고리듬기피가 건에서알고리듬선호가관측 15 , 4

되었고 건에서는명확한결론이나오지않았다 , 10 .31) 이논문은알고리듬에대한

선호기피여부가 알고리듬에대해서는 기계가이용자에조언만하는지아 / (1) ①

니면자동으로작업을수행하는지 기계의실패율과신뢰도 기계가해당작 , , ② ③

업의수행에필수적역량을가졌는지 꼭판별대상자가아니더라도사람이모 , ( ) ④

델의훈련과이용에어느정도관여하는지에 비교대상인사람에대해서는 , (2) ①

사람의전문성 판별자와판별대상자간의사회적거리등다양한요소에달려 , ②

있다고분석하였다.32) 예컨대한연구는사람들이기계의결정을풋내기사람의

결정보다는선호하나전문가사람의결정보다는기피한다고관측한다.33) 형사판결

27) 김동희 최계영, ⋅ 제 판 면 (2021, 26 ), 267 . 28) Aziz Z. Huq, “A Right to a Human Decision,” Virginia Law Review, Vol. 106 (2020), p.646. 29) Berkeley J. Dietvorst, Joseph P. Simmons, and Cade Massey, “Algorithm Aversion: People

Erroneously Avoid Algorithms After Seeing Them Err,” Journal of Experimental Psycology: General, Vol. 144, No. 1 (2015) passim. 30) Jennifer M. Logg, Julia A. Minson, and Don A. Moore, “Algorithm Appreciation: People

Prefer Algorithmic to Human Judgment,” Organizational Behavior and Human Decision Process, Vol. 151 (2019) passim. 31) Ekaterina Jussupow, Izak Benbasat, and Armin Heinzl, “Why Are We Averse Towards

Algorithms? A Comprehensive Literature Review on Algorithm Aversion,” European Conference on Information Systems (ECIS2020) (2020), p.13. 32) Ibid., pp.5 9. – 33) Poornima Madhavan and Douglas A. Wiegmann, “Similarities and Differences Between

---

12페이지

328 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

기사들의댓글이 판사로의대체요구로넘쳐나는것도네티즌들의막연한사 “AI ” ,

법불신과더불어알고리듬선호를반영한다알고리듬기피대선호는적어도일 .

도양단적문제는아니므로선험적가정보다는좀더많은실증적연구를요한다.

판별모델의정확도 다원성 가치정렬등 (2) ⋅ ⋅

이상의소외니존엄이니하는사변적논의보다주목해야할것은 , 선택을받아

야하는약자들이현실에서겪는구체적인어려움이다특히채용 의경우 . AI 2023

년 월의설문조사결과국내 개사중 개사 가역량 필기전형서 10 258 106 (41.1%) , ⋅

류전형면접전형등에활용하는것으로파악되어 , ,34) 팬데믹중의일시적활용에

그치지않고활용이보편화되는과정에있는것으로생각된다기존의사람에의 .

한면접등채용심사의품질이좋았을것이란보장은없고향후채용 의예측결 , AI

과와업체별성과데이터가매칭되고이를통해추가훈련되면서발전할잠재력은

커보인다그러나현수준의채용 는취업준비기청년들의다수가통과해야할 . AI

인생의관문으로자리잡기에아직은미달한다.

역량 필기전형의경우모업체는 역량이라명명한인지능력이채용후업무 “ ” ⋅

성과에대한예측력이크다는가설하에문제풀이나게임으로부터 역량 점수를 “ ”

추출하여종합점수를매기는데,35) 종합점수가평균적으로업무평가에미치는영향

상관계수이 신뢰구간에서 로서상당한수준이나 직군별기관별로는 ( ) 90% 0.52 , /

사이에분포한다는자체메타분석결과를공개하였다 0.33~0.83 .36) 키와몸무게만

상관계수가 라는데 0.6 37) 이런인자를빼고예측한것치고는표본추출이나업무성

과추출방식의적정성등을가정할때상관계수가상당한수준인것은사실이다.

다만선천적사회성의지표로보이는이러한역량의상관계수가떨어지는직군 , “ ” /

Human-Human and Human-Automation Trust: An Integrative Review,” Theoretical Issues in Ergonomics Science, Vol. 8, No. 4 (2007), pp.277 301. Recited from – Ibid., p.10.

34) 권오성 남재욱 박수민 김유나 채용분야인공지능 활용실태및공정성확보방 , “ (AI) ⋅ ⋅ ⋅ 안연구 한국산업인력공단위탁연구 면각전형의상세 ”, 2023-12 (2023. 11.), 14, 16-18 . 는김예진 채용절차에있어서인공지능의차별문제미국과한국의비교를중심으로 , “ : ”, 제 호 면에잘정리되어있다 55 (2023. 9.), 91-94 . 35) 센터 사 역량검사백서 면법적공개의무가없는상태에서이글과 J M , “ ” (2022), 17-24 . ⋅ 같은반론을감수하고백서를자발적으로공개한것은높이평가할만하며이보고서 , 작성시점이 년전이라시스템의구조가그간달라졌을수있다 2 . 36) 전게자료 면 , 6, 35, 45-47 . 37) 전게자료 면 , 6 .

---

13페이지

인공지능의법적규율 판별모델 박상철 II: / 329

기관이존재함도보여준다채용후해당기업고객의실제고저성과데이터를통 . /

해각역량별종합점수에대한가중치를훈련하여커스터마이징을하는것 “ ” 38) 외

엔데이터기반귀납적방식이라고볼만한근거가드러나진않으며실제제공자

도 라는언급은피한다면접전형의경우업체들을불문하고안면 발성을중심 AI . ⋅

으로한신체적능력의측정에집중하고있고,39) 일부업체는면접관들의실제채

점결과로써훈련한판별모델을사용하는데40) 그면접관들의채점결과가실제업

무성과에대한예측력이있었는지까지담보하진못하는것으로보인다.

정리하면아직사회가이중요한기능을완전히맡기고수용할수준은아니며,

현재로서는다음법적쟁점들이도출된다첫째인생의관문역할에걸맞은 . , 정확

도가담보되는지이다상기사례에서업무평가의예측에있어 . 평균적으로상당한

그룹정확도를달성했다는것이의미가없지않다그러나모든직군기관에대해 . /

높은정확도를보이진않고있어각직군기관별데이터를통한진정한 모델의 , / AI

훈련이독려된다 인지능력이라명명된선천적사회성이나시선 표정 어조등 . “ ” ⋅ ⋅

안면건강의영향을좀더받을수있는상급자등의평가가박하더라도이들의

영향을덜받을수있는다른지표작업량품질지표연구개발성과창작력체력 ( , , , ,

등를통해능력을입증하고기여할수있는직군도많을터인데판별모델로서충 ) ,

분히세분화 되어있는지즉다양한직군기관을포괄하는 (specification) [ , / 견고성(robustness)

이있는지점검을요한다특히사회성이나안면건강이 ] . 평균적으로사회생활에

대한평가로연결되는것이불편한진실일지언정이런 역량이떨어진다고평가 “ ”

될것으로추정되는내성적인사람들이나안면건강이떨어지는사람들을모든직

군에서차단하는압력으로작용하는것은차별문제를떠나전체사회의효율적

역할배분의관점에서도타당치않다더욱이사람이심사할때는 사면접관들은 . A

잘안맞지않아탈락하더라도 사면접관들은잘맞아합격하는경우가있다그 B .

러나특정솔루션이많은회사에동시에채택되면그솔루션으로부터유독박한

평가를받는취업자는지금껏잘해왔다하더라도어디에도취업할수없고사회에

서배제되어버릴것이다이는자동화로인한위해로서특정솔루션이 . , 공공부문

에서사용되거나민간부문에서높은시장점유율을달성할경우에는다양한업무능

력지표나평가기준을포괄할수있어야함[다원성 을갖춰야함 (multi-criteriality) 41)]

38) 전게자료 면 , 48-53 . 39) 전게자료 면 , 62 . 40) 사 기술 J , “viewinterHR: AI ”, https://viewinterhr.com/skills/.

---

14페이지

330 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

을시사한다.

둘째좋은시선 표정 어조와 하노이의탑 백카드 같은특정게임수 , “ ”, “N- ” ⋅ ⋅

행능력이한국인이인생의핵심관문에서시험당하는국영수수준의필수교양으

로자리잡은것이결과적으로업무평가와의일정한상관성이관측된다하더라도 , ,

아나운서나게임테스터를채용하는것이아닌이상우리사회의가치에부합[가

치정렬(value alignment)42) 하는지의문이다조선시대대과 전시 에서 ] . ( ) ( ) 大科 殿試

왕이발제한책문 이나프랑스의바칼로레아 철학논제처럼공 ( ) (Baccalauréat) 策文

동체가지향하는가치의정수 를반영할것까지기대하진않는다그러나인 ( ) . 精髓

생의관문에서시험당하는항목이안면건강등더선천적인불변특성값이라면달

리타고난청년들에게좌절을안겨줄것이고게임능력등덜선천적인가변특 ,

성값이라면이를통과하기위한청년들의불필요한노력과시간을점거하게될것

이다청년들의안면을스캔하여주요평가요소로고려하는것은일부대기업이 .

면접에관상가를참여시켰다는것못잖게차별문제를떠나가치정렬의측면에서

도문제가있는바용모를주요판단요소로고려하는경향이있던사람에의한기 ,

존면접방식과통틀어적절성여부를성찰해야한다.43)

셋째는자동화보다더중요한차별문제인데다음장에서살펴본다 , .

결론적으로사람의결정에존재하였던그간의폐단 편견 불합리를과소평가 , ⋅ ⋅

하고판별모델에대한인적개입의필요를신성시 절대시하며완전자동화에대 ⋅

해서만선별적강제를가하여활용을단념시키는것도역으로 역량검사처럼부 , “ ”

분자동화란이유로자유방임하는것도모두합당한접근이아니다판별모델의도 .

입을기존의사람에의한결정들까지함께아울러성찰하는계기로삼아, 타인의

삶을좌우하는중요한의사결정들이 든사람이든완전자동이든부분자동이든 AI ,

수동이든합당한정확도와가치정렬하에내려지고설명이이뤄지며납득이되는

한편부당한차별과배제가이뤄지지않도록법체계를전체적으로조망하고개선

하는것이우리의입법적과제라고정리할수있다.

41) Huq, supra note 28, p.686. 42) Nate Soares and Benya Fallenstein, “Agent Foundations for Aligning Machine Intelligence

with Human Interests: A Technical Research Agenda,” in Victor Callaghan et al.(ed.), The Technological Singularity (MIT Press, 2017), pp.103 125. – 43) 채용절차법제조의제호는구인자가구직자에대하여그직무의수행에필요하지아 4 3 1 니한용모 키 체중등의신체적조건을요구할수없다고규정한다. ⋅ ⋅

---

15페이지

인공지능의법적규율 판별모델 박상철 II: / 331

편향 (3) (bias)

데이터특히과거의데이터에편향이존재하여모델이이를답습함으로써여러 ( )

사회적문제를야기할수있음은익히실증된사항이고 장에서편향문제의측 , III

정과경감을고민한다다만편향의합리적통제책을설계함에있어서는이하사 . ,

항의추가고려가필요하다.

첫째판별모델중 , 상대평가 배분모델의대부분의경우에는 (relative evaluation)( )

배분적위해 즉 (allocative harm), 차별 해당여부가핵심쟁점으로서 (discrimination)

법의즉각적직접적개입여부가검토되어야하나 , ,44) 절대평가(absolute evaluation)

제재모델의대부분과인지모델의경우 ( ) (1) 표상적위해 특 (representational harm),

히고정관념형성 과폄하 등은즉각적규제보다는장기적 (stereotyping) (denigration)

인대응이필요하고,45) 흔히차별이라불리는것도실은훈련데이터상 (2) 과소대

표 또는 (underrepresentation) 과소세분화 에의한 (underspecification) 품질편차[quality-

of-service (QoS) disparity)]46)로서상대평가과정에서의차별과는별개의처방이

필요하다예컨대배분모델예컨대채용여부를최종적으로판단하는 의경우 . , AI

성별을불문하고비슷한정확도오류율를달성하여부당한차별을방지하는것이 ( )

중요하다이미지인지모델이아프리카인을고릴라로분류하거나동아시아인이눈 .

을감은것으로인식하는경우당사자로서는기분나쁜일이고장기적으로양인 ,

종에대한편견까지조장할수있으나이들은자원 기회 신분이차별적으로배 , ⋅ ⋅

분되는것만큼법이즉각적으로개입해야할사안까지는아니고소비자의여론 ,

등시장압력 으로인해기업이어느정도는 하는것을기대할 (market pressure) 自淨

수있는영역이다나아가인지모델예컨대의료영상진단 의경우훈련데이터를 . , AI

성별별로세분화 하고여성에대해서도충분한훈련데이터를확보 투입하 (specify) ⋅

여모델이여성도충분히대표 하도록함으로써각성별에대해모두높 (represent)

은정확도낮은오류율를달성하는것이관건이다후자는차별문제로오인되지 ( ) .

만품질편차의문제로다뤄야하고법적처방도달라진다상세는후술 다만상대 ( ).

44) Kate Crawford, The Trouble with Bias, a keynote at Conference on Neural Information

Processing Systems (NIPS) 김병필 대규모언어모형인공지능의법적쟁점 (2017) [ , “ ”, 제 권제호 면에서재인용 26 1 (2022. 4), 205 ]. 45) Ibid.

46) Su Lin Blodgett, et al., “Language (Technology) is Power: A Critical Survey of ‘Bias’ in

NLP,” Annual Meeting of the Association for Computational Linguistics (ACL) (2020) pp.5455 5456. –

---

16페이지

332 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

평가와절대평가사이에절대적경계는없으니맥락별로판단하여야한다예컨대 .

채용 솔루션개발자가다수의공공기관 회사들실행자에평점을제공한다면 AI ( ) , ⋅

이는채용과정에서활용되더라도상대평가라기보다는절대평가이므로 실행자의 , (

배분적위해의통제의무와별개로이들개발자에대해서도정확도인증등품질 )

관리체계를적용할필요가있다.

둘째편향으로인한차별자체는충분히실증된것과달리사람의판단에대비 , ,

할때 활용시차별이늘어나는지는충분히실증되지않았다이에대한실증 AI .

이축적되기전에는 의활용여부를기준으로차별규제를달리하기보다는전 , AI ,

통적으로차별규제가존재하던영역에서부터 가사용되는맥락에서의판단기 AI

준을가다듬고이어 의도입으로인해판별이활성화된분야에이판단기준을 , AI

확장해나가는단계적접근이필요하다즉공공부문을제외하면단지 라는특 . , AI

정기술이사용되었다는점만으로기존에인정되지않던헌법상평등원리의직접

적대사인효가긍정될수는없으며 가사용되는분야가노동금융유틸리티 , AI , ,

등차별규제를정당화할만큼의특수한영역인지를규명해야한다.

추천시스템의정치적양극화초래 (4)

개인맞춤형추천시스템이해당개인의과거데이터로학습되어선호할만한매

체만선택적노출 일명 필터버블 혹은 정보다 (selective exposure)[ “ (filter bubble)” “

이어트(information diets)”]47)함으로써편향동화 동종선호 (biased assimilation), (homophily),

정치적양극화 의연쇄반응을유발개인화양극화가설 (polarization) [ - (personalization-

polarization hypothesis)]48)하고 의지속가능성을위협하는현상 (democracy) 民主政

에대한우려가제기된다미국과인도의유권자총 천여명에게편향된검색결과 . 4

를노출하자부동층의선호가 이상바뀌었다는연구도제시된다 20% .49)

민주정의퇴행이라는거시적추세의일환으로양극화된유튜브등개인방송의

47) Marijn A. Keijzer and Michael Mäs, “The Complex Link between Filter Bubbles and

Opinion Polarization,” Data Science, Vol. 5, No. 2 (2022), pp.139 166. – 48) Pranav Dandekar, Ashish Goel, and David T. Lee, “Biased Assimilation, Homophily, and

the Dynamics of Polarization,” Proceedings of the National Academy of Sciences (PNAS), Vol. 110, No. 15 (2013), pp.5791 5796. – 49) Robert Epstein and Ronald E. Robertson, “The Search Engine Manipulation Effect (SEME)

and its Possible Impact on the Outcomes of Elections,” Psychological and Cognitive Sciences 모정훈 알고리즘공개에관하여 , Vol. 112, No. 33 (2015), p.E4512 E4521. , “ ”, – 제 호 에서재인용 36 (2021. 10.) .

---

17페이지

인공지능의법적규율 판별모델 박상철 II: / 333

범람과함께종합적분석과대책을요하는사안이며,50) 추천시스템에대한어떤

방식의제도적접근이필요할지는좀더검토가필요하다 법제정과정에 . EU AI

서도 집행위원회 발의안에없던디지털시장법 상대규모온라인플랫 EU (EC) (DMA)

폼 의소셜미디어플랫폼상추천서비스가 자협의 과정에서 (VLOP) 3 (trilogue) 2023.

자타협안에는고리스크 시스템에들어가더니 최종타협안에선 9. 5. AI 2024. 1. 26.

다시제외되는등규제방식과관련하여우여곡절이있었다필자의이주제에대 .

한식견의부족으로더이상의검토는진행하지않기로하나헌정질서에대한리 ,

스크의지속적연구와평가가필요함은분명해보인다.

판별모델의통제일반론 II.

현상판별모델통제입법들의문제점 1. :

이상살펴보았듯이판별모델에대해불투명성과인간소외내지존엄성침해가

강조된결과자동화에초점을둔이하규제들이도입되었다.

가신용정보법상자동화평가및개인정보보호법상자동화된결정 .

첫째 일반정보보호법 상자동화된개별결정 , EU (GDPR) (automated individual

조항이전세계적으로계수되는과정에서 decision-making) ,51) 우리법도신용정보

법에 자동화평가 설명요구 이의제기권제 조의이개인정보보호법상 자동 “ ” ( 36 2) , “ ⋅

화된결정에대한거부권 설명요구권 공개의무제 조의가도입되었다 ” ( 37 2) . ⋅ ⋅

신용정보법상 자동화평가 설명요구 이의제기권 “ ” ⋅ 은개인신용평가회사의개인

신용평가은행등여신기관들의신용공여 대출및이에관한계약의청약또는 , ⋅

50) 김현섭 민주주의의퇴행이란무엇이고어떻게발생진행되며왜문제인가 조망과 , “ , , , ?: 평가,” 제 집제호 32 3 (2023. 10.).

51) 캘리포니아 콜로라 Privacy Rights Act of 2020 (Cal. Civ. Code § 1798.185(a)(16), 2020), 도 버지니 Privacy Act (Colo. Rev. Stat. §§ 6-1-1306(1)(a)(I)(C), 6-1-1309(1)(2)(a), 2021), 아 코 Consumer Data Protection Act (Va. Code § 59.1 577(A)(5), 59.1 580(A)(3), 2021), – – 네티컷 브라질 Data Protection Act (2022 Conn. Pub. Acts 22-15), Lei No. 13.853/2019, 중국개인정보보호법 de 14 de agosto de 2018, Diário Oficial da União [D.O.U.], art. 20,

제 조자동화결책 등 ( ) 24 [ ( )] . 个人信息保护法 自动化决策

---

18페이지

334 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

승낙여부의결정을대상으로한다.52) 이들이 정보처리장치로만 개인신용정보 “ ”

및그밖의정보를처리하여개인인신용정보주체를평가제조제 호할경우신 ( 2 14 )

용정보주체에설명요구권과이의제기권을부여한다제 조의제 항 대상이특히 ( 36 2 1~4 ).

개인의경제적상태에중대한영향을미치는신용평가와여신에한정되어있다.

그러나 시행된 2023. 3. 14. 개인정보보호법상자동화된결정거부권 설명등 “ ” ⋅

요구권 공개의무 ⋅ 제 조의는적용범위가다소불분명하다본래정부안은거부 ( 37 2) .

권뿐아니라설명등요구권에대해서도 개인정보를처리하여이루어지는결정이 “

자신의권리또는의무에중대한영향을미치는경우를요건으로하였으나 ” ,53) 결

국상임위가다른의원안들과통합안을마련하는과정에서일부의원들의요구에

따라거부권에만위요건을요하고설명등요구권 공개의무는이러한요건의제 ⋅

한없이자동화된결정전반에적용되는것으로수정하여그대로입법 시행되었 , ⋅

다.54) 그과정에서제 조의는다음과같은문제가발생하였다 37 2 .

첫째 이자동화된개인의사결정에대한거부 이의제기권 고 , GDPR [art. 22(1)], ⋅

지의무 열람청구권 모두해당의사결정의정보주 [arts. 13(2)(f), 14(2)(g), 15(1)(h)] ⋅

체에대한법적효과(legal effects) 또는유사하게중대한효과(similarly significant

를요건으로하는것과달리제 조의는 effects) , 37 2 정보주체의권리또는의무에중

대한영향을미치지않는경우에도자동화된결정에만해당하면설명등의요구권

에대한필요한조치와공개의무를요한다판별모델통제여부의판단에있어핵 .

심이되는개념을삭제해버림으로써얼굴꾸미기앱자동욕설필터링등사소 , ,

한 까지완전자동화만되어있으면모두설명 공개의무를부과한것처럼입법 AI ⋅

되고말았다.

그러나개인정보보호법시행령제 조의제항단서는본래의개인정보보호위 44 3 2 (

원회의구상에가깝게 해당자동화된결정이정보주체의권리또는의무에중대 ) “

한영향을미치지않는경우에는설명을공개사항중일부시행령제 조의제 ” ( 44 4 1

항제 호의 2, 3 ) 고지로대체할수있다고규정하여이러한문제점을보완하였다실 .

무상공개가이뤄진웹페이지를링크등으로참조하는이메일을보내는식으로고

지가이루어질것이다국민의일반적행동의자유와직업수행의자유의불균형한 .

52) 신용정보법제 조의제항제호가나다목시행령제 조의제항제항법제조 36 2 1 1 , , , 31 2 2 , 4 , 2 제호의가목부터 시행령제조제항각호 1 3 1) 4), 2 6 . 53) 정부개인정보보호법일부개정법률안의안번호 면 , ( 12723), 2021. 9., 28 . 54) 국회정무위원장개인정보보호법일부개정법률안대안의안번호 면 , ( )( 20089), 2023. 2., 36 .

---

19페이지

인공지능의법적규율 판별모델 박상철 II: / 335

침해를막기위한합리적인보완책이라고생각된다정보주체의기본권에중대한 .

영향이없는경우에한해설명의방식으로고지를허용한것이국민의기본권제한

에관한본질적인사항에해당하지는아니하므로헌법제 조제항이정하는법률 37 2

유보원칙위반은아니다.55) 문제는헌법제 조가 대통령은법률에서구체적으 75 “

로범위를정하여위임받은사항과법률을집행하기위하여필요한사항에관하여

대통령령을발할수있다고규정하여 법률에의한위임이없는한법률이규정 ” , “

한개인의권리 의무에관한내용을변경 보충하거나법률에규정되지아니한 ⋅ ⋅

새로운내용을규정할수는없다”56)는점이다그러나법제 조의제항의설명 . 37 2 2 “

등의방식을시행령제 조의제항단서가구체화하는과정에서자동화결정의 ” 44 3 2 ,

정보주체의권리또는의무에대한영향이사소하여법익의균형상사후적설명의

무의부과가과도한경우에공개사항의고지라는방식을허용한것은법률이규 ,

정한 설명등의합리적인범위내에있으며시행령이새로운내용을규정한것 “ ”

이아니라고보아야할것이다특히시행령제 조의제항제 호가개인정보 . 44 4 1 2, 3

처리자의헌법상직업수행의자유등에대한불균형한침해를최소화하는방식으

로 설명등을구체화하였다는점에서이러한해석이정당화될수있다 “ ” .

다만공개의무의경우에도설명의무에비해침익성이낮지만후술하듯이전역 ,

적설명 이필요하여역시적잖은부담이될수있다는점에서 (global explanation) ,

모든완전자동화에적용하는것이비례적일지재검토를요한다법익의불균형의 .

해소를위해추가법률개정으로정비되기전까지는 , 결정의범위를좁혀해석 “ ”

할필요가있다개인정보보호위원회의 자자동화된결정에대한정보주 . 2024. 5. 25. “

체의권리안내서초안은결정의범위를 ” 정보주체의권리또는의무에영향을미치

는최종적인결정에한정시켰다.57) 나아가합리적인해석상배분 제재모델 ⋅ 또는

이들에투입될특성값을인지하는모델채용역량평가등에한하는 ( ) 것으로보아

기타인지모델생성모델자율시스템에대한적용은배제 , , 58)해야한다.

55) 헌법재판소 헌바 결정등참조 2008. 2. 28. 2006 70 . 56) 대법원 선고 누 판결대법원전합 선고 다 판 1990. 9. 28. 89 2493 . ( ) 1995. 1. 24. 93 37342 결대법원전합 선고 두 판결 . ( ) 2020. 9. 3. 2016 32992 . 57) 나아가완전히자동화된시스템에의한개인정보의처리와결정사이에실질적인관련

성을요하고있다. 58) 법제 조의제항의결정의정의가명확히존재하는것은아니나동조항의전체적 37 2 1 “ ” , 인해석상적어도권리주체의권리또는의무에중대하든사소하든여하한의 영향이 “ ” 있는결정을의미한다고해석할수있고그렇다면법적영향이없는생성모델인지모 , , 델자율시스템은 결정에해당하지않는다고보는것이합리적이다 , “ ” .

---

20페이지

336 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

둘째이처럼 권리또는의무에중대한영향을미치는경우 여부를묻지않아 , “ ”

완전자동화가법률상설명 공개의무의결정적인요건시행령상으로는실질적으 ( ⋅

로공개의무의요건이된것은판별모델이현실에서차별과오판으로초래할수 ) ,

있는위해의확률과규모판별대상자가현실에서겪는어려움보다는소외같은 ,

실증이어려운개념에더주목해서입법한것으로서위해에대한적확한대응이

가능할지의문이다.

셋째제 조의는본래의위원회안과달리국회심의과정에서자동화된결정 , 37 2

에서 행정기본법제 조에따른행정청의자동적처분은제외하는것으로입법 “ 20 ”

되었다그러나행정기본법은일반적인금지또는허용만을규정하고있고적법절 . ,

차의원칙국민의알권리를담보하기위한설명에대한내용은규정하고있지 ,

않아오히려판별대상자의권리를정하는규정이절실하다는점에서이러한일률 , ,

적제외는부당하다국민의알권리의충족을위해설명의필요가더큰공공부 .

문 활용에대한적용을배제하고민간부문에서의설명만요구함으로서현저히 AI

균형을잃었다.

넷째판별모델의위해는반드시개인정보처리여부에달려있진않다물론자 , .

동화된결정이프로파일링을수반하면서프라이버시를더욱침해할수있는측면

은있다.59) 더욱이처분의효력을완성하는송달까지완전자동화하려면개인정보

인이름 주소의처리는필수적이다다만공정한판별과설명의필요는개인정보 . ⋅

처리여부에달려있진않다예컨대응급실에실려온익명환자의상태에따라 .

응급처치우선순위를배정 하는배분모델은위조항의적용에서벗어 (patient triage)

나겠지만프로파일링이수반되는경우에못잖은설명의필요가인정될수있다 , .

다만 의 조항과비교할때개인정보보호법제 조의에는이하장 , GDPR ADM 37 2

점들이있으므로향후정비과정에서잘계승할필요가있다 , .

첫째 은자동화결정을당하지않을권리를명시하고사전동의등이있 , GDPR

을때에만예외적으로허용하는데학계에서는정보주체의거부권인지컨트롤러 , ,

에대한일반적금지인지여부가불분명하다는점이지적되나,60) 집행위원회 EU

가이드라인상으로는일반적금지로해석된다 (EC) .61) 그러나법제 조의는거부 37 2

59) 이상용 이혜리전게논문주 면 , ( 19), 74 . ⋅ 60) Sandra Wachter, Brent Mittelstadt, and Luciano Floridi, “Why a Right to Explanation of

Automated Decision-Making Does Not Exist in the General Data Protection Regulation,” International Data Privacy Law, Vol. 7 (2017), p.92. 61) Article 29 Data Protection Working Party, Guidelines on Automated Individual

---

21페이지

인공지능의법적규율 판별모델 박상철 II: / 337

권임을명시하고있고정보주체의동의법률상규정또는법령상의무준수계약 ( , ,

이행또는계약체결과정에서정보주체의요청에따른조치를이행하는데필요

한경우예외 이에대응하여개인정보처리자는자동화된결정을적용하지않는 ),

조치를하거나인적개입에의한재처리시행령제 조의제항제 호를할수 ( 44 3 1 1, 2 )

있어융통성이있다.62)

둘째 은설명요구권 이전문 에만명시되어 , GDPR (right to explanation) (Recital 71)

있고본문에는명시되어있지않아 에서규정하는 정보주체의권리자 art. 22(3) “ ,

유정당한이익을보장하기위한합당한조치의해석을보충할뿐그효력과범 , ”

위가명확하지않다63) 다만 에서근거를찾는경우 , arts. 13(2)(f), 14(2)(g), 15(1)(h)

가많고,64) 특히암스테르담항소법원은우버 등차량호출플랫폼기사의설 (Uber)

명요구권의인정근거를열람청구권 에서찾았다 (art. 15(1)(h)) .65) 다만, arts. 13(2)(f),

의고지사항은 예상되는결과 라는문구 14(2)(g), 15(1)(h) “ (envisaged consequences)”

상사후적 설명이아닌사전적 설명만으로족한것으로해석된 (ex post) (ex ante)

다.66) 이와달리개인정보보호법제 조의는사전적설명공개의무과사후적 37 2 ( )

설명설명의무을분별하여규정함으로써훨씬명료하다 ( ) .

Decision-making and Profiling for the Purposes of Regulation 2016/679, p.8.

62) 정보주체가거부권행사시 자동화된결정에의존하였다는사실과 자신의권리 (1) , (2) 또는의무에중대한영향을미친다는점에대한증명책임이과도하여행사가어려우므 로 에가깝게원칙적금지로수정해야한다는견해가제기되나박노형 김효권 GDPR [ , ⋅ 자동화된결정에관한개인정보보호법정부개정안신설규정의문제점 과 “ : EU GDPR 의비교분석”, 제권제 호 면 자동화된결정이이루어 1 62 (2022. 12.), 376-377 ], (1) 진다는사실과그목적및대상이되는정보주체의범위 자동화된결정에대하여 , (2) 정보주체가거부 설명등요구를할수있다는사실과그방법및절차에대한공개의 ⋅ 무가있으므로개인정보보호법제 조의제항시행령제 조의제항 이러한우려 ( 37 2 4 , 44 4 1 ), 는입법적으로해결되었다. 63) Wachter, Mittelstadt, and Floridi, supra note 60, pp.96 97. –

64) Andrew Selbst and Julia Powles, “Meaningful Information and the Right to Explanation,”

International Data Privacy Law 이들조항은 및 , Vol. 7, No. 4 (2017), pp.233 241. “22(1) – 에언급된프로파일링을포함한자동화된의사결정의존재그리고적어도그러한경 (4) , 우관련된논리에대한의미있는정보해당처리의정보주체에대한중요성및예상되 , 는결과를정보주체에게제공하거나이에대한열람을허용하도록하고있다 ” . 65) Gerechtshof Amsterdam, ECLI:NL:GHAMS:2023:793, Case No. 200.295.742/01, 4 Apr.

2023; Gerechtshof Amsterdam, ECLI:NL:GHAMS:2023:796, Case No. 200.295.747/01, 4 Apr. 2023; Gerechtshof Amsterdam, ECLI:NL:GHAMS:2023:804, Case No. 200.295.806/01, 4 Apr. 2023. 66) Wachter, Mittelstadt, and Floridi, supra note 59, pp.83 84. –

---

22페이지

338 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

셋째 은영업비밀적대공격 등정보주체의권리에응하 , GDPR , (adversarial attack)

지않을수있는사유를명시하지않고단지전문 에서권리행사가영 , (Recital 63)

업비밀에부정적인영향을주지말아야한다고규정할뿐이다.67) 그러나제 조의 37

제항은정당한사유의경우거부와설명등에응하지않을수있는근거를명 2 3 “ ”

기하고 자동화된결정에대한개인정보처리자의조치기준 고시안제조가 정 , “ ” 7 “

당한사유의상세를규정하여균형을꾀하고있다단공개의경우이러한제한이 ” ( ,

없는점은아쉽다).

이처럼진일보된면도있으므로잘살리되다만자동화의정도와공공 민간부 , ⋅

문을불문하고취업 입학등사람의삶에지속적으로중대한영향을미치는의사 ⋅

결정들에대한설명의요구수준을높여설명이극히어려운사람의결정에만의 ,

존할것이아니라사람과 의조합 AI (human-AI combination)68)을활용하도록유도

하는법체계를지향해야한다.

나행정기본법상자동적처분 .

행정기본법상 자동적처분의재량행위활용금지제 조는 완전히자동화된 “ ” ( 20 ) “

시스템 인공지능기술을적용한시스템 포함을 ”(“ ” ) 재량행위에대해서는금지하

고,69) 기속행위에대해서는법률상근거를요하여법률유보의원칙실질상 [ 원칙금

지 예외허용제 ⋅ (positive list system; PLS)]70)을취한다우리는 법처럼금지 . EU AI “

대상 프랙티스 를열거하는법이없더라도기실 AI (prohibited AI practice)”(art. 5)

이조항으로서공공부문에서의광범위한 활용금지 AI 가이미존재한다고평가된

다.71) 이규정은독일연방행정절차법 에연원하는데동법은재량행 (VwVfG) § 35a

위뿐아니라처분요건에판단여지 가있는경우에도완전히 (Beurteilungsspielraum)

67) Malgieri and Comande, supra note 4, p.262. 68) Frank Fagan and Saul Levmore, “The Impact of Artificial Intelligence on Rules, Standards,

and Judicial Discretion,” Southern California Law Review, Vol. 93, No. 1 (2019), pp.3 13. – 69) 단행정기본법제조제항의부합기준은 노력하여야한다라고규정하므로일반법인 , 5 2 “ ” 행정기본법에도불구하고개별법에재량행위에대한자동적처분의규정이가능하다는 견해로이재훈 법률을통한자동적처분규율에대한고찰 , “ ”, 제 권 697 , 2022. 6., 면 33 . 70) 이에따라수입식품안전관리특별법제 조의가 신설되어식품수입신고 20 2 2023. 6. 13. 수리의자동화의근거를명기했으며 시행되어전자심사시스템이운용되고있다 , 9. 14. .

71) 처분행정기본법제조제호만이에해당하기에행정입법공법상계약비권력적사실 ( 2 4 ) , , 행위행정지도등은제외되긴하나 의주요용례중하나인행정청에의한처분이 , , AI 광범위하게금지또는제약되는결과가초래되었다.

---

23페이지

인공지능의법적규율 판별모델 박상철 II: / 339

자동화된행정행위의발령(vollständig automatisierter Erlass eines Verwaltungsaktes)

을금하되,72) 기속행위에관해서는꼭법률이아니더라도법령 ( ) (Rechtsvorschrift)

을근거로허용하는차이가있다.73)

그러나재량행위대기속행위에 의금지여부와범위를좌우시킨것은 AI , 사법

심사범위의설정을위해개념화한것을다른사안 리스크평가에 (AI ) 牽强附會한

것에불과하다.74) 대법원판결들을보면재량기속행위를여러요소를고려하되 , / 75)

크게는다음기준들로구분하는데합리적인 리스크평가기준과는다른선상에 , AI

있다.

첫째법원은대체로법문상 , 효과규정이 하여야한다 하여서는아니된다 “ ”, “ ”, – –

한다로끝나면기속행위 “ ” – 76), 할수있다 “ ” – 로끝나면재량행위77) 예외있음 ( 78) 라 )

해석하고법문상 , 요건규정이일의적 확정적이면기속행위, ⋅ 다의적 추상적 ⋅ 독 (

72) 는법규정에의해허용되고재량이나판단여지가존재하지아니하면행 § 35a VwVfG “ , , 정행위는자동장치 에의해완전히 발해질수있 (automatische Einrichtungen) (vollständig) 다라규정한다법제처행정기본법조문별해설 면 독일연방행정법특유 ” ( , , 2021. 4., 82 ). 의 원화된절차법체계에따라자동화기반행정행위는연방조세법 3 (§ 155(4), 150(7) 연방사회법 Abgabenordnung), (§ 31a Zehntes Buch Sozialgesetzbuch －Sozialverwaltungsverfahren und Sozialdatenschutz － 에도규정되었다 SGB X) . 73) 이재훈전게논문 면동논문은해당법령의예로배터리법 전기전 , , 9-10 . (Batteriegesetz), 자제품법 연방공무여행비용법 을들고있다 면 (ElektroG), (Bundesreisekostengesetz) (15-16 ). 74) 독일에서는완전한사법심사를받지않는재량행위와판단여지를제외함으로써인적통

제인사법심사를자동화결정에관철하는것이입법취지인것처럼설명하나(Heribert Schmitz und Lorenz Prell, “Neues zum E-Government: Rechtsstaatliche Standards für E-Verwaltungsakt und E-Bekanntgabe im VwVfG,” in Neue Zeitschrift für Verwaltungsrecht (NVwZ) (C.H. Beck, 2016), S.1276; Mario Martini und David Nink, “Subsumtionsautomaten ante portas? Zu den Grenzen der Automatisierung in verwaltungsrechtlichen (Rechtsbehelfs-) – Verfahren,” Deutsches Verwaltungsblatt, Band 133, Heft 17 (2018), S.1133, https://doi.org/10.1515/dvbl-

입법목적이다른개념을가져온것을사후적으로정당화하는논리로보 2018-1331707), 인다. 75) 행정행위가재량성의유무및범위와관련하여이른바기속행위내지기속재량행위와 “ 재량행위내지자유재량행위로구분된다고할때그구분은당해행위의근거가된법 , 규의체재 형식과문언당해행위가속하는행정분야의주된목적과특성당해행위 , , ⋅ 자체의개별적성질과유형등을모두고려하여판단하여야한다대법원 ”( 2018. 10. 4. 선고 두 판결 2014 37702 ). 76) 대법원 선고 두 판결육아휴직후복직명령기속행위 대법원 2014. 6. 12. 2012 4852 ( = ), 선고 두 판결명의신탁과징금부과기속행위 대법원 2007. 7. 12. 2005 17287 ( = ), 2013. 12. 선고 두 판결유가보조금회수처분기속행위 12. 2011 3388 ( = ). 77) 대법원 선고 두 판결공정위과징금부과처분재량행위 2019. 7. 25. 2017 56957 ( = ). 78) 대법원 선고 누 판결공문서열람 복사기속행위 1989. 10. 24. 88 9312 ( = ). ⋅

---

24페이지

340 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

일행정법상판단여지이면재량행위 ) 79)라해석한다이해석과결합하여행정기본 .

법제 조가기계학습등데이터기반 의활용은불허하고전문가시스템 20 AI (expert

등규칙기반 의활용만허용한다는해석이제기될수있는데 system) (rule-based) AI ,

실제행정기본법제 조의괄호속의 인공지능기술을적용한시스템을포함한 20 “

다라는문구를삭제하자는견해가제기되었다 ” .80) 물론효과규정이단정적이거나 ,

요건규정이일의적 확정적이라도사실의발견및포섭을위해전문가시스템뿐 ⋅

아니라자연어처리등 를얼마든지활용할수있기때문에이해석이기술적으 AI ,

로옳진않다예컨대수입식품안전관리특별법상수입신고의수리제 조제항 . ( 20 3 )

는기속행위그내용을검토하여이법에적합하면신고를수리하여야하고이 (“ ”)

나수리의자동화제 조의 과정에서신고서내용이동법에적합한지여부를검 , ( 20 2)

토하기위해자연어처리기술을활용할수있다단식품의약품안전처의현수입 [ ,

식품전자심사 시스템은규칙기반인것으로보임 24(SAFE-i24) 81) 그러나아무래 ].

도재량행위의일률적금지로인해과거의데이터로부터다의적 추상적요건에 ⋅

대한판단을귀납하고처분의일관성 자기구속성 예측가능성 신뢰성을높이는 ⋅ ⋅ ⋅

기계학습의용례가크게제약될것임에는틀림없다다떠나서처분중재량행위 . ,

가기속행위보다훨씬많다.

그렇다면이처럼공공부문에서의 의활용을본질적으로제약할정도로재량 AI

행위가 에맞지않다고보는근거는무엇인가 독일연방의회 상임 AI ? (Bundestag)

위입법자료를보면독일연방행정절차법 의입법목적은기술의발 (VwVfG) § 35a

전에도불구하고재량행사와판단여지가인간의의사표시를필요로하기에이들에

법적제약을가한것이라하고,82) 에대한주석서를보면완전한자동화처 VwVfG

분의현기술수준이법치주의상요구되는사람의결정에상응하는정확성보증

을제공하지못하여일반적으로금지한것으로설명한다 (Richtigkeitsgewähr) .83) 재

79) 대법원 선고 두 판결토지형질변경허가재량행위 2005. 7. 14. 2004 6181 ( = ).

80) 정남철 인공지능시대의도래와디지털화에따른행정자동결정의법적쟁점특히행 , “ : 정기본법상자동적처분의문제점을중심으로”, 제 권제호 면 50 2 (2021.12.), 245 .

81) 식품의약품안전처디지털로수입식품서류자동심사한다 전자심사 시행 , ... ‘ 24’ , 2023. 9. 수입신고접수부터수리에이르는모든과정을일관된규칙기반으로자동전자심 4. (“ 사 수리하는시스템을도입”). ⋅ 82) Deutscher Bundestag, “Beschlussempfehlung und Bericht des Finanzausschusses (7. Ausschuss) zu dem Gesetzentwurf der Bundesregierung Drucksache 18/8434,” 11 Mai – 2016, https://dserver.bundestag.de/btd/18/084/1808434.pdf, S.122. 83) Alexander Windoffer, “VwVfG § 35a Vollständig automatisierter Erlass eines Verwaltungsaktes,”

---

25페이지

인공지능의법적규율 판별모델 박상철 II: / 341

량행위는사람이재량을행사하는것이핵심이고사람의개별적결정이더정확

하다는도그마에사로잡혀뭐든사람이직접해야한다는결론으로이어진 (richtig)

것으로이해되나이논리대로라면재량을수축시키는재량준칙도용납해서는아 ,

니될것이다입법자가요건과효과를확정적으로정한것은요건충족자에게혜 .

택을정확히부여하거나위반자에게제재를단호히집행할것을주문한것이고요

건과효과를다의적으로정한것은사법심사의범위를좁혀어느정도의융통성을

허용한것이다그렇다고데이터에입각하여예측가능성을높이고자 를활용하 . AI

여융통성을낮추는것을금지하는것으로까지해석하는것은옳지못하다기계 .

학습이재량행위에활용되면결국재량을허용하는스탠다드 가과거데 , (standard)

이터에입각하여재량이수축된룰 로전환되는결과가초래되어 (rule) ,84) 처분의

일관성 자기구속성 예측가능성 신뢰성을높이게되므로기속행위에 가사 , AI ⋅ ⋅ ⋅

용되는것에가까워진다완전자동화가법의지배에서요구하는정확성이없다며 .

도리어칼같이발해야할기속행위에만허용하자는것도앞뒤가맞지않는다.

둘째법원은 , 수익적처분은좀더재량행위85) 일반적금지를해제하는허가는 (

예외86) 침익적처분은좀더기속행위 ) 87) 쪽으로해석한다수익적처분에활용될 .

배분모델과침익적처분에활용될제재모델중헌법상적법절차원리와통상더

큰긴장관계에있다고해석되는것은후자이다실제침익적자동화처분을허용 .

하는입법은시기상조이고자동적처분의대상을단순전산처리를요하는처분이

나수익적처분으로제한하자는견해도있다.88) 그러나자동화를재량행위는금하

고기속행위에만허용하면상기판례와결합하여오히려자동화를배분모델에는 ,

금하고제재모델에만허용하는결과를초래한다제대로된리스크평가가아니다 . .

셋째처분이행정청의 , 사실행위보다 관련리스크가항상더큰것도아니어 AI

in Thomas Mann, Christoph Sennekamp und Michael Uechtritz, Verwaltungsverfahrensgesetz: Großkommentar (2. Aufl., 2019), Rn. 28. 84) Fagan and Levmore, supra note 68, p.11.

85) 대법원 선고 두 건축물용도변경허가재량행위 그상대방에게수익 2001. 2. 9. 98 17593( = ; “ 적인것에틀림이없으므로이는그법률적성질이재량행위내지자유재량행위에속하 , 는것이라고할것”). 86) 대법원 선고 다 판결건축허가기속행위 대법원 선고 1995. 6. 13. 94 56883 ( = ), 1993. 2. 12. 누 판결광천음료수제조업허가기속행위 92 5959 ( = ). 87) 대법원 선고 두 판결음주측정불응시운전면허취소기속행위 2004. 11. 12. 2003 12042 ( = ), 대법원 선고 두 판결국유재산변상금연체료부과처분기속행위 2014. 4. 10. 2012 16787 ( = ; 변상금납부의무를지체한데따른제재적성격을띠고있는침익적행정행위이고 “ ”). 88) 권은정전게논문 면 , , 109 .

---

26페이지

342 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

서유독처분에만완전금지또는원칙금지 예외허용제를가하는것도부적절하 ⋅

다 법상금지대상 프랙티스 중주로행정작용에해당하는것은중국 . EU AI “ AI ”

의사회신용체계 와같이개인 집단에대한불이익취급으로이어 ( ) 社会信用体系 ⋅

질수있는사회적평점 중국의천망공정 설량공정 (art. 5(1)(c)), ( ), ( 天网工程 雪亮工

과같은실시간원격생체인식시스템 사법작용인경우도있지만 ) (art. 5(1)(h)), ( ) 程

개인의범죄리스크의예측 인데이들은사례에따라달리판단해야 (art. 5(1)(d)) , (

하겠지만처분보다는사실행위에해당하는경우가더많다 ) .

이문제의근원은신기술의활용을규제할때구체적용례들 을살피 (use cases)

면서상향식 으로리스크를평가했어야하는데그렇지않고전혀다른 (bottom-up)

목적으로추상화된도그마를하향식 으로갖다쓴것에있다예컨대사 (top-down) .

업체의명운을좌우하는인허가취소나환수처분은기속행위도많은반면교통단 ,

속카메라에찍힌운전자에대한경찰서장의범칙금납부통고처분도로교통법제 (

조은 할수있다로끝나재량행위인데후자의자동화가전자의자동화보다 163 ) “ ” , –

리스크가크고법치주의를위협하진않을것이다행정법학은재량기속행위구분 . /

을부관적격에 하면서이미문제를일으킨전력이있는데, 轉用 89) 의공공부문 AI

활용허용여부는더이질적쟁점으로서 에더신중한태도를취했어야마땅 轉用

하다.

기속행위에대한법률유보원칙금지 예외허용제의재검토도필요하다식품의 ( ) . ⋅

약품안전처의 시스템은 부터식품첨가물에우선적용되었는 SAFE-i24 2023. 9. 14.

데종전에 시간걸리던처리기한을 분이내로단축하고 일 시간대민서 , 48 5 365 24

비스를제공하는등성공적으로운용되어 부터농 축 수산물으로 , 2023. 12. 18. ⋅ ⋅

확대적용되었다혜택은수입식품을더신선한상태에서빨리배송받는소비자가 .

누릴것이다이처럼자동화가가능한영역을적극발굴하여단계별로신중히시 .

행해나가는것이중요한데용례별로파일럿프로젝트를가동하여실행가능성을 ,

점검할소중한시간을국회의원보좌관들의설득에쓰라는요건이대체어떤의미

가있는지이해하기어렵다.

중앙정부는전자정부를넘어플랫폼화가추진되고있고향후대규모범용모델의

도입의성패가각국행정의질적격차를초래할것이다지방정부는스마트도시 .

스마트도시법제조제호 즉도시지능 을넘어도시 (smart city)( 2 1 ), (urban intelligence)

전체를복제하여 일 시간단위로사물인터넷센서로수집한도시데이터에입 365 /24

89) 행정기본법제 조제항참조 17 2 .

---

27페이지

인공지능의법적규율 판별모델 박상철 II: / 343

각하여예측행정을실행하여교통 범죄 쓰레기 탄소배출등도시의지속가능 ⋅ ⋅ ⋅

성을위협하는난제들을해결하는디지털쌍둥이 로진화중이다공공 (digital twin) .

부문의 활용의이러한발전과정에서행정기본법제 조는두고두고걸림돌이 AI 20

될것이다 행정기본법은시민의헌법에대한직접대면을가로막는기본법 .

의위세를과시하기보다헌법상적법절차원리를실현 구체화하는 (Grundgesetz) ⋅

도구로거듭나기위해행정절차법에흡수일원화되어야할것인데이과정에서 , ,

제 조는삭제해야한다 20 .

행정기본법제 조의삭제이후대안을설계함에있어행정절차법등을정비하 20 ,

여 활용맥락에서의헌법상적법절차원칙의실현을위한규정을보강하고적 AI

절한수준의규제와인증제를통해오히려공공조달시장형성을촉진하는방안을

강구해야한다이미금지냐허용이냐의틀에서벗어나청문이유제시의일환으 . , ,

로서의설명의무이행등적법절차규정의재정비를통해대비하자는견해들이제

기된다.90) 관련하여미국의 의안전성 보안안보성 신뢰성있는개발 이용 “AI ( ) ⋅ ⋅ ⋅

에관한행정명령이하 ”( “E.O. 14110”)91) 제 조연방정부의 활용의이행을위 10 ( AI )

해미대통령실관리예산실 이 (Office of Management and Budget; OMB) 2024. 3.

자로발한 기관의 활용관련거버넌스혁신리스크관리의향상이하 28. “ AI , , ”(

“M-24-10”)92)이주목된다 은각연방기관의 활용촉진을위한핵심 . M-24-10 AI

과제로 거버넌스 부처별최고 담당관 지 (1) (governance): AI (chief AI officer; CAIO)

정부처별 거버넌스기구소집준수계획의제출및게시 용례저장소 , AI , , AI (AI

에서의각부처별용례의공개등 혁신 각부 use cases inventory) , (2) (innovation):

90) 예컨대김혜진 알고리듬행정결정의법적쟁점프랑스대학입학플랫폼 의 , “ : (Parcoursup) 사례를중심으로”, 제 호 면자동화처분의대상을기속 69 (2022. 11.), 221-228 ( 행위에한정하거나 의활용을부정하는것은섣부르다고비판하면서행정의책임성 AI , 과시민의권리보호를충족하는구체적규율을주문 조성규 인공지능에기반한자 ); , “ 동화된행정결정의행정법적쟁점”, 제 권제호 면자동 , 16 4 (2023. 1.), 157 ( 적처분에있어전통적인기속행위와재량행위의구별논의가적절한지의문을제기하면 서 의특성을고려하여투명성확보에주안점을둔절차법제의정비를주문 임성훈 , AI ); , 인공지능행정이행정절차 행정소송에미치는영향에대한시론적고찰 “ ”, ⋅ 제 호 면향후재량행위활용을전망하면서행정효율증가에따른 62 (2020. 8.), 161-163 ( 행정절차예외적용축소의필요제기). 91) Exec. Order No. 14,110, 88 Fed. Reg. 75191 (Nov. 1, 2023). 92) Office of Management and Budget (OMB), Advancing Governance, Innovation, and Risk

Management for Agency Use of Artificial Intelligence, Mar. 28, 2024, https://www.whitehouse.gov/ wp-content/uploads/2024/03/M-24-10-Advancing-Governance-Innovation-and-Risk-Manageme nt-for-Agency-Use-of-Artificial-Intelligence.pdf.

---

28페이지

344 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

처의 전략수립및공개 활용장벽제거 인력확충 의공유와협업 AI , AI , AI , AI ,

요구사항의조화 리스크관리 리스크관리의이행안전 AI , (3) (risk management): ,

영향적 와권리영향적 의결정및요구사항연방조달시리스크관리를명 AI AI ,

하고있다.93) 특히 는 의사용으로부터의리스크를정의함에있어 M-24-10 “AI ” (1)

가결정 행동에대해 AI ⋅ 단지정보만제공하는지부분자동화하는지또는완전 , ,

자동화하는지 결정 행동에대한 , (2) ⋅ 인적감시여부 결정 행동발생여부의 , (3) ⋅

식별용이성 결정 행동에관여하거나그로부터영향받는사람들이 의결 , (4) AI ⋅

정 행동에대한 ⋅ 영향또는자동화의방법 정도를인식하는지여부 ⋅ 를불문한다

고명기94)하고있어 활용에대한통제를자동화여부와정도에연동하면아니 AI

된다는필자의인식을뒷받침하고있다.

다소결 .

요약하면판별모델이판별대상인사람들에게미치는실질적인영향보다는완전

자동화에의한소외를중심으로규제가구성됨으로써발생하는공통적문제는다

음과같다첫째만약완전자동화가사람의 . , 형식적개입(rubber stamping)95)만으로

회피가능하다면위규제는유명무실해지고법은판별모델이야기하는사회문제 ,

에효과적대응을하지못하여규제공백 이초래된다둘째만 (regulatory vacuum) . ,

약사람의실질적인개입이없을때위조항으로부터의회피를인정하지않는다

면,96) 판별대상자에미치는영향의중대성여부를묻지않고설명또는공개의무 ( )

를요하고재량행위에대한적용을일률적으로금지하는등과잉금지(overdeterrence)

가초래된다셋째그결과위규정은판별모델의사회적위해를적절히통제하는 . ,

역할을하는것이아니라 의부작용이별로없는용례에서조차자동화를억지하 AI

고단념시키는 대못규제의역할이나하게될우려가있다 “ ” .

93) Ibid. at pp.4 26. –

94) Ibid. at p.29. 95) Michael Veale and Lilian Edwards, “Clarity, Surprises, and Further Questions in the Article

29 Working Party Draft Guidance on Automated Decision-making and Profiling,” Computer Law & Security Review, Vol. 34, No. 2 (2018), pp.398 404. –

96) 영국 는사람이결정의결과에실질적인영향을행사하지않으면즉결과로형식화 ICO ( 되기전에사람이평가 하지않으면완전자동화로본다 (assess) ) (Information Commissioner’s Office, Feedback Request Profiling and Automated Decision-making, Apr. 6, 2017, p.19). –

---

29페이지

인공지능의법적규율 판별모델 박상철 II: / 345

판별모델의유형화와위해의맵핑 2.

이상과같이 완전자동화에입각한판별모델규제의대안을모색하기위해 “ ” ,

판별모델을맥락별로유형화하고핵심적인위해를맵핑 할필요가있다이 (map) .

글의전편에서살펴본바와같이판별모델은사람들과의상호작용방식에따라배

분 제재 인지모델로유형화할수있다. ⋅ ⋅ 97)

배분모델 은채용입학사정대출심사신용평가보험계약인수 (allocative model) , , , ,

사회보장 랭킹등자원 신분 기회의배분에활용되는모델이 (underwriting), , ⋅ ⋅

다.98) 분배적정의(distributive justice)99)의실현이규범적목표이다자원 신분 . ⋅ ⋅

기회에대체로희소성 이있으므로대부분상대평가이고 따라서 (scarcity) , 차별

이핵심위해이다 (discrimination) .100)

제재모델 은부정계정탐지사기탐지 보험손해사 (punitive model) , (fraud detection),

정 재범예측 등제재의대상을분류하는 (claim adjustment), (recidivism prediction)

모델이다.101) 교정적정의(rectificatory justice)102)의실현이규범적목표이다교도 .

소의용량이차거나로마의 분의 형 처럼일정비율만처벌하는것 “10 1 (decimatio)”

이아닌이상 대부분절대평가이고 따라서정확성의부족 다시말해 , , , 오판

이핵심위해이다 (misjudgment) .

인지모델 은의료영상진단센서생체인증추천등평가가아닌 (cognitive model) , , ,

인지적기능을수행하는모델이다.103) 안전을해하거나배분 제재모델의특성값 ⋅

에오류를초래할정도의정확성다른영역 에서의 [ (domain) 견고성포함의부족 ] [품

질편차 문제포함 (QoS disparity) ], 프라이버시를해할정도의정확성의과잉이핵

심위해이다.104)

97) Sangchul Park, “Bridging the Global Divide in AI Regulation: A Proposal for Contextual,

Coherent, and Commensurable Framework,” arXiv:2303.1196v4 (2024) [forthcoming in Washington International Law Journal, Vol. 32, No. 2 (2024)], pp.8 9, 42 64. – – 98) Ibid. 99) Aristotle, Nicomachean Ethics, bk. V, at 75 (W. D. Ross trans., Batoche Books 1999) (c.

350 B.C.E.). 100) Park, supra note 97. 101) Ibid. 102) Aristotle, supra note 99, p.75. 103) Park, supra note 97. 104) Ibid.

---

30페이지

346 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

불투명성 을독자적위해로개념화하기보다는 (opacity) , 모델에대한설명 공개 ⋅

를배분 제재모델에서판별대상자에게대칭적정보하에서의개선의기회또는 ⋅

차별에문제제기할근거를부여하는법적장치로구성한다.

법적개입이필요한판별모델의분별 3.

모든판별모델에대해법적개입이필요한것은아니다법적개입이필요한판 .

별모델의핵심기준으로현행법들은완전자동화를내세우나타당치않음을살펴보

았다대안적기준을탐색한다 . .

가배분 제재모델공공부문에서활용되거나판별대상자의삶에중대한영향 . : ⋅

공공부문특히입법 행정 사법에헌법상평등원칙제 조과알권리제 조 , ( 11 ) ( 21 ) ⋅ ⋅

가직접적용되고행정절차법제조는행정절차상투명성을규정하며공공기관 , 5 ,

은정보공개법의적용을받는다따라서이들이 를활용할경우각요건에따라 . AI

차별을금지하고모델을설명하면서헌법상적법절차원칙을준수해야한다.

의 상의 OMB M-24-10 권리영향적AI 는대체로공공부문에서 (rights-impacting AI)

활용되는판별모델을일컫는데이를그출력이 시민권 시민자유 프라이버 , (1) ⋅ ⋅

시 기회균등 중대정부자원 서비스에대한접근 신청권에법적 실질 , (2) , (3) ⋅ ⋅ ⋅

적 구속적또는유사하게중대한영향이있는특정개인 법인에대한결정 행 ⋅ ⋅ ⋅

동의주요기초가되는 로정의하면서위항목별용례를각각 표현의자유 AI , (1) ,

투표사람의자율성차별 과잉처벌 불법감시로부터의보호관련 교육 , , AI, (2) ⋅ ⋅ ⋅

주택 보험 신용 고용에대한동등접근관련 보건 금융 공공주택 사 AI, (3) ⋅ ⋅ ⋅ ⋅ ⋅ ⋅

회보장 교통 필수재화용역관련 로예시한다 / AI . ⋅ ⋅ 105)

민간부문의경우배분 제재모델에기한결정이 ⋅ 판별대상자의삶에중대한영향

을미치는경우에법적개입이필요할것이다개인정보보호법제 조의의 권 . 37 2 “

리또는의무에중대한영향의요건은법적권리 의무를중심으로영향을파악 ” ⋅

하여계약관계가이미형성되어있거나106) 법령상권리 의무의근거가없으면인 ⋅

105) Ibid. at p.29.

106) 이상용 이혜리 개인정보보호법상자동화된결정조항의해석 , “ ”, ⋅ 제 권제호 73 1 는금융거래의거절이나채용거절의경우청약의거절에해당하여 권리또 (2024. 2.) “ 는의무에영향을초래한다고볼수없다해석되어불합리함을지적한다 ” .

---

31페이지

인공지능의법적규율 판별모델 박상철 II: / 347

정되기어려운문제가있다.

관련하여 상자동화된개별결정의요건인 법적효과 또는 GDPR “ (legal effects)”

유사중대효과 에대한해석례를참고할수 “ (similarly significant effects)”(art. 22(1))

있다유럽정보보호위원회 는법적효과에대해서는법적지위또는권리에 . (EDPB)

영향을미치는지여부를기준으로판단하도록하고예시계약해지공공부조자격 ( : ,

부여또는거부입국거부또는국적부여 유사중대효과에대해서는 관련된 , ), (1)

개인의상황행동또는선택에중대한영향을미치는지 정보주체에장기적 , , (2)

또는지속적영향을미치는지 개인의배제또는차별로이어지는지를기준으 , (3)

로판단하도록한다예시대출자격의료서비스접근채용입학 ( : , , , ).107) 유럽사법재

판소 는 년독일신용평가회사인슈파 의자동신용평가에대해 (ECJ) 2023 (SCHUFA)

결국은행들의대출심사에활용된다는점에서법적효과또는유사중대효과를긍

정하였다.108) 회원국들내판결례를참조하면 헤이그지방법원이 년 EU , (1) 2020

네덜란드정부의사회보장 공적부조 조세사기탐지시스템 의유럽인권조 (SyRI) ⋅ ⋅

약 제조준수여부를판단함에있어동시스템이 상프로파일링에 (ECHR) 8 GDPR

해당하고사생활에상당한영향을미친다는점을고려한바있고,109) 암스테르 (2)

담항소법원은 년차량호출플랫폼들과관련하여우버 의계정비활성화 2023 (Uber)

소위 로보해고 에대해법적효과또는유사중대효과를 [ “ (robo-firing)”] 110) 우버의 ,

일괄배차선불가격책정평점에대해유사중대효과를인정하였고 , , ,111) 올라캡스

의사기확률점수수익프로필생성여정할당에대해유사중대효과 (Ola Cabs) , ,

를긍정단경로이탈보호시스템에대해선부인하였으며 ( , ) ,112) 오스트리아최 (3)

고행정법원 은 년공직인사처 의구직자자동분류에대해임용 (VwGH) 2023 (AMS) (

결정이아닌맞춤형상담목적이었다할지라도법적효과또는유사중대효과를 )

107) EDPB/WP29, Guidelines on Automated Individual Decision-Making and Profiling for the

Purposes of Regulation 2016/679, WP251rev.01, Feb. 6, 2018, p.19 108) C-634/21, Judgment ECLI:EU:C:2023:957, 07/12/2023, SCHUFA Holding (Scoring). 109) Rechtbank Den Haag, Case C/09/550982/HA ZA 18-388, ECLI:NL:RBDHA:2020:865,

Feb. 5, 2020. 110) Gerechtshof Amsterdam, ECLI:NL:GHAMS:2023:793, Case No. 200.295.742/01, 4 Apr.

2023. 111) Gerechtshof Amsterdam, ECLI:NL:GHAMS:2023:796, Case No. 200.295.747/01, 4 Apr.

2023. 112) Gerechtshof Amsterdam, ECLI:NL:GHAMS:2023:804, Case No. 200.295.806/01, 4 Apr.

2023.

---

32페이지

348 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

긍정하였다.113) 정보보호청 들의결정례를참조하면 이탈리아정보보호 (DPA) , (1)

청 은배달앱딜리버루 가라이더를신뢰성과의욕을기준으로 (Garante) (Deliveroo)

랭킹 하여배달주문을배정한사안에서 (ranking) ,114) 포르투갈국가정보보호위 (2)

원회 는맞춤형정치홍보메시지 이메일등에대해 (CNPD) (SMS, ) 115) 유사중대효과

를각각긍정했다.

한편 법상고리스크 시스템중 배분모델에해당하는것은필수민간 , EU AI AI (1)

서비스공공서비스 급여접근 향유공공부조심사신용평가건강 생명보험심 / ( , , ㆍ ㆍ ㆍ

사긴급출동 교육 직업훈련중대부분채용 인사관리중대부분이고 제 , ), , , (2) ㆍ ㆍ

재모델에해당하는것은법집행이민 난민 출입국관리교육 직업훈련중금 , , ㆍ ㆍ ㆍ

지행위감시적발채용 인사관리중근로계약관계의종료성과 근태감독 평 , , ㆍ ㆍ ㆍ

가이다.

다만우리법상으로는 , 민간부문임에도 의도입전에이미차별금지법이존재 AI

하였던영역에특히주목할필요가있다입법자가배분 제재의공정성이특히 . ⋅

중요하여특별한법적개입이필요하다고판단한영역들인데이판단은 가사 , AI

용된다하여크게달라질바없기때문이다이들영역은 . (1) 장애장애인차별금지 (

법), (2) 고용여성고령자기간제 단기간 파견근로자구직자헌법제 조제 ( , , , )( 32 4 ⋅ ⋅

항남녀고용평등법기간제법파견법고령자고용법고용정책기본법제조채용 , , , , , 7 ,

절차의공정화에관한법률제조의 4 3), (3) 금융금융소비자보호법제 조대부업 ( 15 ,

법제조의 신용정보법제 조의제항제호제호시행령제 조의제호금 9 8, 22 4 2 1 , 3 , 18 3 2 ,

융투자업법제 조제항제호제 조제항제 조제항보험업법제 조제 250 6 2 , 251 2 , 341 1 , 129

항제 조제항제 호여신전문금융업법제 조의제항온라인투자연계금융 3 , 97 1 10 , 18 3 1 ,

업법제 조제항제 조제항 11 4 , 12 8 ), (4) 교육헌법제 조제항교육기본법제조 ( 31 1 , 4 ,

제 조의 17 2), (5) 통신 전력등공익사업 ⋅ 전기통신사업법제 조제항제호전기 ( 50 1 5 ,

사업법제 조제항제호등이다 21 1 2 ) . 플랫폼내에서의랭킹에대해서도공정거래법

에기한차별금지규제가집행되고있고,116) 향후플랫폼법의제정상황에따라

113) Verwaltungsgerichtshof, Ro 2021/04/0010-11, 21 Dez. 2023.

114) Garante, Ordi nanza ingiunzione nei confronti di Foodinho s.r.l. 10 giugno 2021, — ꠓ https://www.garanteprivacy.it/web/guest/home/docweb/-/docweb-display/docweb/9675440. 115) CNPD, Diretriz/2019/1 relativa ao tratamento de dados pessoais no contexto de campanhas

eleitorais emarketing político, Mar. 25, 2019, https://www.cnpd.pt/umbraco/surface/cnpdDecision/down load/121820. ꠓ 116) 네이버비교쇼핑서비스랭킹자사우대사건공정위 의결제 호네 ( 2021. 1. 27. 2021-027 이버쇼핑비교쇼핑서비스관련서울고등법원 선고 누 판결에 ; 2022. 12. 14. 2021 36129 )

---

33페이지

인공지능의법적규율 판별모델 박상철 II: / 349

규율이추가될수있다이들을출발점으로하여의료서비스접근권등삶에장기 .

지속적인영향을미칠수있는분야에대해개별적검토를통해법적통제의범위

를명확히해야한다.

나인지모델중대한안전배분모델의특성값추출프라이버시리스크 . : , ,

인지모델의경우(1) 정확성견고성포함의부족 ( ) 으로중대한안전리스크가초

래될수있는미션크리티컬 한분야예컨대의료영상진단자율시스 (mission-critical) ( ,

템의센서 역시 ), (2) 정확성의부족으로배분 제재모델의특성값추출에오류가 ⋅

초래될수경우예컨대채용역량평가전국적으로시행되는시험의채점 또는 ( , ), (3)

정확성의과잉으로중대한프라이버시리스크가초래될수있는경우예컨대생체 (

인증원격감시추천등이법적개입의대상일것이며기술과용례의발전에따 , , ) ,

라지속적인리스크평가가필요하다.

안전과프라이버시가상충할경우이익형량의원칙상통상안전을우선시하게

되는데,117) 대표적인사례로 개인정보보호법이 개정되면서자율 (1) 2023. 3. 14.

주행차등의센서로활용되는이동형영상정보처리기기에대한동의없는정보처

리가폭넓게허용되고제 조의 개인정보보호위원회가 자비정 ( 25 2), (2) 2024. 2. 2.

형데이터가명처리기준을통해의료영상에대해좀더처리범위를넓힌것을들

수있다.

판별모델의유형별핵심위해및법적통제 III.

배분모델 1.

가차별 . (discrimination)

배분모델의핵심위해는차별이다이논점은필자의선행연구 . 118) 및다른선행

서도부당한차별취급이근거가되었다. 117) 벤자민프랭클린이작은임시의자유를얻기위해본질적자유를포기하는자는자유 “ 도안전도누릴자격이없다라는말을남기는등물론안전을위한프라이버시의침해 ” 가무제한으로허용될수있는것은아니다. 118) 박상철 금융 의활용과금융소비자보호차별금지설명요구권 대판매규제준수 , “ AI : , , 6 를중심으로”, 제 호 107 (2021. 5.).

---

34페이지

350 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

연구119)에서상세히다룬바있으므로중복을피하고자간략히만살펴본다.

차별의판단을위해서는(1) 차별금지사유민감속성

(sensitive attribute)을확정하

고차별금지사유를정하지않고동등한취급을요구하는것은가격차등 [ (differential

금지등차등규제로서차별규제와는성격이전혀다르다 pricing) ], (2) 입력중심접

근 을할지 (input-centric approach) , 출력중심접근 을할지정한후 (disparate approach)

반드시일치하지는않으나차별적취급 기준은전자차별적 [ (disparate treatment) ,

영향 기준장애인차별금지법제조제항제호참조은후자에가 (disparate impact) ( 4 1 2 )

깝다 입력중심이든출력중심이든 ], (3) 민감속성에해당하는입력값 은모델 (input)

에투입되면안되므로배제하고, (4) 출력중심접근의경우공정성지표(fairness

등을적용 metrics) 120)하고허용범위 를설정하여 (slack) 출력값(output)의차별해당

성을측정하며 차별해당소지가존재하면 , (5) 합리적차별여부를규범적으로평

가하는과정을거치게된다.121)

입력값의투입배제의경우대표적현안이 면접시업체를불문하고얼굴표 AI

정머리움직임시선처리등선천적인안면부의신체능력에큰비중을두는것 , ,

이다이들이업무평가에영향을미치는것이불편한진실일지라도기존의차별금 . ,

지조항들부터살펴볼필요가있다.122) 채용절차법제조의제호는구직자로부터 4 3 1

의직무수행에필요하지아니한용모등신체적조건의수집을금지하는데방송 ,

예능 홍보직 일부영업직의경우직무수행에필요할수도있으나예컨대연구 , ⋅ ⋅

개발의경우상관성정도만으로직무수행에필요하다고보긴무리이다.123) 장애

119) 고학수 정해빈 박도현 인공지능과차별 , “ ”, ⋅ ⋅ 통권제 호 김병 171 (2019. 4.), 필인공지능공정성심사기준에관한연구박사학위논문서울대학교 등 , , , (2023. 8) . 120) 법상고위험 시스템으로분류되면이들모델의학습을위해투입되는훈련 EU AI AI ⋅ 검증 시험데이터는가능한편향 의검토 적발 예방 경감을포함한합당한 (bias) ⋅ ⋅ ⋅ ⋅ 데이터거버넌스와관리에따라야한다 이들은또한잠재적차별적 (art. 10(2)(f), (g)). 효과 를측정하기위한지표 를포함한검증및 (potentially discriminatory impacts) (metrics) 시험절차를기술문서에포함하여야하는데 이지표가바로 (art. 11(a), Annex IV, 2(g)), 공정성지표이다. 121) 박상철전게논문 면 , , 35 45 . – 122) 미국의경우 년연방거래위원회 가 의구직자안면표현인식을통한 2019 (FTC) HireVue 인지적역량 심리적특성 감정지능 사회성의측정시스템을 법제조의 “ ”, “ ”, “ ”, “ ” FTC 5 기만 불공정거래행위로보아제재한이래 구직자안면인식과관련하여일리노이 , ⋅ (Artificial Intelligence Video Interview Act, § 820 ILCS 42/1, et seq. 메릴랜드 ), (Facial Recognition Services Law, Md. Code, Lab. & Empl. § 3-717 가설명의무와동의를중심 ) 으로한뉴욕시 가편향성감사와통지 , (Automated Employement Decision Tools Law) , 이의제기권을중심으로한법을입법했다상세는김예진전게논문 면 . , , 100-113 .

---

35페이지

인공지능의법적규율 판별모델 박상철 II: / 351

인차별금지법제 조제항이금지하는채용이전장애인여부를조사하기위한 12 1

의학적검사에해당한다고까지할수는없지만동법제 조제항의채용에있 “ ” , 10 1

어서의장애인의차별에해당할수있다단이처럼입력값에베일을씌우는것이 . , “ ”

차별적취급의배제에는도움이되어도이들입력값이다른차별적영향을배제하

는역할까지줄일수있으므로신중한접근이필요하다는견해가제기된다.124)

입력값의투입을배제해도대용변수 문제로배제된입력값이다른특성 (proxy)

값에녹아들어가므로, 출력중심접근의필요가생긴다이경우차별이이례적으로 .

극심하여결과적평등 특히채용목표제등할당제을목표할 (equality in outcome)( )

상황이아니라면기회의균등 정확도의동등 오류율의 , (equality in opportunity)( =

동등을추구해야할것인바이에가장근접한공정성지표는분리성 ) , (separation),

그중에서도민감도 자질 이있는사람을양성합격 채용 대출 (sensitivity)[ (merit) ( ⋅ ⋅

등으로제대로분류한비율즉진양성율 의동등이다 ) , (true positive rate)] .125) 남성

이건여성이건같은점수를받았으면합격률이같아야한다는원칙이다이전제 .

하에 모델 훈련 과정에서 두 그룹의 수용자반응특성곡선(receiver operating

을각각그린후후처리 과정에서 characteristics curve; ROC curve) (postprocessing)

민감도가만나는지점으로조정함으로써차별을경감할수있다.126)

나모델의설명 공개의무 . ⋅

모델의설명 공개의무관련이하쟁점들이제기된다. ⋅

첫째대상이될만한 , 배분모델의범위를살펴보면앞서살펴보았듯이신용정보 ,

법제 조의의경우 36 2 여신과신용평가모델이다앞서살펴보았듯이개인정보보 .

호법제 조의의 자동화된결정의범위를합리적으로좁힐필요가있는데금 37 2 “ ” ,

융분야에서는여신과신용평가모델을제외한 ( ) 보험계약인수 가비 (underwriting) ,

금융분야에서는채용 입학 ⋅ 이대표적인사례가될것으로보인다.

둘째설명 공개의 , ⋅ 성격을살펴보면신용정보법제 조의제항및개인정보 , 36 2 1

보호법제 조의제항의설명의무는자동화평가결정의결과를설명하도록한다 37 2 2 /

123) 채용 를규율하는다수의채용절차법개정안이제출된상태이다상세는김예진전게 AI . , 논문 면 , 113-119 .

124) 고학수 박도현 정해빈 인공지능과고용차별의법경제학블라인드채용과베일의 , “ : ⋅ ⋅ 역설을중심으로”, 제 권제호 면 16 1 (2019. 4.), 60-65 . 125) 박상철전게논문 면 , , 44 . 126) 전게논문 면 , 44 .

---

36페이지

352 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

는점에서사후적(ex post) 설명에해당한다모델전체의행동에대한전역설명 .

까지요하는것은아니고개별결정에대한 (global explanation) , 국지적설명(local

으로충분하다고생각된다개인정보보호법제 조의제항의공개의 explanation) . 37 2 4

무는사전적(ex ante) 설명에해당하는데개별결정이존재하지않으므로 , 전역설

명을하는것이불가피하다.

셋째설명 공개의 , ⋅ 방식을살펴보면예시로 ( 의선형모델을가정한다),

신용정보법제 조의제항제호는 자동화평가의결과 36 2 1 2 (1) ( 자동화평가의 ), (2)

주요기준( 단시행령제 조의제항제호가 신용정보의종류별반영비중 ; , 31 2 8 2 “ ”

의설명을요구함으로써주요특성값의결과값에대한영향의상대적비중만설 ,

명하면된다 자동화평가에이용된기초정보 ), (3) (학습된모델에새로운예측을 )(

위해투입된특성값을의미하며훈련데이터는제외된다고해석해야한다의설명 , )

을요한다개인정보보호법제 조의 시행령제 조의제항은 해당자동화 . 37 2, 44 3 2 (1)

된결정의결과( 해당자동화된결정에사용된주요개인정보의유형 ), (2) (),

개인정보의유형이자동화된결정에미친영향 (3) ( 등자동화된결정의주요기 )

준 해당자동화된결정에사용된주요개인정보의처리과정등자동화된결 , (4)

정이이루어지는절차를설명하도록하고제 조의제항은 자동화된결정이 , 44 4 1 (1)

이루어진다는사실과그목적및대상이되는정보주체의범위 자동화된결정 , (2)

에사용되는주요개인정보의유형(과자동화된결정의관계 자동화된결 ) , (3)

정과정에서의고려사항및주요개인정보가처리되는절차 자동화된결정과 , (4)

정에서민감정보또는 세미만아동의개인정보를처리하는경우그목적및처 14

리하는개인정보의구체적인항목 자동화된결정에대하여정보주체가거부 , (5) ⋅

설명등요구를할수있다는사실과그방법및절차를공개하도록한다.

비선형모델의경우파라미터가(와같이그리간단하게도출되지는않으므로 )

설명을위해설명가능AI 기술을활용해야할수있다사후적국지설명의경 (XAI) .

우라임 등다양한국지설명 , (local interpretable model-agnostic explanation; LIME)

기법들이개발되어있으나가장엄밀한방식은게임이론에따라모든가능한연 ,

합 들에서특성값의결과값에대한평균적인한계기여 (coalition) (marginal contribution)

를산출하는섀플리값 으로꼽힌다 (Shapley value) .127) 물론분류대상자가차별에

127) Lloyd S. Shapley, Notes on the N-Person Game －II: The Value of an N-Person Game

(1951) passim. Scott M. Lundberg and Su-In Lee, “A Unified Approach to Interpreting Model Predictions,” Conference on Neural Information Processing Systems (NIPS) (2017)

---

37페이지

인공지능의법적규율 판별모델 박상철 II: / 353

문제제기하기위해서는예컨대본인의성별이채용결정에얼마만큼부정적영향

을미쳤는지의기여도가궁금할수있다그러나분류대상자가개선과노력을통 .

해특성값을변화시켜향후더좋은분류를받기위해설명을요구하는경우라면,

반사실적설명 만으로충분한설명이될수있다 (CFE) .128) 는예측을사전에 CFE

정의된출력값예컨대합격대출등으로변화시키기위한특성값에대한최소한 ( , )

의변화를기술한다쉽게말해너무신용카드를많이보유해서대출이거절된자 . ,

에게신용카드를몇개탈회해야대출을받을수있는지안내해주는것이다 , .

공개의무는설명의무에비해부담이없는것처럼보일수있고실제로모든자 ,

동화된결정에정보주체의권리 의무에대한영향을불문하고적용되어버렸으 ⋅

나실은사전에모든인스턴스 샘플들의특성값을의미에서의특성값의 , (instance)( )

결과값에대한전역적영향을산출하여야하므로더번거로운측면도있다전역 .

대리모델부분의존플롯 , (partial dependence plot; PDP)129) 축적지역효과 , (accumulated

local effects; ALE)130) 최대평균의존도비판 , [maximum mean discrepancy (MMD)-

critic]131) 등전역설명기법들이제시된다다만모든자동화된결정에적용되어과 . ,

도한부담이될수있으므로규제강도의경감차원에서신용정보법시행령제31

조의제항제호와마찬가지로주요특성값의결과값에대한영향의상대적비중 2 8 2

즉반영비중정도만공개를요하는것이합리적이라생각된다이목적으로는 ( , ) .

모델훈련과정에서위전역설명기법중하나를적절히동원하여산출한특성값

중요도 를비율화해서공개하는정도로충분하고모든인스턴 (feature importance) ,

스를일일이예상하여영향도를산출할필요는없다고해석할수있다.

넷째, 설명등을거부할수있는정당한사유의의미에대해서는계속적검토가

필요하다특히시행령제 조의제항의다른사람의생명 신체 재산과그밖 . 44 3 4 “ ⋅ ⋅

passim. 128) Sandra Wachter, Brent Mittelstadt, and Chris Russell, “Counterfactual Explanations without

Opening the Black Box: Automated Decisions and the GDPR,” Harvard Journal of Law & Technology, Vol. 31, No. 2 (2018) passim. 129) Jerome H. Friedman, “Greedy Function Approximation: A Gradient Boosting Machine,”

The Annals of Statistics, Vol. 29, No. 5 (2001) passim. 130) Daniel W. Apley and Jingyu Zhu, “Visualizing the Effects of Predictor Variables in Black

Box Supervised Learning Models,” Journal of the Royal Statistical Society Series B: Statistical Methodology, Vol. 82, No. 4 (2020) passim.

131) Been Kim et al., “Examples are not Enough, Learn to Criticize! Criticism for Interpretability,” Conference on Neural Information Processing Systems (NIPS) (2016) passim.

---

38페이지

354 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

의이익을부당하게침해할우려가있는등정당한사유의해석론이핵심인데 ” ,

설명 공개된파라미터를통해모델을역공정하여모델탈취 를 (1) (model stealing) ⋅

할수있는경우,132) 적대적사례 를판별모델에입력하여 (2) (adversarial example)

판별작업을무력화할수있는경우,133) 그정도까지는아니더라도설명 공개 (3) ⋅

된파라미터에따라본인의특성값을바꾸어유리한분류를받는게이밍(gaming)

이조장될경우,134) 설명 공개된파라미터를통해개인정보를추론할수있는 (4) ⋅

경우135) 등은개별적인사안의평가를통해정당한사유에해당한다고해석할수

있을것이다.

다법의정비방향 .

배분모델의법적문제는앞서기술한차별금지와설명 공개의무가핵심이며, ⋅

나머지위해중법적개입이필요한항목이많지않다따라서 법식의포괄 . EU AI

적 법으로대응하는것은부적절하다 AI .

구체적으로차별금지와관련하여서는공공부문이나이미차별금지법령이존재

하는영역에서신규입법보다는가이드라인을통해 의활용맥락에서헌법상차 AI

별금지나차별금지법령의해석기준을명확히할필요가있다.

설명 공개의무 ⋅ 는앞서검토했듯이현행법들처럼자동화여부에집착하기보다

는채점기준 의설명과공개가필요하고적절한분야를식별하여자동화의 (rubric)

정도나개인정보의처리여부를불문하고적절한설명이이루어질수있도록하는

방향을지향해야한다다만입법기술적으로는공공부문 민간부문별축조방식에 . ⋅

대한추가적고민이필요하다먼저 . 공공부문에서는사회보장사회보험 공공부조 ( ⋅

사회서비스배분기반시설 필수서비스접근권배분공무원채용국공립학교 ) , , , ⋅ ⋅

132) Florian Tramèr et al., “Stealing Machine Learning Models via Prediction APIs,” USENIX

Security Symposium (SEC) (2016) passim. 133) Ian J. Goodfellow, Jonathon Shlens, and Christian Szegedy, “Explaining and Harnessing

Adversarial Examples,” arXiv:1412.6572 (2015) passim. 134) Jane Bambauer and Tal Zarsky, “The Algorithm Game,” Notre Dame Law Review, Vol. 94

(2018) passim 단게이밍의존재와규범적의미에대해회의적인견해로 . , Ignacio N. Cofone and Katherine J. Strandburg, “Strategic Games and Algorithmic Secrecy,” McGill Law Journal, Vol. 64, No. 4 (2019) passim.

135) Cynthia Dwork and Aaron Roth, The Algorithmic Foundation of Differential Privacy in

Madhu Sudan(eds.), Foundations and Trends® in Theoretical Computer Science, Vol. 9, No. 3 4 (Now Publishers, 2014) – passim.

---

39페이지

인공지능의법적규율 판별모델 박상철 II: / 355

입학사정등이대표용례일터인데, 행정절차법등의정비를통해 를명확히정 AI

의하고공공부문의 도입촉진에초점 AI 을맞추면서판별모델혹은권익영향 ( AI)의

운용과정에서헌법상알권리적법절차를실현하기위한 , 설명 공개등조치 ⋅ 를

구체적으로정해야한다공공부문은어느정도통제가있어야공무원이안심하고 .

조달시장을열수있는등 규제가시장을여는 측면이있어이러한기술특유적 “ ”

인규제도합리성을가질수있다다음으로 . 민간부문에서는채용금융대출심사 , ( ⋅

신용평가 보험계약인수 플랫폼의랭킹 주문배정사립학교입학사정등이대 ), , ⋅ ⋅

표용례일터인데공공부문과달리기술중립성을최대한견지하면서 , 자동화여부

에관계없이설명가능성을제고하고좋은설명을위해오히려자동화를독려하는

방향을지향해야한다다만입법기술적으로는 . 시장의자동화도입정도에대한

고려가불가피한데 의도입이상당히진척된영역금융플랫폼의랭킹 주 , (1) AI ( , ⋅

문배정등은사람의결정이든기계의결정이든자동화여부에무관하게설명 ) , , ⋅

공개를요구할수있지만 의도입이시작된영역채용등은과도적으로시 , (2) AI ( )

스템을활용할때적용되는설명 공개규제를마련하여적용하되 자동화가 , (3) ⋅

부진한영역입학사정등은사람에많이의존하여설명 공개를바로요구하면 ( ) ⋅

혼란이초래될것이니좀더지켜보아야한다.

제재모델 2.

가오판 . (misjudgment)

제재모델의법적문제의핵심을형사사법의무죄추정의원칙만큼잘요약하는

개념도없을것이다무죄추정의원칙을정확성지표로환산하면결국제재모델은 . ,

높은정밀도 양성판정예컨대유죄판결을받은사람중실제양성예컨 (precision)[ ( ) (

대진범인사람의비율를추구하면서무고한사람들을최소화해야한다는원칙 ) ]

을도출할수있다.

필자는선행연구에서제재모델에적용될공정성지표로충분성 특히 (sufficiency),

집단간정밀도를일치시키는예측동등 을제안하였으나 (predictive parity) ,136) 이기

회를빌어입장을변경한다앞서살펴보았듯이제재모델은대부분절대평가이기 .

때문에정밀도를예컨대낮은수준에일치시키는것은의미가없으며어떤집 , ( ) ,

단에속하든지정밀도를끌어올리는것이관건이다.

136) 박상철전게논문 면 , , 44 .

---

40페이지

356 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

미국의여러주에서사용되는재범예측모델인 의예를들면탐사보도 COMPAS ,

매체이자시민단체인 가플로리다의브로워드카운티 ProPublica (Broward County)

에정보공개청구를해서피고인들중인종별로고위험 점만점에 점초과 저 , (10 5 ),

위험점이하으로분류된사람들이 년내재범을지질렀는지에대한다음과같 (5 ) 2

은데이터를입수하였다.137)

표 점수관련혼동행렬 [ 1] COMPAS

모든피고인 흑인피고인 백인피고인

고위험 저위험 고위험 저위험 고위험 저위험

년내재범 2 O 2035 1216 1369 532 505 461

년내재범 2 × 1282 2681 805 990 349 1139

이표에서탐사보도매체이자시민단체인 의주장대로민감도 ProPublica (sensitivity)

를계산하면흑인의경우 백인의경우 , : 1369 / (1369 + 532) = 72%, : 505 / (505 +

라서일견흑인이차별받는것으로보이지만정밀도를계산하면흑인 461) = 52% ,

의경우 백인의경우 와같 : 1369 / (1369 + 805) = 63%, : 505 / (505 + 349) = 59%

다.138) 여기서정밀도가양인종간비슷하고오히려백인이더낮아차별이아니

라고결론내리는것은타당하지않다앞서살펴보았듯이절대평가의문제이므로 .

정밀도의동등만으로문제가해결되는것이아니며정밀도의절대적수준이충분

히높아야한다 와 는형사사법제재모델로쓰기에는형편없는정확도이 . 63% 59%

며우리헌법에따른판단이내려졌다면적법절차의원칙에부합하지않는다고결

정되었을것으로생각된다.139) 제재모델은특히제재대상자의삶에중대한영향을

미친다면일정수준이상의정밀도가요구되어야하지만그기준을법이사전적 ,

으로설정하기는어렵고특히공공부문제재모델형사사법 등의사례및적법 , ( AI )

절차의원칙충족여부에대한판례축적을통해사후적으로기준을제시해나가

137) Jeff Larson et al., How We Analyzed the COMPAS Recidivism Algorithm, ProPublica,

May 23, 2016, https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism- algorithm. 138) Park, supra note 97. 139) 단미국에서는적법절차에부합한다고판시되었다 , (Loomis v. Wisconsin, 881 N.W.2d 749 (Wis. 2016), cert. denied, 137 S. Ct. 2290 (2017)).

---

41페이지

인공지능의법적규율 판별모델 박상철 II: / 357

는방향이불가피한측면도있다.

나모델의설명 공개의무 . ⋅

배분모델과다르지않다개인정보보호법상설명 공개의무의대상이될만한 . ⋅

제재모델의예로는사기탐지(fraud detection)[보험손해사정 포 (claim adjustment）

함 플랫폼의 ], 부정계정탐지 거래소의증권불공정행위자동탐지등 , 레그텍

(RegTech), 부정계정탐지, 근로자징계등을생각해볼수있을것이다.

다법의정비방향 .

제재모델의법적문제는오판이핵심이며충분한정밀도를확보하여무고한제 ,

재대상자들을방지할수있도록해야한다다만사전규제로서정확도의하한을 . ,

정하기는곤란하므로표준의확립사후구제의활성화등대안적법적장치를강 , ,

구해야한다.

설명 공개의무의경우제재모델은민간보다는공공부문에서더많이쓰일것 , ⋅

인데공공부문의경우배분모델과마찬가지로행정절차법의정비를통해규율할 ,

수있을것이다민간부문의경우역시배분모델과마찬가지로 의도입의정도 . AI

에따라맞춤형규율을할필요가있으나 의도입이진척된영역일지라도사기 , AI

탐지보험손해사정포함등게이밍의우려가큰경우 ( ) 140)가있어이경우설명⋅

공개의무의적용에신중할필요가있을것이다.

인지모델 3.

가정확도견고성포함와품질편차 . ( ) (QoS Disparity)141)

자율주행차센서의료영상진단 등안전과관련된인지모델은 , AI 정확도(accuracy)

를요하고이러한정확도는훈련데이터가훈련된영역 과다른영 , (source domain)

역 에서예측할때의정확도예컨대자율주행차센서가오프로드등 (target domain) (

변화된환경에서사물을인식할때의정확도 즉 ), 견고성(robustness)142)을포괄한

140) 법도사기탐지시스템은고리스크 에서제외한다 EU AI AI (art. 6(2), Annex III, point 5(b)). 141) 전반적인내용은Park, supra 참조 note 97 . 142) Eneko Agirre and Oier Lopez de Lacalle, “On Robustness and Domain Adaptation using

SVD for Word Sense Disambiguation,” Computational. Linguistics (2018), p.17.

---

42페이지

358 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

다다만법적으로는정확도를독자적으로문제삼은경우보다는그룹간정확도 . , ,

의편차즉품질편차를차별이라는이유로문제제기하는경우가많다대표적으 , “ ” .

로 자율주행차센서가유색인종 (1) 143)이나장애인을보행자로잘식별하지못한

다는문제가 이하에서살펴보듯이의료진단보조 가여성과유색인종에대해 , (2) AI

정확히진단하지못한다는문제가꾸준히제기되어왔다이하에서는특히후자 .

관련논쟁을중심으로이러한품질편차의문제는차별과는구분되는절대적정확 ,

도내지견고성의달성문제라는사실을논증하고자한다.

진단보조 와관련하여백인과남성이과잉대표되고유색인종과여성이과소대 AI

표되어특정집단에대해품질편차가초래된다는문제제기가꾸준히이루어졌으

나,144) 아직실증적근거가충분히축적된단계까지는아니다 에한정하지않고 . AI

의료일반으로시야를넓히면치료제관련품질편차가법적으로논란이되었다.

클로피도그렐 시판명플라빅스정은혈중혈소판이뭉치는것을막아 (clopidogrel; )

혈전의생성을억제하는항혈소판제인데 유전자가있는사람들은그효 , CYP2C19

과가심하게감소하는것으로알려져있다이유전자가유럽인종은 밖에 . 10~20%

안되나태평양도서지역인은 동아시아인은 나있는데도불구하 40~77%, 23~45%

고플라빅스정의출시당시 의임상참가자가유럽인이었다이에하와이주가 , 95% .

년에플라빅스정을만든 와 를허위불공정기만마케팅 2014 BMS Sanofi-Aventis , ,

으로인한하와이불공정 기만행위(Unfair or Deceptive Acts or Practice; UDAP) ⋅

143) Benjamin Wilson, Judy Hoffman, and Jamie Morgenstern, “Predictive Inequality in Object

Detection,” arXiv:1902.11097 (2019). 144) 예컨대 흑색종 등피부암진단 의경우흑인등유색인종의데이터가 (1) (melanoma) AI 충분히투입되고있지않다는문제가꾸준히지적되고[Lisa N. Guo, et al., “Bias In, Bias Out: Underreporting and Underrepresentation of Diverse Skin Types in Machine Learning Research for Skin Cancer Detection A Scoping Review,” — Journal of American Academic Dermatology, Vol. 87, No. 1 (2022), pp.157 159. Adewole S. Adamson and – Avery Smith, “Machine Learning and Health Care Disparities in Dermatology,” JAMA Dematology 피부과진단보조 에있어 , Vol. 154, No. 11 (2018), pp.1247 1248], (2) AI – 여성이과소대표되어품질편차가초래되는지에대한명확한결론이아직내려지지않 고있으나[Michelle S. Lee, Lisa N. Guo, and Vinod E. Nambudiri, “Towards Gender Equity in Artificial Intelligence and Machine Learning Applications in Dermatology,” Journal of American Medical Informatics Association, Vol. 29, No. 2 (2022), pp.400 403, – 선영상에근거한 개흉부질환진단 모델의경우여성이훈련과정에서과소 (3) X 14 AI 대표되면여성에대해높은오류율을보인다는점에대한실증연구가제시되고있다 [Agostina J. Larrazabal, et al., “Gender Imbalance in Medical Imaging Datasets Produces Biased Classifiers for Computer-Aided Diagnosis,” Proceedings of the National Academy of Sciences (PNAS), Vol., 117, No. 23 (2020), pp.12592 12594]. –

---

43페이지

인공지능의법적규율 판별모델 박상철 II: / 359

방지법 위반으로제소하였고하와이주항소법원은 백 (Haw. Rev. Stat. § 480-2) , 834

만달러의벌금을부과하였다 하와이주최고법원은 항소법원의 . 2023. 3. 15.

위반에대한판단은인용했으나약식판결 로써피고들의 UDAP (summary judgment)

완전한방어권을제약한것은잘못이라는취지로일부인용일부파기하였다 , .145)

한편미국식약청 은 년향정신성수면제인졸피뎀 시판명앰 , (FDA) 2013 (zolpidem;

비언등의경우여성이대사속도가남성보다느리다는연구결과에근거하여여 )

성복용량을남성의절반으로줄이도록하였다.146)

품질편차는데이터셋이특정하위집단 에대해분리 되지 (subgroup) (disaggregate)

못하고과소세분화 [ (underspecification)147) 해당집단의데이터가충분히투입되지 ]

못한채모델이훈련됨으로써해당집단이과소대표 됨으로써해당 (underrepresent)

집단에대해높은정확도를보이지못하는현상으로서일반적인차별의문제와는 ,

다르다품질편차의경우절대평가상황으로모든하위집단의정확도를끌어올리 .

는것이관건이다이또한일종의견고성 문제인데이미존재하는집 . (robustness) ,

단간차이를반영하여정확성을확보할뿐아니라향후초래될수있는인구통계

학적변동에대해서도회복탄력성 을확보한다는차원에서그중요성이 (resilience)

점점부각되고있다.

미국도이러한과소세분화내지과소대표문제를보건의료분야 의활용에있 AI

어핵심적인문제로지목하고있다 도보건복지부 가준비할전략 . E.O. 14110 (HHS)

적계획 에 신규모델개발시영향을받는집단과대표집단에대 (strategic plan) (1)

해분리된데이터 를사용하고 기존모델의차별과편향에 (disaggregated data) , (2)

대응하기위한알고리듬의성능을모니터링하며 현시스템의차별과편향을 , (3)

경감함으로써보건의료와복지에사용되는 기술에형평원리 AI (equity principles)

를체화시키는방안을포함하도록하고있다 여기서분리된데이터 (§ 8(b)(i)(C)). “ ”

에대한언급은미국이인지모델특유의문제특히품질편차문제를정확히이해 ,

하고있음을보여준다이는결국영향을받는집단에대한세분화 를 . (specification)

통해해당집단에대한별도의모델개발을촉진하고자하는것이다.

145) State v. Bristol-Myers Squibb Co., March 15, 2023, No. CCAP-21-000363. 146) U.S. Food & Drug Administration, Risk of next-morning impairment after use of insomnia

drugs; FDA requires lower recommended doses for certain drugs containing zolpidem (Ambien, Ambien CR, Edluar, and Zolpimist), Jan. 10, 2013. 147) Alexander D’Amour, et al., “Underspecification Presents Challenges for Credibility in

Modern Machine Learning,” Journal of Machine Learning Research, Vol. 23 (2022), pp.1 61. –

---

44페이지

360 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

이러한품질편차문제에대한세부적인정책적대응방식과관련해서는다음몇

가지쟁점이제기된다.

하위집단의데이터불충분을어떻게다뤄야할것인가 (1)

임상시험등에있어특정하위집단의데이터가부족할수있다여성가족부는 .

년성별영향분석평가법제 조에따라특정성별영향분석평가를수행하여 2016 10 ,

년식품의약품안전처에서허가된국내개발신약의초기임상시험상여성 “2014 (1 )

참여율을분석한결과총 건문헌의 명대상자가운데여성대상자가참가 , 28 630

한문헌은 건 명에불과하였다또한국내의약품승인과관련하여허가사항에 3 , 43 .

반영되어있는성별차이관련내용이부족하다해외사례와비교할때미국의 . ,

인용주처방자디지털레퍼런스 에나타난성 PDR[ : (Prescribers’ Digital Reference)]

별차이관련성분은총 개이나국내의약품허가정보 에는 63 (ez Drug) Citalopram

등 개성분에대해서만성별차이관련내용이허가사항에반영되어있다고지 17 ”

적하였다.148) 다만특히가임기수유기여성은임상참여가어렵기때문에여성 , ,

임상시험데이터의부족은구조적문제라할수있다식약처의 의약품임상시험 . “

시성별고려사항가이드라인 도여성의임상시험참여의중요성과성별에 ”(2015)

따른임상시험계획의수립과이행을중시하지만가임기 수유기여성의임상참 , ⋅

여에수반되는위험성에대해서는특별한주의를당부하고있다.149)

일반화하면특정범주의샘플이과다하고다른범주의샘플이과소한범주불균 ,

형 의경우최선의대책은과소범주 의샘플위예의 (class imbalance) (minority class) (

경우여성임상시험참가자데이터을추가확보하는것이다이를통해특정하위 ) .

집단에대한모델을별도로훈련하여정확도를비교하거나또는이미훈련된모 ,

델에특정하위집단의데이터를추가투입하여도메인적응적학습(domain

을하거나사전학습언어모델을사용하는경우미세조정 adaptative learning) ( ) (fine-tuning)

또는맥락내학습 을하는등각종전이학습 (in-context learning) (transfer learning)

기법을동원하여해당하위집단에대한정확성을끌어올릴수있다 , .

그러나이처럼특정하위집단에대한샘플을확보하는것이구조적으로어려우

148) 여성가족부 년성별영향분석평가종합분석결과보고서 면 , 2016 , 2017. 8., 204 , https://www.mogef.go.kr/mp/pcd/mp_pcd_s001d.do?mid=plc500&bbtSn=704722. 149) 식품의약품안전처식품의약품안전평가원의약품임상시험시성별고려사항가이드라 , 인, 2015. 12., https://www.nifds.go.kr/brd/m_15/view.do?seq=9114.

---

45페이지

인공지능의법적규율 판별모델 박상철 II: / 361

면해당집단의샘플을범주의비율에반비례하여늘리거나합성데이터 , (synthetic

를생성하여오버샘플링 한후훈련해야한다예를들면임상시 data) (oversampling) . ,

험참가자비율이여성 남성 이라면여성의샘플당 배의가중치 를두 1: 9 , 9 (weight)

어훈련을할수있다다만이경우특정샘플이지나치게다량증폭되는문제가 .

발생하므로원본데이터에내재한확률분포를비지도학습방식으로추출하여이 ,

확률분포에따른합성데이터를생성하는방식으로오버샘플링하기도한다그러나 .

이들은현실데이터의투입에비해서는어디까지나불완전한수단이며충분한정 ,

확도가확보되기어려운한계가있다.

모든하위집단의품질이높아질때까지출시를막아야하는가 (2)

결국소수집단에대한현실데이터를확보하기전에는오버샘플링등기법을동

원하더라도품질편차를극복하기어려울수있다 의편익을고려할때이러한 . AI

절대적품질편차를근거로전체인구집단에대한출시까지규제로써저지또는지

연하기위해서는상대적차별문제에비해상대적으로강한근거가필요하다다 .

만근거의합리성여부는일률적으로판단할사항이아니며구체적인맥락에따른

규범적판단을내려야한다.

예컨대자율주행차량의센서가장애인에대한현저한품질편차를보여장애인에

대한사고빈발우려가있다면장애인만의데이터가충분히투입될때까지출시 ,

를지연시키는것이타당할수있다그러나흑색종의경우특히백인에빈발하며 .

높은위험도를보이므로흑색종진단보조 가유색인종에대한진단율이낮다는 , AI

이유로백인에대한출시까지지연시킬일은아니다이에대해전체적인출시를 .

지연시키겠다는것은제약회사가극단적인특이체질 까지전부임상 (idiosyncrasy)

을거치지않으면약을출시하지못하게하겠다는것만큼이나과잉규제일수있

고이경우이하에서살펴보는고지의무등소수집단에대한특별한법적배려로 ,

보충해야한다.

고지의무 (3)

특정하위집단의품질편차에도불구하고다른하위집단의편익을위해일단출

시할경우품질이낮은영향받는집단이효능이없거나부작용이있는 모델 , AI

을사용하지않도록의료인과환자에대한적절한고지의무의이행이필요하다.

앞서살펴본하와이플라빅스정사건판결도사실상이러한고지의무를인정한것

---

46페이지

362 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

으로평가할수있다여성가족부는위 년특정성별영향분석평가결과보고서 . 2016

에서 해외의약품성차정보를위중도에따라구분하고국내의약품에대해 (1) “ ,

서도여성대상부작용발생등에관하여수집 평가하여전문가에게정보제공 ⋅

강화 유럽의경우처럼특정성별에주의해서사용하여야할의약품에대해 ”, (2) “

기존의약품안전사용서비스 시스템을활용한정보제공 의사약사 (DUR) ”, (3) “ , ,

간호사등의보수교육및연수교육에여성과남성의특성을고려하는성차의학

관련내용포함 보건의료전공과정에성차의학관련교육포함및교육내 ”, (4) “

용개발유도 등의정보제공과고지를권고했다 ” .150) 합목적적이고적절한정책

조치로평가할수있다.

나프라이버시 .

각국에서인지모델로인한개인의식별을금지또는제한하기위한입법이이어

지고있다 법은직장 학교에서의감정추론민감정보를연역 추론하기 . EU AI , ⋅ ⋅

위한생체범주화공공장소에서의법집행을위한실시간생체인식을금지대상 , AI

프랙티스로규정한다 버몬트주버지니아주등미국의주들은 (art. 5(1)(f), (g), (h)). ,

안면인식을제한하는법들을통과시켰으나,151) 범죄율의급증으로다시폐지하는

실정이다우리의경우에도성급하게특정 활용을전면금지하기보다는공중 . AI ,

감시장비의실태를파악하면서장기적인대책을세우는것이합리적일것이다 , .

다배분 제재모델의특성값을인지하는모델의경우 . ⋅

채용역량평가전국적인입시등사람의삶에큰영향을미치는배분 제재모델 , ⋅

의특성값을인지하는모델은여러솔루션들이시장에서경합하는상황이라면규

제의필요가덜할수있지만, 공공부문에적용되거나특정솔루션의시장점유율이

높아지면앞서살펴본대로정확성다원성가치정렬비차별성의심사항목에대 , , ,

한인증을받도록하는것이타당하다모델의여러한계에대해실행자 . (deployer)

인채용자들에게적절한고지가이루어져야함도물론이다채용역량평가의경우 .

정보공개청구가인용된이후152) 공공부문에서기피되는경향이있는데인증제가 ,

150) 여성가족부앞의보고서 면 , , 205 . 151) 20 Vt. Stat. Ann. § 4622 (2020). Vir. Code § 23.1-815.1 (2022).

152) 수원지방법원 선고 구합 판결광주지방법원 선고 2022. 5. 26. 2020 73847 , 2022. 6. 16. 구단 판결각각한국국제협력단한전 의채용 활용관련정보공개거 2020 113778 ( , KDN AI 부처분취소인용).

---

47페이지

인공지능의법적규율 판별모델 박상철 II: / 363

오히려공공부문의채택을촉진하고시장을형성하는역할을해줄수있다.

라법의정비방향 .

인지모델의경우배분 제재모델과다른특성으로인해차별규제나설명 공 ⋅ ⋅

개의무를그대로적용하기적절하지않다보건의료등인지모델이활발히사용되 .

는각분야별로인지모델특유의정확성견고성품질편차를해결하기위한맞춤 , ,

형대응을해나가야한다예컨대의료영상진단 의임상시험데이터의범주불균 . AI

형으로인한품질편차문제는 의료기기허가 신고 심사등에관한규정식약 ( ｢ ⋅ ⋅ ｣

처고시제 호 제 조제항제 호나목의임상시험관련첨부 2023-80 , 2023. 12. 19.) 29 1 12

자료요건을조정하거나의료기기소프트웨어허가심사가이드라인식약처가이 “ ”(

드라인 에필요한경감조치를규정함으로써대응할수있을것이다 , 2023. 7. 5.) .

다만배분 제재모델의특성값을인지하는모델은중요성정도에비추어인증 , ⋅

제를시행해나가는것이합리적이며현용례로볼때일단일정시장점유율을 ,

초과한채용심사시스템에인증제를적용하는방안을고려할수있다.

결론 IV.

이상판별모델을사람과의상호작용방식에따라유형화함으로써배분모델은 , ,

차별제재모델은오판인지모델은안전을해하거나배분 제재모델의특성값에 , , ⋅

오류를초래할정도의정확성 견고성부족품질편차포함또는프라이버시침해 ( ) ⋅

를핵심위해로맵핑하였다모델에대한설명 공개를배분 제재모델에서판별 . ⋅ ⋅

대상자에게대칭적정보하에서의개선의기회또는차별에문제제기할근거를부

여하는법적장치로구성하였다이에따라공공부문에서활용되거나판별대상자 .

의삶을좌우하는배분 제재모델안전등또는프라이버시리스크가있는인지 , ⋅

모델을식별하고이같이식별된모델들에대해맵핑된핵심위해를측정 경감하 , ⋅

는방법과이를뒷받침할법적수단을검토했다.

이상검토결과에입각하여판별모델을규율하는법체계의정비를제안한다. 공

공부문에대해서는물론행정기본법제 조의삭제 20 가출발점이다이어앞서살펴 . ,

보았듯이행정절차법개정안을중심으로한대체입법을통해 를정의하고 , (1) AI

의도입을적극촉진하면서 판별모델의운용과정에서공공부문에직접적 AI , (2)

---

48페이지

364 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

용되는헌법상차별금지알권리를보장하기위한안전장치를구체화하고오히려 ,

이로써공무원이보다안심하고판별모델을조달하도록해주어시장을형성하고,

강력한보안요구사항 (3) 153)의근거를명기하여우리가처한특유의안보위협에

대비하면서국제무역규범에위배되지않는범위내에서공공부문에국내 산업 AI

이숨쉴틈을남겨둬야한다구체적인입법안은다음과같다 . .

153) 보안요구사항은클라우드컴퓨팅서비스보안인증 클라우드컴퓨팅법제 조의 (CSAP)( 23 2) 의조정을중심으로보안적합성검증전자정부법제 조제항시행령제 조제항국 ( 56 3 , 69 2 , 가정보원법제조 정보보호제품평가 인증제전자정부법시행령제 조제항제호 4 ), ( 69 1 1 , ⋅ 지능정보화기본법제 조시행령제 조 암호모듈검증 전자정부법시행령 58 , 51 ), (KCMVP)( 제 조제항제호등기존정부보안통제체계와연계하되 특유의보안위협을고 69 1 1 ) AI 려하여설계할수있을것이다미국 도 에따라연방 . FedRAMP E.O. 14110, § 10.1(f)(ii) 정부의 도입촉진을위해클라우드보안 승인체제를어떻게조정할지에관한프 AI 레임워크안을 발표했는데(FedRAMP, Emerging Technology Prioritization Framework – Draft Pre-Decisional, Jan. 26, 2024, https://www.fedramp.gov/2024-01-26-fedramps-emerging-

특히 의보 technology-prioritization-framework-overview-and-request-for-comment/), CSAP 완에참고할만하다.

행정절차법

제조정의 2 ( )

인공지능이란기계및사람기반입력값을사용하여현실또는가상환경 10. “ ”

을인식하고이러한인식을자동화된방식으로분석하여모델로추상화하며 , ,

모델추론을사용하여정보또는행동에대한선택을수식화함으로써사람이 ,

정의한목표집합에대해예측추천을하거나실제또는가상환경에영향을 ,

미치는결정을내릴수있는기계기반시스템154)을말한다.

인공지능모델이란주어진입력값의집합에서출력을생성하기위해인공 11. “ ”

지능기술을실행하고연산적통계적또는기계학습적기법을사용하는정보 ,

시스템의구성요소155)를말한다.

범용인공지능모델이란광범위한데이터로훈련되어높은성능으로다양 12. “ ”

한맥락과과업들에활용되는인공지능모델156)을말한다.

권익영향인공지능이란국민에게한정된권익을배분하거나국민에게의 13. “ ”

무를부과하거나권익을제한하는결정에활용되는등특정국민157)의권익에

중대한영향을미치는대통령령이정하는인공지능158)을말한다.

안전영향인공지능이란특정국민의생명 신체 재산의안전에중대한 14. “ ” ⋅ ⋅

영향을미치거나 국토의계획및이용에관한법률 제조제호에따른기반 2 6 ｢ ｣

---

49페이지

인공지능의법적규율 판별모델 박상철 II: / 365

시설또는 정보통신기반보호법 제조제호에따른정보통신기반시설에활 2 1 ｢ ｣

용되는대통령령이정하는인공지능159)을말한다.

제조의인공지능의활용 5 3( )160) 행정기관등의장은관련법률에따라금지되 ①

거나제한되지아니하면행정작용에인공지능을활용할수있고인공지능의 ,

활용을통해효율성 정확성 일관성 예견가능성등을향상시킬수있는행정 ⋅ ⋅ ⋅

작용의용례를발굴하여인공지능을적용하도록적극노력하여야한다.

부장관 [ ] ②○○ 161)은행정기관등의장이인공지능을효율적으로활용할수있

도록범용인공지능모델과 클라우드컴퓨팅발전및이용자보호에관한법률 ｢ ｣

제조제호에따른클라우드컴퓨팅서비스를구축하고이를행정기관등의장에 2 3

게제공하여야한다 부장관이이를위해발주하는범용인공지능모델과 . [ ] ○○

클라우드컴퓨팅서비스시스템의개발유지또는관리사업에대해서는 소프 , ｢

트웨어진흥법 제 조를적용하지아니한다 48 . ｣ 162)

행정기관등의장은행정작용에대한인공지능의용례권익 안전영향인공지 ( ③ ⋅

능해당여부및권익영향인공지능의경우결정의주요고려사항및주요고려

사항들이결정에미칠영향을포함한다를 부장관에게제출하고 ) [ ] , [ ] ○○ ○○

부장관은이를공개한다.163) 다만제출또는공개가국가안보상의이유로적절 ,

하지아니하거나공개가결정결과에대한조작을초래할우려가있는경우에

는그러하지아니하다.

행정기관등의장은인공지능을활용하여행정작용을할경우다음각호의 ④

조치를하여야한다.

권익영향인공지능대통령령이정하는적합성평가를받은경우를제외한다의 1. ( )

경우부당한차별의위험에대한영향평가

권익영향인공지능의경우영향을받는국민에대하여결정의결과결정과 2. ,

정에서의주요고려사항주요고려사항들이결정의결과에미친영향에관한 ,

설명의제공

안전영향인공지능대통령령이정하는적합성평가를받은경우를제외한다의 3. ( )

경우안전위험에대한영향평가

보안관리조치 4.

제항및제항의규정에따른인공지능의용례의제출및공개영향평가 3 4 , ⑤

설명의제공 보안관리조치의방법및절차에필요한사항은대통령령으로 ⋅ ⋅

정한다.

---

50페이지

366 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

154) 의번역이는 의정의를참고한것이다 88 Fed. Reg. 75191, Sec. 3(b) . OECD [OECD, Recommendation of the Council on Artificial Intelligence 의정의 (2024), C/M(2024)5]. AI 는진흥조항과 안전연구소의근거위주로규정된 기본법에넣고행정절차법은 AI AI 동법상정의를준용하는방식으로규정하는방안도생각해볼수는있으나 기본법 , AI 이특정부처에 규제권한을몰아주며분야별로이중규제를양산하는형태가되면 AI 안된다. 155) 의번역 88 Fed. Reg. 75191, Sec. 3(c) .

제 조처분기준의설정 공표 20 ( ) ⋅ 제항에따른처분기준을공표하는것이해 1 ③

당처분의성질상현저히곤란하거나공공의안전또는복리를현저히해치는

것으로인정될만한상당한이유가있는있거나제조의제항에따라인공지능 5 3 3

의용례를공개한경우에는처분기준을공표하지아니할수있다.

제 조의견청취 22 ( ) 행정청은청문 공청회또는의견제출을거쳤을때에는 ⑤ ⋅

신속히처분하여해당처분이지연되지아니하도록하여야한다. 다만제조의 , 5

제항에따른인공지능을활용한처분의경우필요한경우행정기관등의장의 3 3

인적개입을통해수렴된의견을반영할수있다.

제 조처분의이유제시 23 ( ) 행정청은처분을할때에는다음각호의어느하 ①

나에해당하는경우를제외하고는당사자에게그근거와이유를제시하여야한다.

제조의제항제호에따라권익영향인공지능을활용한행정작용에대해설 4. 5 3 4 2

명을제공하는경우

국가공무원법

제 조의적극행정의장려 50 2( ) 각기관의장은소속공무원의적극행정공무 ( ①

원이불합리한규제의개선 행정절차법 제조의에따른인공지능의도입 , 5 3 ｢ ｣

등공공의이익을위해업무를적극적으로처리하는행위를말한다이하이조 .

에서같다을장려하기위하여대통령령등으로정하는바에따라인사상우대 )

및교육의실시등에관한계획을수립 시행할수있다. ⋅

적극행정추진에관한다음각호의사항을심의하기위하여각기관에적 ②

극행정위원회를설치 운영할수있다. ⋅

공무원이불합리한규제의개선 2. 인공지능의도입 , 등공공의이익을위해업

무를적극적으로추진하기위하여해당업무의처리기준절차방법등에관 , ,

한의견제시를요청한사항

지방공무원법제 조의적극행정의장려도동일하게개정 [ 75 2( ) ]

---

51페이지

인공지능의법적규율 판별모델 박상철 II: / 367

민간부문에서의판별모델활용의규제와관련하여서는개인정보보호법제 조 37

의와신용정보법제 조의 2 36 2의재검토가필요하다위조항들을보완하는방안과 .

분야별조항으로대체또는보충하는방안양자를고민할필요가있다만약분야 .

별조항을제정한다면그입법의방향성은공공부문과많이달라질것이다공공 .

부문과달리 를정의할필요성은떨어지고사실기술중립성의원칙상가급적피 AI

해야한다본문에서검토하였듯이 의도입이성숙된영역은기계의결정이든 . AI

사람의결정이든가리지않고설명 공개를요하되 의도입이시작된영역은 , AI ⋅

과도적으로자동화된시스템에대한별도의설명 공개규제를하면서 의도입 , AI ⋅

이부진한영역은좀더신중히지켜보아야한다따라서이하분야별입법제재 . (

등부수적조항생략을생각해볼수있다 ) .

156) 을참조 88 Fed. Reg. 75191, Sec. 3(k) . 157) 행정절차법상 국민 개념에법인이포함되는지여부가해석상명백하지않다면내국 “ ” 법인을명시적으로포함시켜야한다. 158) 의권리영향 개념을참조함 OMB, M-24-10 (2024), p.29 AI(rights-impacting AI) . 159) 의안전영향 개념을참조함군사기지 OMB, M-24-10 (2024), p.30 AI(safety-impacting AI) . 및군사시설보호법제조제호에따른군사시설통합방위법제조제 호의국가중요 2 2 , 2 13 시설보안업무규정제 조제항에따른국가보안시설 보호장비에적용될 도물론 , 32 1 AI ⋅ 안전에중대한영향을미칠수있으나국가안보의특수성을고려할때영향평가의범 , 위에서제외하는것이타당하다. 160) 공공기관의운영에관한법률지방공기업법에도유사한조항을넣을수있을것이다 , . 161) 현재로서는디지털플랫폼정부위원회나행정안전부가적절하나궁극적으로는미국 , OMB 수준의예산 국무조정권을겸유한강력한상급기관의통할이필요하다. ⋅ 162) 의능력이확장법칙 에달려있음이관측되는상황에서소프트웨어진흥 AI (scaling laws) 법제 조의대기업입찰참가제한을적용하면양질의범용모델과이에연계된클라우 48 드의도입은요원하다동조항이곧완전폐지되진않을것이라는전제하에서공공 . , 조달시장의상생은스타트업의참여를대기업이구축할대규모범용모델에입각하여 AI 각도메인별하류작업 앱을구축할때주로보장하는방식으로도모 (downstream task) 해야한다. 163) OMB, M-24-10 (2024), p.5.

채용절차의공정화에관한법률164)

제조정의 2 ( )

채용심사시스템이란구직자의정보를처리하여채용여부에관한결정판 7. “ ” ,

단근거또는참고사항을출력하는정보처리시스템을말한다.

제조의출신지역등개인정보요구금지 4 3( ) 구인자는구직자에대하여그직무

의수행에필요하지아니한다음각호의정보를기초심사자료에기재하도록

---

52페이지

368 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

요구하거나입증자료로수집하거나채용심사시스템의입력값으로활용하여서

는아니된다.

구직자본인의용모 1. , 표정등안면의움직임, 키 체중등의신체적조건 ⋅

제조의적합성평가 4 4( ) ①고용노동부장관은특정채용심사시스템이시장점유율

또는구인자의수등을고려하여대통령령으로정하는범위를초과하여활용될

경우매년 월 일까지적합성평가대상채용심사시스템으로지정한다 12 31 .

제항과같이지정된채용심사시스템의제공자는정확도부당한차별의위 1 , ②

험특정구인자의다수구직자들로부터의배제의위험등을평가하기위해대 ,

통령령이정하는기간내에고용노동부장관으로부터적합성평가를받아야하

고적합성평가를받지못할경우구인자에대한제공을중단하여야한다 , .

채용심사시스템의제공자는제항의지정여부와관계없이고용노동부장관 1 ③

에게신청하여제항의적합성평가를받을수있다 2 .

제조채용일정및채용과정의고지 8 ( ) ①구인자는구직자에게채용일정채용심 ,

사지연의사실채용과정의변경등채용과정을알려야한다 , .

구인자가채용심사시스템을활용하거나그출력값을고려하여채용심사를 ②

할경우구직자에게시스템의주요입력값주요입력값이시스템의출력값에 , ,

미칠영향출력값이채용여부의결정에미칠영향을알려야한다 , .

제항제항의경우고지방법은제조제항을준용한다 1 , 2 7 2 . ③

제 조채용여부의고지 10 ( ) ①구인자는채용대상자를확정한경우에는지체없

이구직자에게채용여부를알려야한다이경우고지방법은제조제항을준 . 7 2

용한다.

구인자가채용심사시스템을활용하거나그출력값을고려하여채용심사를 ②

한경우채용에서탈락한구직자는시스템의주요입력값주요입력값들이시 , ,

스템의출력값에미친영향출력값이탈락결정에미친영향에대한설명이나 ,

인적개입에의한재처리를대통령령이정하는방법으로요구할수있고구직 ,

자는정당한사유가없는한응하여야한다.

금융소비자보호법165)

제 조의금융상품거래심사에대한공개 설명및이의제기 24 2( ) ⋅ ①금융상품직

접판매업자는대출성또는보장성상품거래의설정및유지여부내용의결정 ,

을위한심사이하 금융상품거래심사라한다와관련하여심사에이용될주 ( “ ” )

---

53페이지

인공지능의법적규율 판별모델 박상철 II: / 369

요기초정보주요기초정보들이심사결과에미칠영향다만공개가심사결 , ( ,

과에대한조작을초래할우려가있는항목을제외한다에대하여대통령령이 )

정하는방법으로공개하여야한다.

금융상품직접판매업자가금융상품거래심사결과계약체결을거절할경우, ②

거절을당한개인은금융상품직접판매업자에대해심사에이용된주요기초정

보주요기초정보들이심사결과에미친영향에대한설명이나재처리를대통 ,

령령이정하는방법으로요구할수있고금융상품직접판매업자는정당한사유 ,

가없는한응하여야한다.

신용정보법

제 조의개인신용평가에대한공개 설명및이의제기 36 2( ) ⋅ 개인신용평가회사 ①

는개인신용평가와관련하여평가에이용될주요기초정보주요기초정보들이 ,

평가결과에미칠영향다만공개가평가결과에대한조작을초래할우려가 ( ,

있는항목을제외한다에대하여대통령령이정하는방법으로공개하여야한다 ) .

개인인신용정보주체는개인신용평가회사에대하여평가의결과평가에이 , ②

용된주요기초정보주요기초정보들이평가결과에미친영향에대한설명이 ,

나재처리를대통령령이정하는방법으로요구할수있고개인신용평가회사는 ,

정당한사유가없는한응하여야한다.

정보통신망이용촉진및정보보호등에관한법률166)

제조정의 2 ( )

의 온라인플랫폼서비스란이용자들간의거래 정보교환등상호작용을 3 2. “ ” ⋅

매개하는정보통신서비스167)를말한다.

의 대규모온라인플랫폼서비스제공자란전년도온라인플랫폼서비스를통 3 3. “ ”

한재화 용역의중개거래수익이 억원이상또는중개거래금액이 조원 1,000 1 ⋅

이상으로서대통령령으로정하는기준에해당하는정보통신서비스제공자를말

한다.

제 조의 대규모온라인플랫폼서비스제공자의공개 설명 44 11( ) ⋅ 대규모온라 ①

인플랫폼서비스제공자는자신의온라인플랫폼서비스를통하여재화 용역을 ⋅

판매하는이용자이하이용사업자라고한다에대하여다음각호의 에해당 ( “ ” ) 1

하는결정을할경우그결정과정에서의주요고려사항주요고려사항들이 , ,

---

54페이지

370 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

이들은현대표용례들에대한통제조항의예시에불과하며향후다른용례들이

생겨날경우해당위해를식별 측정하여법체계의적응작업을지속해나가야한 ⋅

다단이들예시만으로도자동화의억지를지향하는둔탁한현행법조항들보다는 .

우리사회의각영역의실제용례에따라상향식으로설계된규율들이더날카롭

게차별위험을경감하고의미있는설명을가능하게할것임을넉넉히확인할수

164) 향후 의해고감시근무평정등근로기준관련용례를파악하여노동법의적응작업 AI , , 을지속해나갈필요가있다미국노동부 가 의이행을 . (DOL) E.O. 14110, § 6(a)(ii), (b) 위해발표한공정근로기준법과기타연방근로기준하에서의직장내 와자동화시 “ AI 스템(DOL, Artificial Intelligence and Automated Systems in the Workplace under the Fair Labor Standards Act and Other Federal Labor Standards, Apr. 29, 2024, https://www.dol.

은근로기준관련 활용의주요쟁점을 gov/sites/dolgov/files/WHD/fab/fab2024_1.pdf)” AI 근로시간근로시간트래킹휴식시간감시대기시간근무장소가여러곳인경우 (1) ( , , , ), 임금의산정 가족돌봄휴가 병가휴가요청의처리휴가지원을위한인증방 (2) , (3) ( , , ⋅ 해 보복행위 수유기모성근로자보호 거짓말탐지기금지 보복행위로파 ), (4) , (5) , (6) ⋅ 악하고있다다만일단가장흔한용례인채용에초점을두고개정안을제안한다 . , . 165) 앞서살펴보았듯이사기탐지보험사정포함에대한설명 이의제기권부여는시기상 ( ) ⋅ 조이다. 166) 온라인플랫폼을전기통신사업법상부가통신사업자로간주하여동법을적용하는해석

관행은잘못된것이며온라인플랫폼에대한산업규제는전기통신사업법이아닌정보통 신망법으로규율하되그과정에서정보통신망법은디지털서비스법으로개편해야한다

박상철 플랫폼법 ( , “ ”, 통권 호 면 다만일단현조문 188 (2022. 2.), 353-365 ). , 구조하에서의개정안을제안하였다. 167) 온라인플랫폼사업자의시장지배적지위남용행위에대한심사지침공정거래위원회예 ( 규제 호 참조 418 , 2023. 1. 12.) .

결정결과에미칠영향다만공개가결정결과에대한조작을초래할우려가 ( ,

있는항목을제외한다을대통령령이정하는방법으로공개하여야한다 ) .

온라인플랫폼서비스내에서의이용사업자의판매자정보나재화 용역에관 1. ⋅

한정보의노출순위의결정

소비자의이용사업자를지정하지아니한주문의특정이용사업자에대한배정 2.

대규모온라인플랫폼서비스제공자가특정이용사업자의자신의온라인플 ②

랫폼서비스를통한재화 용역의판매를해지 거부또는대통령령이정하는 ⋅ ⋅

기간이상중지할경우해당이용사업자는대규모온라인플랫폼서비스제공자에 ,

대하여결정과정에서의주요고려사항주요고려사항들이결정결과에미친 ,

영향에대한설명이나재처리를대통령령이정하는방법으로요구할수있고,

대규모온라인플랫폼서비스제공자는정당한사유가없는한응하여야한다.

---

55페이지

인공지능의법적규율 판별모델 박상철 II: / 371

있다아울러이러한맥락특유적체계의부작용으로부처별규제다툼과엇박자가 .

초래될수있는데이를억누르고정연한 규제체계를완성하기위해예산 (coherent)

편성과연동된강력한국무조정이수반되어야함은물론이다.

이러한쉽지않은작업이완료될경우그과정에서정초될맞춤형 핀셋형규율 ⋅

들은 가세계에확산중인자동화에대한막연한공포의조장 을 EU (fearmongering)

불식하고 마치차량안전벨트가안전을지킬뿐아니라자신있게가속장치를밟 , (

게주는것처럼공공 민간부문이판별모델을확신과편안함을가지고부단히활 ) ⋅

용하여사람의판단과최적결합하게해주는역할을수행할것으로기대한다이 .

를통해우리사회가신기술의잠재력을기민히살려중요의사결정과정들의정

확 견고 신속 불편부당 예견가능성을끌어올리고형평과효율의두마리토 ⋅ ⋅ ⋅ ⋅

끼를다잡으며자동화의억지에급급하여금세낙후될문명권들의 이되길 典範

바라마지않으면서이글을마친다.

---

56페이지

372 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

Corrigendum:

인공지능의법적규율 범용모델과생성모델

박상철

제 권제호 면에게재된위논문의내용 , 65 1 (2024. 3.), 65-124

을다음과같이수정합니다.

위치 수정전 수정후

면 75

새로운토큰쉽게말해문 ( 장에서바로다음에올토 큰에대한벡터표상이된다 ) .

그토큰의문맥적의미예컨대 배는앞에 ( “ ” 돛 바다가나오면복부나과일이아닌 “ ”, “ ” 선박의표상이며그토큰과함께새토큰의 ) , 생성에투입된다.

검색어 와검색값 을 (Q) (K) 내적(dot product)

쿼리 와키 를내적 단행렬 (Q) (K) (dot product)( , 형태이므로행렬곱으로계산이하같음 , )

투고일 심사완료일 게재확정일 2024. 4. 11 2024. 5. 23 2024. 5. 24

---

57페이지

인공지능의법적규율 판별모델 박상철 II: / 373

참고문헌

고학수 정해빈 박도현 인공지능과차별 , “ ”, ⋅ ⋅ 통권제 호 171 (2019. 4.).

박도현 정해빈 인공지능과고용차별의법경제학블라인드채용과베일

---

, “ : ⋅ ⋅

의역설을중심으로”, 제 권제호 16 1 (2019. 4.).

권오성 남재욱 박수민 김유나 채용분야인공지능 활용실태및공정성확 , “ (AI) ⋅ ⋅ ⋅

보방안연구 한국산업인력공단위탁연구 ”, 2023-12 (2023. 11.).

권은정 자동적처분의행정법적제문제처분의형식절차및구제에관한쟁점 , “ : ･

을중심으로”, 제 권제호 38 3 (2021. 9.).

김동희 최계영, ⋅ 제 판 (2021, 26 ).

김병필, 대규모언어모형인공지능의법적쟁점 “ ”, 제 권제호 26 1 (2022. 4).

______, 인공지능공정성심사기준에관한연구박사학위논문서울대학교 , , (2023. 8).

김예진 채용절차에있어서인공지능의차별문제미국과한국의비교를중심으 , “ :

로”, 제 호 55 (2023. 9.).

김혜진 알고리듬행정결정의법적쟁점프랑스대학입학플랫폼 의사 , “ : (Parcoursup)

례를중심으로”, 제 호 69 (2022. 11.).

김현섭 민주주의의퇴행이란무엇이고어떻게발생진행되며왜문제인가 조 , “ , , , ?:

망과평가,” 제 집제호 32 3 (2023. 10.).

모정훈 알고리즘공개에관하여 , “ ”, 제 호 36 (2021. 10.).

박노형 김효권 자동화된결정에관한개인정보보호법정부개정안신설규정의 , “ ⋅

문제점 과의비교분석 : EU GDPR ”, 제권제 호 1 62 (2022. 12.).

박상철 금융 의활용과금융소비자보호차별금지설명요구권 대판매규제 , “ AI : , , 6

준수를중심으로”, 제 호 107 (2021. 5.).

박상철 플랫폼법 , “ ”, 통권 호 188 (2022. 2.).

유동훈 자동적재량행위가능성에관한시론적연구 , “ ”, 제 호 697 (2022. 6.).

이상용 이혜리 개인정보보호법에의한자동화된결정의규율 , “ ”, ⋅

통권제 호 105 (2024. 1.).

---

---

⋅ 개인정보보호법상자동화된결정조항의해석 , “ ”, 제 권제 73 1

호(2024. 2.).

임성훈 인공지능행정이행정절차 행정소송에미치는영향에대한시론적고찰 , “ ”, ⋅

제 호 62 (2020. 8.).

---

58페이지

374 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

정남철 인공지능시대의도래와디지털화에따른행정자동결정의법적쟁점특히 , “ :

행정기본법상자동적처분의문제점을중심으로”, 제 권제호 50 2

(2021.12.).

조성규 인공지능에기반한자동화된행정결정의행정법적쟁점 , “ ”, ,

제 권제호 16 4 (2023. 1.).

Adamson, A.S. and Smith, A., “Machine Learning and Health Care Disparities in

Dermatology,” JAMA Dematology, Vol. 154, No. 11 (2018).

Agirre, Eneko and Oier Lopez de Lacalle, “On Robustness and Domain Adaptation

using SVD for Word Sense Disambiguation,” Computational. Linguistics

(2018).

Apley, Daniel W. and Jingyu Zhu, “Visualizing the Effects of Predictor Variables in

Black Box Supervised Learning Models,” Journal of the Royal Statistical

Society, Series B (Methodology), Vol. 82, No. 4 (2020).

Aristotle, Nicomachean Ethics, bk. V (W. D. Ross trans., Batoche Books 1999) (c.

350 B.C.E.).

Article 29 Data Protection Working Party, Guidelines on Automated Individual

Decision-Making and Profiling for the Purposes of Regulation 2016/679

(2018).

Barocas, Solon and Andrew D. Selbst, “Big Data’s Disparate Impact,” California

Law Review, Vol. 104 (2016).

Barocas, Solon, Moritz Hardt, and Arvind Narayanan, Fairness and Machine

Learning: Limitations and Opportunities (2023), https://fairmlbook.org/.

Bambauer, Jane and Tal Zarsky, “The Algorithm Game,” Notre Dame Law Review,

Vol. 94 (2018).

Blodgett, Su Lin et al., “Language (Technology) is Power: A Critical Survey of

‘Bias’ in NLP,” Annual Meeting of the Association for Computational

Linguistics (ACL) (2020).

Castelvecchi, Davide, “Can We Open the Black Box of AI?,” Nature, Vol. 538

(2016).

Cofone, Ignacio N. and Katherine J. Strandburg, “Strategic Games and Algorithmic

---

59페이지

인공지능의법적규율 판별모델 박상철 II: / 375

Secrecy,” McGill Law Journal, Vol. 64, No. 4 (2019).

Crawford, Kate, “The Trouble with Bias,” a keynote at Conference on Neural

Information Processing Systems (NIPS) (2017).

D’Amour, A., “Underspecification Presents Challenges for Credibility in Modern

Machine Learning,” Journal of Machine Learning Research, Vol. 23, No. 1

(2022).

Dandekar, Pranav, Ashish Goel, and David T. Lee, “Biased Assimilation, Homophily,

and the Dynamics of Polarization,” Proceedings of the National Academy

of Sciences (PNAS), Vol. 110, No. 15 (2013).

Danziger, Shai, Jonathan Levav, and Liora Avnaim-Pesso, “Extraneous Factors in

Judicial Decisions,” Proceedings of the National Academy of Sciences

(PNAS), Vol. 108, No. 17 (2011).

Dietvorst, Berkeley J., Joseph P. Simmons, and Cade Massey, “Algorithm Aversion:

People Erroneously Avoid Algorithms After Seeing Them Err,” Journal of

Experimental Psychology: General, Vol. 144, No. 1 (2015).

Dwork, Cynthia, et al., “Fairness Through Awareness,” Proceedings of the 3rd

Innovations in Theoretical Computer Science Conference (ITCS) (2012).

Dwork, Cynthia and Aaron Roth, “The Algorithmic Foundation of Differential

Privacy” in Madhu Sudan(eds.), Foundations and Trends® in Theoretical

Computer Science, Vol. 9, No. 3 4 (Now Publishers, 2014). –

Dworkin, Gerald, “Autonomy and Behavior Control,” The Hastings Center Report,

Vol. 6, No. 1 (1976).

Epstein, Robert and Ronald E. Robertson, “The Search Engine Manipulation Effect

(SEME) and its Possible Impact on the Outcomes of Elections,”

Psychological and Cognitive Sciences, Vol. 112, No. 33 (2015).

Fagan, Frank and Saul Levmore, “The Impact of Artificial Intelligence on Rules,

Standards, and Judicial Discretion,” Southern California Law Review, Vol.

93, No. 1 (2019).

Friedman, Jerome H., “Greedy Function Approximation: A Gradient Boosting

Machine,” The Annals of Statistics, Vol. 29, No. 5 (2001).

Goodfellow, Ian J., Jonathon Shlens, and Christian Szegedy, “Explaining and

---

60페이지

376 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

Harnessing Adversarial Examples,” arXiv:1412.6572 (2015).

Guo, L.N. et al., “Bias In, Bias Out: Underreporting and Underrepresentation of

Diverse Skin Types in Machine Learning Research for Skin Cancer

Detection A Scoping Review,” － Journal of American Academic

Dermatology, Vol. 87, No. 1 (2022).

Guyon, Isabelle et al., “Design of the 2015 ChaLearn AutoML Challenge,”

International Joint Conference on Neural Networks (IJCNN) (2015).

Hu, Edward et al., “LoRA: Low-Rank Adaptation of Large Language Models,”

arXiv:2106.09685v2 (2021).

Jussupow, Ekaterina, Izak Benbasat, and Armin Heinzl, “Why Are We Averse

Towards Algorithms? A Comprehensive Literature Review on Algorithm

Aversion,” European Conference on Information Systems (ECIS2020)

(2020).

Keijzer, Marijn A. and Michael Mäs, “The Complex Link between Filter Bubbles and

Opinion Polarization,” Data Science, Vol. 5, No. 2 (2022).

Kim, Been et al., “Examples are not Enough, Learn to Criticize! Criticism for

Interpretability,” Conference on Neural Information Processing Systems

(NIPS) (2016).

Larrazabal, A.J. et al., “Gender Imbalance in Medical Imaging Datasets Produces

Biased Classifiers for Computer-aided Diagnosis,” Proceedings of the

National Academy of Sciences (PNAS), Vol. 117, No. 23 (2020).

Lee M.S., Guo L.N., and Nambudiri V.E., “Towards Gender Equity in Artificial

Intelligence and Machine Learning Applications in Dermatology,” Journal of

the American Medical Informatics Association, Vol. 29, No. 2 (2022).

Lundberg, Scott M., and Su-In Lee, “A Unified Approach to Interpreting Model

Predictions,” Conference on Neural Information Processing Systems (NIPS)

(2017).

Logg, Jennifer M., Julia A. Minson, and Don A. Moore, “Algorithm Appreciation:

People Prefer Algorithmic to Human Judgment,” Organizational Behavior

and Human Decision Processes, Vol. 151 (2019).

Madhavan, P., and Wiegmann, D. A., “Similarities and Differences Between

---

61페이지

인공지능의법적규율 판별모델 박상철 II: / 377

Human-Human and Human-Automation Trust: An Integrative Review,”

Theoretical Issues in Ergonomics Science, Vol. 8, No. 4 (2007).

Malgieri, Gianclaudio and Giovanni Comande, “Why a Right to Legibility of

Automated Decision-Making Exists in the General Data Protection

Regulation,” International Data Privacy Law, Vol. 7, No. 4 (2017).

Martini, Mario und David Nink, “Subsumtionsautomaten ante portas? Zu den –

Grenzen der Automatisierung in verwaltungsrechtlichen (Rechtsbehelfs-)

Verfahren,” Deutsches Verwaltungsblatt, Band 133, Heft 17 (2018).

Ng, Andrew, CS229 Lecture Notes (2020).

Park, Sangchul, “Bridging the Global Divide in AI Regulation: A Proposal for

Contextual, Coherent, and Commensurable Framework,” arXiv:2303.1196v4

(2024) [forthcoming in Washington International Law Journal, Vol. 32, No.

2 (2024)].

Pasquale, Frank, The Black Box Society: The Secret Algorithms That Control

Money and Information (Harvard University Press, 2016).

Ramji-Nogales, Jaya, Andrew I. Schoenholtz, and Philip G. Scharg, “Refugee

Roulette: Disparities in Asylum Adjudication,” Stanford Law Review, Vol.

60 (2007).

Schmitz, Heribert und Lorenz Prell, “Neues zum E-Government: Rechtsstaatliche

Standards für E-Verwaltungsakt und E-Bekanntgabe im VwVfG,” Neue

Zeitschrift für Verwaltungsrecht (NVwZ) (C.H. Beck, 2016).

Selbst, Andrew and Julia Powles, “Meaningful Information and the Right to

Explanation,” International Data Privacy Law, Vol. 7, No. 4 (2017).

Shapley, Lloyd S., Notes on the N-Person Game －II: The Value of an N-Person

Game (1951).

Soares, Nate and Benya Fallenstein, “Agent Foundations for Aligning Machine

Intelligence with Human Interests: A Technical Research Agenda,” in Victor

Callaghan et al.(ed.), The Technological Singularity (MIT Press, 2017).

Tramèr, Florian et al., “Stealing Machine Learning Models via Prediction APIs,”

USENIX Security Symposium (SEC) (2016).

Turing, Alan M., “On Computable Numbers, with an Application to the Neue

---

62페이지

378 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

Zeitschrift für VerwaltungsrechtEntscheidungsproblem,” Proceedings of the

London Mathematical Society, Series 2, Vol. 42, No. 1 (1937).

Tversky, Amos and Daniel Kahneman, “Extensional versus Intuitive Reasoning: The

Conjunction Fallacy in Probability Judgement,” Psychological Review, Vol.

90, No. 4 (1983).

Veale, Michael and Lilian Edwards, “Clarity, Surprises, and Further Questions in the

Article 29 Working Party Draft Guidance on Automated Decision-making

and Profiling,” Computer Law & Security Review, Vol. 34, No. 2 (2018),

Verma, Sahil and Julia Rubin, “Fairness Definitions Explained,” Proceedings of the

International Workshop on Software Fairness (2018).

Wachter, Sandra, Brent Mittelstadt, and Chris Russell, “Counterfactual Explanations

without Opening the Black Box: Automated Decisions and the GDPR,”

Harvard Journal of Law & Technology, Vol. 31 (2017).

Wachter, Sandra, Brent Mittelstadt, and Luciano Floridi, “Why a Right to Explanation

of Automated Decision-Making Does Not Exist in the General Data

Protection Regulation,” International Data Privacy Law, Vol. 7, No. 2

(2017).

Weinshall-Margel, Keren and John Shapard, “Overlooked Factors in the Analysis of

Parole Decisions,” Proceedings of the National Academy of Sciences

(PNAS), Vol. 108, No. 42 (2011).

Wilson, Benjamin, Judy Hoffman, and Jamie Morgenstern, “Predictive Inequality in

Object Detection,” arXiv:1902.11097 (2019).

Windoffer, Alexander, “VwVfG § 35a Vollständig automatisierter Erlass eines

Verwaltungsaktes,” in Thomas Mann, Christoph Sennekamp und Michael

Uechtritz, Verwaltungsverfahrensgesetz: Großkommentar (2. Aufl., 2019).

---

63페이지

인공지능의법적규율 판별모델 박상철 II: / 379

Legal Oversight of AI, Part Two: Discriminative Model

Park, Sangchul*

168)

A discriminative model is largely a supervised learning-based classifier or

regressor/interpolator. Legal responses thus far have primarily targeted bias and opacity

arising from “black boxes” or “algorithmic alienation.” These notions have led to

regulations such as the explanation requirement for automated evaluation under the Credit

Information Act of 2020, the prohibition of discretionary actions in automated disposition

under the Framework Act on Administration of 2021, and the explanation and disclosure

requirement for automated decision-making under the Personal Information Protection

Act of 2023. However, bias, opacity, and alienation are not exclusive to AI. They already

exist in human judgment processes that discriminative models seek to replace or

complement, sometimes to a greater extent. Viewing the emergence of AI as an

opportunity to reflect on existing human decisions, the legal system must be revamped

to ensure fairness and acceptability in decisions impacting others’ lives, regardless of

being automated or not. From this perspective, the following steps are taken to examine

the problems of existing legislation and seek alternatives. First, discriminative models

are categorized based on how they interact with humans, and different harms are mapped

for each category: (1) discrimination in allocative models (such as hiring, admission,

loan review, credit scoring, insurance underwriting, public assistance, ranking, etc.); (2)

misjudgment (lack of accuracy) in punitive models (such as fraud detection, insurance

claim adjustment, recidivism prediction, etc.); and (3) either lack of accuracy (including

robustness) jeopardizing safety or excessive accuracy compromising privacy in cognitive

models (such as medical imaging and diagnosis, sensors, biometric authentication,

recommendations, etc.). Instead of conceptualizing opacity as a stand-alone harm,

explanations and disclosures about the model are structured as means to provide affected

• Assistant Professor, Seoul National University School of Law.

---

64페이지

380 서울대학교 뺷 法學뺸제 권제호 65 2 (2024. 6.)

individuals with opportunities for improvement under symmetric information or grounds

for challenging discrimination in allocative models or quality disparity in punitive models.

Second, (1) allocative or punitive models either deployed in the public domain or decisive

of individual lives and (2) cognitive models posing safety or privacy risks are identified

to justify legal intervention. Third, tools for measuring and mitigating the identified

core concerns of these models and appropriate legal means are reviewed. Fourth,

alternatives to existing automated decision-making rules are explored.

Keywords: discriminative model, artificial intelligence, bias, transparency, automated

decision-making