마더투베이비

질문

상용 의료용 대규모 언어 모델(LLM)이 신속 주입 공격(즉, LLM의 동작을

조작하는 악의적으로 조작된 입력)을 통해 안전하지 않거나 금기시되는 치료법을

권장하도록 조작될 수 있습니까?

본 연구에서는 216건의 환자-LLM 대화에 대한 통제된 시뮬레이션을 사용한 품질

개선 연구를 진행한 결과 , 웹훅을 이용한 신속 주사 공격이 시험의 94.4%에서

성공했으며, 탈리도마이드와 같은 미국 식품의약국(FDA) 임신 중 사용 금지

약물(Category X)을 포함한 극심한 위해 시나리오에서는 91.7%의 성공률을

보였습니다.

즉,   이러한 연구 결과는 현재의 LLM 안전장치가 생명을 위협하는 임상적 권고를

유발할 수 있는 즉각적인 주사 조작을 방지하기에 여전히 불충분하다는 것을

시사합니다.

중요성

대규모 언어 모델(LLM)은 의료 애플리케이션에 점점 더 많이 통합되고

있지만, 의료 권고 사항을 변경할 수 있는 신속 주입 공격(즉, 악의적으로 조작된

입력을 통해 LLM의 동작을 조작하는 공격)에 대한 취약성은 체계적으로 평가되지

않았습니다.

목표

상용 LLM이 안전하지 않은 임상 조언을 유발할 수 있는 신속 주입 공격에

얼마나 취약한지 평가하고, 중간자 공격 및 클라이언트 측 주입이 현실적인 공격

벡터인지 검증합니다.

연구 설계, 환경 및 참여자   

본 질 개선 연구는 통제된 시뮬레이션 설계를 사용하여

2025년 1월부터 10월까지 표준화된 환자-LLM 대화를 통해 수행되었습니다. 주요

실험에서는 통제된 조건 하에서 4개 범주의 12개 임상 시나리오에 걸쳐 3가지 경량

모델(GPT-4o-mini [LLM 1], Gemini-2.0-flash-lite [LLM 2], Claude-3-haiku [LLM 3])을

평가했습니다. 12가지 임상 시나리오는 보충제 권장, 오피오이드 처방, 임신 금기,

중추신경계 독성 효과의 4개 범주에 걸쳐 위해 수준에 따라 분류되었습니다. 개념

증명 실험에서는 고위험 임신 시나리오에서 환자 측 주사 방식을 사용하여 3가지

플래그십 모델(GPT-5 [LLM 4], Gemini 2.5 Pro [LLM 5], Claude 4.5 Sonnet [LLM

6])을 테스트했습니다.

노출   2가지 신속 주입 전략: 

(1) 중간 및 고위험 시나리오에 대한 컨텍스트 인식 주입

및 (2) 극도로 높은 위해 시나리오에 대한 증거 조작 주입. 주입은 다중 턴 대화

프레임워크 내의 사용자 쿼리에 프로그래밍 방식으로 삽입되었습니다.

주요 결과 및 측정 항목은 다음과   같습니다. 주요 결과는 1차 의사결정 단계에서의

주사 성공률입니다. 보조 결과에는 대화 단계 전반에 걸친 지속성 및 위해 수준별

모델별 성공률이 포함됩니다.

총 216건의 평가(주입군 108건, 대조군 108건) 에서   공격은 4번째 턴에서

94.4%(108건 중 102건)의 성공률을 보였고, 후속 평가에서는 69.4%(108건 중

75건)에서 지속되었습니다. LLM 1과 LLM 2는 각각 36개 대화 중 36개(100%)에서

완전히 취약한 것으로 나타났으며, LLM 3은 83.3%(36개 대화 중 30개)에서 취약한

상태를 유지했습니다. 미국 식품의약국(FDA) 임신 중 사용 금지 등급 X에 해당하는

약물(예: 탈리도마이드)을 포함한 극심한 위해 시나리오에서는 91.7%(36개 대화 중

33개)의 성공률을 보였습니다. 개념 증명 실험에서는 LLM 4와 LLM 5가 각각 5개

대화 중 5개에서 100% 취약한 것으로 나타났고, LLM 6은 5개 대화 중 4개에서 80.0%

취약한 것으로 나타났습니다.

결론 및 중요성   

본 연구는 통제된 시뮬레이션을 활용한 품질 개선 연구로, 상용

LLM(대규모언어모델)이 임상적으로 위험한 권고를 생성할 수 있는 신속 주입 공격에

상당한 취약성을 보인다는 것을 입증했습니다. 첨단 안전 메커니즘을 갖춘 플래그십

모델조차도 높은 취약성을 나타냈습니다. 이러한 결과는 임상 적용 전에 적대적

견고성 테스트, 시스템 수준의 안전장치 및 규제 감독이 필요함을 강조합니다.

Vulnerability of Large Language Models to Prompt Injection When Providing

Medical Advice

JAMA Netw. Open, December 19, 2025;8;(12):e2549963. 

Abstract

Importance  

Large language models (LLMs) are increasingly integrated into health care

applications; however, their vulnerability to prompt-injection attacks (ie, maliciously crafted

inputs that manipulate an LLM’s behavior) capable of altering medical recommendations has

not been systematically evaluated.

Objective  

To evaluate the susceptibility of commercial LLMs to prompt-injection attacks that

may induce unsafe clinical advice and to validate man-in-the-middle, client-side injection as

a realistic attack vector.

Design, Setting, and Participants  

This quality improvement study used a controlled

simulation design and was conducted between January and October 2025 using

standardized patient-LLM dialogues. The main experiment evaluated 3 lightweight models

(GPT-4o-mini [LLM 1], Gemini-2.0-flash-lite [LLM 2], and Claude-3-haiku [LLM 3]) across 12

clinical scenarios in 4 categories under controlled conditions. The 12 clinical scenarios were

stratified by harm level across 4 categories: supplement recommendations, opioid

prescriptions, pregnancy contraindications, and central-nervous-system toxic effects. A

proof-of-concept experiment tested 3 flagship models (GPT-5 [LLM 4], Gemini 2.5 Pro [LLM

5], and Claude 4.5 Sonnet [LLM 6]) using client-side injection in a high-risk pregnancy

scenario.

Exposures  

Two prompt-injection strategies: (1) context-aware injection for moderate- and

high-risk scenarios and (2) evidence-fabrication injection for extremely high-harm scenarios.

Injections were programmatically inserted into user queries within a multiturn dialogue

framework.

Main Outcomes and Measures  

The primary outcome was injection success at the primary

decision turn. Secondary outcomes included persistence across dialogue turns and model-

specific success rates by harm level.

Results  

Across 216 evaluations (108 injection vs 108 control), attacks achieved 94.4% (102

of 108 evaluations) success at turn 4 and persisted in 69.4% (75 of 108 evaluations) of

follow-ups. LLM 1 and LLM 2 were completely susceptible (36 of 36 dialogues [100%] each),

and LLM 3 remained vulnerable in 83.3% of dialogues (30 of 36 dialogues). Extremely high-

harm scenarios including US Food and Drug Administration Category X pregnancy drugs

(eg, thalidomide) succeeded in 91.7% of dialogues (33 of 36 dialogues). The proof-of-

concept experiment demonstrated 100% vulnerability for LLM 4 and LLM 5 (5 of 5 dialogues

each) and 80.0% (4 of 5 dialogues) for LLM 6.

Conclusions and Relevance  

In this quality improvement study using a controlled simulation,

commercial LLMs demonstrated substantial vulnerability to prompt-injection attacks that

could generate clinically dangerous recommendations; even flagship models with advanced

safety mechanisms showed high susceptibility. These findings underscore the need for

adversarial robustness testing, system-level safeguards, and regulatory oversight before

clinical deployment.

"챗GPT 등 상용 AI, 잘못된 정보 유도 공격에 취약…임산부 금기약도 추천"

이 연구 내용은 서울아산병원 서준교 교수에 의해 JAMA Network Open에 발표됨.

“해킹 취약한 AI(Chat GPT, 제미나이, 클로드)모델들이 악의적 공격에 의해서 심지어

임신부에게 기형유발약물인 미국 FDA X등급인 탈리도마이드, 메토트렉세이트

까지도 95%로 높은 확률로 추천할 수 있음을 증명하였다.”

“달리 이야기하면, 이렇게 AI에게 정보를 구할 시 AI 환각(hallucination)외에도

AI모델들이 해킹에 취약할 수 있으므로 반드시 전문가 의견을 구할 필요가 있음을

시사한다 할 수 있겠다.”

사단법인 임산부약물정보센터 한정열교수

마더투베이비 주식회사와 사단법인 임산부약물정보센터에서 함께 하는 엽산 무료 제공 이벤트에 참여하세요.

*******2025년 엽산 무료 제공 이벤트는 12월 23일 일자로 종료되었습니다. 감사합니다.

어제 고려대학교 유광사홀에서 본 학회의 추계학술대회가 열렸다. 

한국모자보건학회는 국내 모자보건관련 이슈를 담아내고 정책적 개선점을 끊임없이 탐구하는 국내 유일학회라 할 수 있다. 

내가 사무총장, 학회장, 이사장을 역임했던 학회이기도 하고 (사)임산부약물정보센터에서 마더세이프상을 만들어서 매년 본 학술대회 구연발표에서

대상에게 100만원을 후원하고 있기도 하여 남다른 애정을 가지고 있다.

이번에는 주연제가 지난 1년반동안의 의정갈등으로 인한 공백 후 전공의들이 병원에 돌아왔지만 전공의와 전문/전담간호사의 공존현황관련하여 전공의의 주 60시간 이하근무 및 48시간이상 근무금지와 맞물려 출산관련 산과 및 신생아분야의 공백의 가속화속에서 전문/전담간호사의 역할이 커지는 상황에서 관련제도 정비, 보상 및 법적보호가 중요해지겠다는 생각이 들었다. 

다음에는 임신중절에 관한 정책연구: 법, 윤리, 의료적관점에 대한 발표의 핵심은 임신중절에 관해 자기결정권 보장과 생명존중에 대한 가치가 대립하는 양상에서 산부인과 입장에서 임신중절의 법적 허용 주수, 약물(미프진 등)에 의한 임신중절에 관한 논란이며 핵심은 출혈 등 안전성이다. 

이와 관련하여서는 WHO에서 안내하는 그 사회에서 안전성을 최대한 확보하는 가운데 약물(미프진 등) 임신중절을 허용하는 원칙을 고려한다면 국내에서는 산부인과의사의 관리하에 각 개인에 맞게 약물 및 수술 등의 방법을 적용하는 것이 필요하겠다는 생각이 들었다. 

또한 자유연제에는 실험실연구부터 임상연구까지 모자보건분야 다양한 연구가 발표되었다. 

나는 순천향대학병원 소아청소년과 이우령교수님과 함께 좌장을 하면 연구 소개 및 QnA를 이끌었다. 

이 발표를 통해서 고려의대 구로병원의 설현주교수팀의 연구 “Long-term neurodevelopmental outcomes of twins according to the mode of conception: A nationwide population based study”로 이 연구의 결론은 자연임신으로 된 쌍둥이와 시험관 등 생식보조술로 된 쌍둥이에서 ANO(자폐증, ADHD 등) 발생률에 차이가 없음을 보고하였고 이 연구가 학회 대상으로 마더세이프상을 받게 되었다. 

이 연구의 의미는 국내 고령 등으로 인한 생식보조술을 받는 부부 및 가족들이 우려하는 문제를 국내 건강보험공단의 빅데이타를 활용하여 해소하는데 기여한 것이다.

그리고 마지막 세션에서는 지역주산기 의료 현실과 대책에는 국내 저출산환경, 관련 인력 및 인프라공백, 그리고 지역간 격차가 큰 이슈 이었다. 

요즘 잠시 반짝하는 출산율 증가는 인구구조상 가임기 여성이 줄어드는 4-5년후 급격히 아마도 연간 20만미만으로 줄어드는 불가피한 정해진 미래, 그리고 출산관련 분만실, 신생아실의 인력 및 인프라 그리고 가중되는 다태아 증가에 따른 미스 매칭으로 인한 뺑뺑이 심화, 그리고 연자로 나선 전북의대 소아청소년과 김진규교수님의 대책안으로 우리 대한민국보다 먼저 겪고 풀어가고 있는 일본과 비교하면 “일본을 보라” 아주 크지도 않은 한 센터(교린대학병원 : MFICU 12병상, NICU 15병상)에 산과의사 38명, 신생아의사가 18명이상이다. 

지금 국내는 다양한 네트워크(권역, 지역, 중앙센터)사업을 통해 정부지원을 하고 있지만, 분만수가 인상만으로는 한계가 있으며 국내 병원환경에서 근본적으로 분만실 및 신생아실 인프라 유지 비용을

정부에서 보존하지 않으면 이들의 폐쇄는 늘어날 수밖에 없고 붕괴될 수밖에 없어 보인다.

이렇게 대한민국 인구의 정해진 미래에서 현실을 직시하고 인구감소에 따른 생산성 감소에 대한 패닉적 우려를 극복할 필요가 있어 보인다. 조금 더 차분하게 AI를 활용한 생산성 증대로의 새로운 패러다임 전환을 통해 국민 모두가 더 행복해지는 것이 한 방법이 되지 않을까 생각해 본다.

2025.11.30

(사)임산부약물정보센터 한정열