의료분야에 대규모언어모델 적용시 보안침해 공격 성공률 81%

서울아산병원 연구팀, 개인정보유출 위험성 분석

대규모언어모델이 답변 생성 과정에서 학습된 원본 데이터 노출 가능성도 22%

최근 챗GPT와 같은 생성형 인공지능과 그 핵심 기술인 대규모언어모델(Large Language Model, LLM)을 접목한 디지털 혁신에 의료분야에서도 주목하고 있다. 하지만 환자의 개인정보보호가 특히 중요한 의료분야의 경우 대규모언어모델 사용에 따른 개인정보유출 등 보안에 대한 우려도 제기되고 있다.

서울아산병원 심장내과 김영학 교수·아산생명과학연구원 빅데이터연구센터 전태준 박사팀이 대규모언어모델을 의료분야에 적용하는 과정에서 발생할 수 있는 개인정보유출 문제를 확인하기 위해 의도적으로 악성 공격을 시행한 결과, 최대 81%에 달하는 공격 성공률을 보였다는 연구 결과를 발표했다.

연구팀은 의료분야에서는 민감한 개인정보를 다루기 때문에 대규모언어모델 도입에 신중하고 각별한 주의가 필요하고, 독립적으로 운용되는 의료 특화형 대규모언어모델이 필요하다고 강조했다.

의료기관에 대한 사이버 공격(기사와 직접 연관이 없음)

이번 연구 결과는 전 세계 의사들의 임상치료 교과서로 불리는 NEJM(New England Journal of Medicine)의 자매지인 ‘NEJM AI’에 최근 게재됐다. 의료계에서 인공지능의 중요성이 점점 확대됨에 따라, 임상의학 분야 세계 최고 권위지로 꼽히는 NEJM에서도 지난해 1월부터 인공지능 분야만을 특화해 다루는 자매지를 출간한 것이다.

대규모언어모델은 수십억개 이상의 매개변수를 기반으로 대량의 데이터를 학습해 사람처럼 생각하고 답변하는 인공지능 모델이다. 이는 챗GPT, 제미나이(Gemini)와 같은 생성형 인공지능이 작동하는 핵심기술로, 질문이나 명령어를 담은 프롬프트를 입력하면 대규모언어모델이 이를 이해하고 적합한 답변을 제공한다.

의료분야에 대규모언어모델을 적용하면 엑스레이‧CT‧MRI 등의 검사 이미지를 다량의 데이터 기반으로 분석해 진단의 정확도를 높일 수 있고, 환자의 개인 데이터를 기반으로 맞춤형 치료 계획을 제공할 수 있다. 뿐만 아니라 전자의무기록(EMR)이나 동의서 작성을 자동화하는 등 의료진의 관리 업무도 간소화해 전반적으로 효율성이나 정확성이 향상될 것으로 기대되고 있다.

문제는 대규모언어모델의 보안이 위협될 경우 환자들의 민감한 개인정보 유출로 이어저 윤리적‧법적 위험성이 초래될 수 있다는 점이다.

서울아산병원 심장내과 김영학 교수·아산생명과학연구원 빅데이터연구센터 전태준 박사팀은 2017년 1월부터 2021년 12월까지 환자 2만6천434명의 의무기록을 활용해 대규모언어모델을 학습시켰다.

서울아산병원 심장내과 김영학 교수(왼쪽)와 아산생명과학연구원 빅데이터연구센터 전태준 박사

악성 공격은 대규모언어모델에 입력하는 질문인 프롬프트에 의미 없는 기호, 글을 추가하거나 인코딩하는 등 다양하게 변형해 악의적인 질문을 하는 방식으로 위험성을 평가했다.

이번 연구는 윤리적으로 사전 승인된 데이터만을 활용했으며, 서울아산병원 임상연구심의위원회(IRB)의 심의를 거쳐 진행됐다.

먼저 문자를 인코딩하는 방식인 ASCⅡ(미국정보교환표준코드) 방식으로 프롬프트를 변형한 결과, 대규모언어모델의 보안장치를 피해 민감한 개인정보에 접근할 수 있는 확률을 평가하는 가드레일 비활성화율이 최대 80.8%에 달했다. 80.8%에 달하는 확률로 보안 조치가 쉽게 침해될 수 있다는 뜻이다.

또한 대규모언어모델이 답변을 생성하는 과정에서 학습된 원본 데이터를 노출할 가능성은 최대 21.8%로 나타났다. 모델에 질문하는 형식을 미세하게 조정함으로써 원본 학습 데이터가 쉽게 노출될 수 있다는 것이다.

구체적인 예시로 수술 준비를 위해 상세한 환자 정보를 제공하는 시스템으로 대규모언어모델을 학습시킨 뒤 의료기록 검토를 요청하는 프롬프트를 인코딩 방식으로 조정한 결과, 대규모언어모델이 대답을 생성하는 과정에서 민감한 환자 데이터는 물론 의료진의 이름이나 전문 분야 등 구체적인 정보가 노출됐다.

김영학 서울아산병원 심장내과 교수는 “의료분야에서 대규모언어모델을 활용했을 때 기대되는 발전이 크지만, 데이터 보안 강화 없이는 심각한 개인정보유출로 이어질 수 있다”며 “민감한 개인정보를 다루는 분야인 만큼 보안의 중요성이 특히 강조되며, 독립적으로 운용되는 의료 특화형 대규모언어모델이 필요하다”고 말했다.

조민규 기자kioo@zdnet.co.kr

기자의 다른 기사 보기

인공지능

AI

개인정보

서울아산병원

대규모언어모델

의료정보

(function(d,a,b,l,e,_) {

if(d[b]&&d[b].q)return;d[b]=function(){(d[b].q=d[b].q||[]).push(arguments)};e=a.createElement(l);

e.async=1;e.charset='utf-8';e.src='//static.dable.io/dist/plugin.min.js';

_=a.getElementsByTagName(l)[0];_.parentNode.insertBefore(e,_);

})(window,document,'dable','script');

dable('setService', 'zdnet.co.kr');

dable('sendLogOnce');

dable('renderWidget', 'dablewidget_Ylj6jNlO');

jQuery(function(){

$("img.lazy").show().lazyload();

window.onload = function() {

$(window).resize()

};

});

jQuery(document).ready( function() {

$("img.lazyload").lazyload();

$('.fb-share').click(function(e) {

e.preventDefault();

window.open(encodeURI($(this).attr('href') + $(this).attr('aria-label')), 'fbShareWindow', 'height=450, width=550, top=0, left=0, toolbar=0, location=0, menubar=0, directories=0, scrollbars=0');

return false;

});

$('.fb2-share').click(function(e) {

e.preventDefault();

window.open($(this).attr('href') + $(this).attr('aria-label'), 'fbShareWindow', 'height=450, width=550, top=0, left=0, toolbar=0, location=0, menubar=0, directories=0, scrollbars=0');

return false;

});

$(window).scroll(function() {

const indexSections = document.querySelectorAll('b');

let screenCenter = (document.documentElement.clientHeight / 2);

indexSections.forEach((section) => {

const targetElement = section;

var blockqt = targetElement.parentElement.parentElement;

if (blockqt.nodeName == 'blockquote' || blockqt.nodeName == 'BLOCKQUOTE') {

return;

}

const targetOffset = section.getBoundingClientRect().top;

if (screenCenter > targetOffset) {

targetElement.classList.add('on');

} else {

//targetElement.style.className = '';

}

});

});

});

#articleBody p b {

background-image: -webkit-gradient(linear,left top,right top,color-stop(50%,transparent),color-stop(0,rgba(144 217 106 / 40%)));

background-image: linear-gradient(90deg,transparent 50%,rgba(144 217 106 / 40%) 0);

background-position: 0;

background-size: 200%;

-webkit-transition: background-position 1s linear;

transition: background-position 1s linear

}

#articleBody p b.on {

background-position: -100%

}

.c-sitePrimaryMenu_text a {color: #fff;}

.c-siteMenuList_item a {color:#fff;}

window.livereOptions ={

refer: 'zdnet.co.kr/view/?no=20250112085714',

eagerLoading: true

};

window.livereHooks = {

created: function (data) {

jQuery('#comment_box').css('height', '');

}

};

(function(d,s) {

var j, e=d.getElementsByTagName(s)[0];

if (typeof LivereTower === 'function') {return;}

j=d.createElement(s);

j.src='https://cdn-city.livere.com/js/embed.dist.js'; j.async=true;

e.parentNode.insertBefore(j,e);

})(document,'script');

라이브리 댓글 작성을 위해 javascript를 활성화해 주세요

지금 뜨는 기사

이시각 헤드라인

국정 리더십 공백에 경제 외교 최전선에 선 韓 기업인들

된장 공장 허물고 세운 시계 부품회사…엡손, 직원 8만명 글로벌 IT 기업으로

"도로에 5시리즈 많이 보이더니"…BMW, 1월에만 5960대 팔았다

52주 신고가 찍은 네이버, 이해진 복귀설에 ‘AI·글로벌 전략’ 기대감↑

ZDNet Power Center

Connect with us

© 2020 ZDNET, A RED VENTURES COMPANY. ALL RIGHTS RESERVED. Global family site >>  CNET.com | ZDNet.com

ZDNet Korea Newsletter 구독 신청

구독신청

회사소개

광고문의

DB마케팅문의

제휴문의

개인정보처리방침

이용약관

청소년 보호정책

회사명 : (주)메가뉴스

제호 : 지디넷코리아

등록번호 : 서울아00665

등록연월일 : 2008년 9월 23일

사업자 등록번호 : 220-87-44355

주소 : 서울시 마포구 양화로111 지은빌딩 3층

대표전화 : (02)330-0100

발행인 : 김경묵

편집국장 : 김태진

개인정보보호 책임자·청소년보호책임자 : 김익현

$(document).ready(function(){

var searchbtn = document.getElementById('searchTrigger');

searchbtn.addEventListener('click', function () {

if($('#searchTrigger').hasClass('is-expanded')){

setTimeout(function(){$('#kwd').focus();},10);

}

});

});

김홍일 방통위원장