“국내 AI 산업 안전·신뢰성 확산…공존 가능한 AI 시대 준비”

과학기술정보통신부 정부세종청사 전경. ⓒ데일리안DB

과학기술정보통신부와 한국정보통신기술협회(TTA)가 11일부터 이틀간 서울 코엑스 B2홀에서 ‘생성형 인공지능(AI) 레드팀 챌린지’를 개최한다.

국내에서 처음으로 개최되는 이번 ‘레드팀 챌린지’는 AI에 관심 있는 국민 누구나 참여해 국내 생성형 AI 모델(LLM)을 대상으로 잠재적 위험·취약점(부정확 정보, 유해 정보 등)을 찾는 행사다.

이번 행사는 최근 생성형 AI에 대한 사회 전반의 관심을 반영해 AI·정보통신기술(IT)분야 종사자뿐만 아니라, 제조·금융·의료분야 종사자, 대학생 등 다양한 분야의 국민 총 1000여 명이 챌린지 참가자로 참여한다.

글로벌 AI 혁신을 선도해 나가는 국내 AI 대표기업 네이버·SKT·업스테이지·포티투마루가 참여한 가운데, 챌린지 참가자들은 세션별(1~4) 참여기업 LLM 모델을 차례로 배정받아 총 7개 챌린지 주제를 대상으로 잠재적 취약점을 찾기 위한 프롬프트 공격을 진행했다.

이 밖에도 ‘레드팀 챌린지’의 공정하고 전문적인 평가를 위해 챌린지 평가단도 구성·운영한다. 레드팀 수행 경험 등이 있는 데이터 분야 전문가, 의료‧금융‧법률 전문가 120여 명으로 구성된 평가단은 사전에 마련된 평가 세부기준에 기초하여 챌린지 참가자의 프롬프트 공격을 객관적으로 평가한다.

행사 2일 차인 12일에는 ‘글로벌 AI 안전 콘퍼런스’에서 하정우 네이버 퓨처 AI 센터장, 에릭 데이비스 SKT 부사장, 김경훈 카카오 AI Safety 리더, 오혜연 카이스트 교수 등 국내·외를 대표하는 AI 업계·학계 전문가가 참여해 최근 생성형 AI 시장의 기술동향과 생성형 AI 안전·신뢰성 확보 방안에 대한 발표와 토론을 진행한다.

과기정통부는 이번 ‘레드팀 챌린지’ 결과를 분석하여 생성형 AI 분야의 공통·포괄적인 위험을 도출하고, 업계에서 활용할 수 있는 ‘생성형 AI 레드팀 가이드라인’을 마련하는 등 표준화된 생성형 AI 위험 발굴·대응체계를 구축해 나갈 계획이다.

강도현 과기정통부 2차관은 “AI 발전에 제약이 되는 문제들은 조속히 해결해 나가고, 대통령께서 밝히신 ‘AI-반도체 이니셔티브’를 차질 없이 추진해 글로벌 AI 혁신을 주도해 나갈 것”이라며 “특히, 올해 5월에 개최되는 AI 서울 정상회의를 통해 AI 혁신과 안전, 포용 논의를 주도해 글로벌 AI 리더십을 확보하고, AI G3 강국 도약의 발판으로 삼겠다”고 강조했다.