이전 사이트 이동

Medical and bio domain–specialized multimodal cross‑reasoning artificial intelligence model development

의료 및 바이오 도메인 특화 멀티 모달 교차 추론 인공지능 모델 개발

This research is designed to overcome the limitations of existing Multi-modal Large Language Models (MLLMs), which suffer from a language-centric bias by processing visual information passively, and to achieve the advanced multi-modal reasoning capabilities required in complex clinical settings.Specifically, it seeks a paradigm shift in training methodologies by introducing Reinforcement Learning (RL) to the multi-modal domain, utilizing the ultra-high-performance 8gpu (A100) distributed learning infrastructure of K-BDS. To achieve this, the project first establishes a Reinforcement Learning with Verifiable Rewards (RLVR) pipeline using general multi-modal data (DeepVision-103K) to maximize foundational visual recognition and logical mathematical/scientific reasoning skills. Subsequently, it enhances open-ended reasoning capabilities tailored to the medical domain by applying a multi-layered complex reward system based on free-form clinical Q&A data (medix-rl-data) and an LLM-as-a-judge.Ultimately, the model's performance will be quantitatively validated through the world's most prestigious medical multi-modal benchmarks. Following the project's conclusion, all research outputs, including training pipeline codes, data, and model weights, will be deposited into the K-BDS marketplace. This initiative aims to reduce research costs for the domestic healthcare AI industry and contribute to the open science ecosystem.

해당 연구는 기존 멀티 모달 대형 언어 모델(MLLMs)이 시각 정보를 수동적으로만 처리하는 언어 중심적 편향의 한계를 극복하고, 복잡한 임상 현장에서 요구하는 고도의 멀티 모달 추론 역량을 갖추기 위해 기획되었습니다.구체적으로는 K-BDS의 초고성능 8gpu(A100) 분산 학습 인프라를 활용하여 멀티 모달리티 영역에 강화학습(RL)을 도입하는 훈련 방법론적 패러다임 전환을 모색합니다. 이를 위해 먼저 범용 멀티모달 데이터(DeepVision-103K)를 활용해 검증 가능한 보상 기반 강화학습(RLVR) 파이프라인을 확립하여 기초적인 시각 인지 및 논리적 수학/과학 추론 능력을 극대화합니다. 이후, 자유 형식의 임상 질의응답 데이터(medix-rl-data)와 LLM 심판(LLM-as-a-judge)을 활용한 다층적 복합 보상 체계를 적용해 의료 도메인에 특화된 개방형 추론(Open-ended reasoning) 능력을 고도화합니다.최종적으로 글로벌 최고 권위의 의료 멀티 모달 벤치마크를 통해 훈련된 모델의 성능을 정량적으로 검증할 예정입니다. 또한, 과제 종료 후 학습 파이프라인 코드, 데이터, 모델 가중치 등 전체 연구 산출물을 K-BDS 마켓플레이스에 전면 기탁하여 국내 헬스케어 AI 산업의 연구 비용을 절감하고 오픈 사이언스 생태계에 기여할 계획입니다.