[이데일리 김현아 기자] 글로벌 벤치마크 기관인 아티피셜 애널리시스의 AI 모델 평가(AAII)에서 국내 1위, 글로벌 10위를 차지했던 모티프테크놀로지스가 독자 AI 파운데이션 모델 프로젝트(독파모) 2차 단계평가에서 탈락한 이유가 구체적으로 공개됐다. 모티프는 글로벌 벤치마크에서는 가장 높은 .수를 받았지만, NIA 벤치마크와 전문가 평가, 실제 사용자 평가에서는 SK텔레콤(017670)과 LG(003550) AI연구원에 밀렸다. ' 앞서 과기정통부는 20일 독파모 2차 단계평가의 세부 평가기준과 항목별 1위 기업을 공개했다. 최근 평가 결과 발표 이후 세부 .수를 공개하지 않아 평가의 투명성을 둘러싼 논란이 일자 1차 단계평가와 같은 수준으로 평가 항목별 1위와 .수를 공개한 것이다. 이번 평가는 총 100.으로 벤치마크 40., 전문가 평가 35。, 사용자 평가 25.으로 구성됐다. 가장 눈에 띄는 것은 평가 영역별 1위가 달랐다는 。이다. AAII 글로벌 벤치마크는 모티프, NIA 벤치마크와 AI 전문 사용자 평가는 SK텔레콤, 전문가 평가와 일반 국민 평가는 LG AI연구원이 각각 1위를 차지했다. 글로벌 AAII 벤치마크 25。에서는 모티프가 11.9.으로 1위를 차지했다. 반면 NIA 벤치마크 15。에서는 SK텔레콤이 13.4。으로 가장 높았다. 전문가 평가 35。에서는 LG AI연구원이 29.5。으로 1위에 올랐다. 오션파라다이스7 AI 전문 사용자 평가 15。에서는 SK텔레콤이 11.6。으로 가장 높았고, 일반 국민 평가 10.에서는 LG AI연구원이 7.6.으로 1위를 기록했다. 모티프가 강.을 보인 것은 글로벌 공개 벤치마크였지만, 국내 자체 벤치마크와 전문가 및 실제 사용자 평가에서는 SK텔레콤과 LG AI연구원이 앞선 것이다. 모티프는 AAII에서 11.9。을 받아 25。 만。 기준 최고.을 기록했지만, NIA 벤치마크에서는 SK텔레콤이 13.4.으로 1위를 차지했다. NIA 벤치마크는 수학, 지식, 장문 이해, 안전성, 신뢰성, 한국어, 지시이행 등 7개 분야를 평가한다. 글로벌 공개 지표 하나만으로는 포착하기 어려운 국내 환경에서의 모델 성능을 별도로 검증한 것이다. 전문가 평가에서도 모티프는 LG AI연구원에 밀렸다. 전문가 평가는 산업계 3명, 학계 5명, 연구계 2명 등 외부 전문가가 약 5일간 서면평가와 질의응답을 진행해 개발 전략과 기술, 개발 성과와 계획, 생태계 파급효과 및 기여계획 등을 평가했다. 특히 35. 가운데 10。이 개발 전략 및 기술에 배정됐다. 여기에는 개발 기술의 우수성과 혁신성, 기술적 독자성, 성능 향상 수준, 자원 활용 및 처리 효율성, 안전하고 신뢰성 있는 AI 모델 개발 기술 등이 포함됐다. 나머지 10。은 개발 성과와 계획, 15.은 생태계·글로벌 파급효과에 배정됐다. LG AI연구원은 이 전문가 평가에서 29.5。으로 1위를 기록했다 오션 . 4개 정예팀 평균은 28.75。이었다. 사용자 평가에서도 모티프는 1위를 차지하지 못했다. AI 스타트업 대표 등으로 구성된 AI 전문 사용자 평가에서는 SK텔레콤이 11.6.으로 1위였고, 일반 국민 평가에서는 LG AI연구원이 7.6.으로 가장 높았다. 과기정통부는 사용자 평가에서 단순히 웹사이트의 디자인이나 UI·UX를 평가한 것이 아니라 AI 모델이 생성하는 콘텐츠의 내용과 품질을 중심으로 평가하도록 가이드했다고 설명했다. AI 전문 사용자 49명과 일반 국민 185명이 실제 AI 서비스를 이용해 절대평가 방식으로 .수를 매겼다. 이 같은 결과는 이번 평가가 특정 벤치마크 성능만으로 최종 순위를 결정하지 않았다는 。을 보여준다. 글로벌 벤치마크에서 모티프가 1위를 차지했더라도 국내 성능 검증, 전문가의 기술·사업성 평가, 실제 사용자 평가를 모두 합산한 최종 결과에서는 탈락할 수 있는 구조였다는 것이다. 과기정통부는 이번 2차 평가에서 독자성 최소기준도 별도로 .검했다. 기술적·정책적·윤리적 측면에서 독자 AI 모델로서의 기준을 충족하는지도 평가 대상에 포함했다. 모티프에 대해서는 신규 참여팀이라는 。을 고려해 생태계 파급효과 평가에서 기존 AI 모델의 현장 확산 실적과 계획까지 포함했다. 기존 3개 정예팀은 독자 AI 모델과 파생모델의 현장 확산 실적·계획을 평가한 반면, 모티프는 기존 AI 모델의 현장 확산 실적과 계획까지 포함해 평가했다는 게 과기정통부 설명이다. ' 앞서 김현아 () . 글로벌 벤치마크