[데일리임팩트 황재희 기자]"SK텔레콤의 텔코LLM(거대언어모델) 전략은 멀티LLM "

[딜사이트경제잭팟 슬롯머신 무료게임 황재희 기자] 에릭 데이비스 SK텔레콤 인공지능(AI)기술협력 담당이 30일 오전 서울 SKT타워 수펙스홀에서 열린 텔코LLM 설명회에서 이같이 밝혔다.

데이비스 담당은 이날 “범용 LLM만으로 통신사의 다양한 서비스와 문제를 해결하는 것은 쉽지 않다”라며 “통신 데이터와 도메인 노하우에 맞춰 조정하는 파인튜닝(미세조정)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하겠다”라고 설명했다.

SKT는 멀티LLM 전략을 AI컨택센터(AICC)와 유통망 뿐 아니라 네트워크 운용, 사내 업무 등 다양한 활용처로 확산, 각 업무에 최적화된 LLM을 가져다 쓸 수 있게 한다는 계획이다.

이를 위해 자체 개발한 LLM인 에이닷엑스(A.X) 외에도 GPT-4, 클로드 등 글로벌 LLM을 활용해 한국어 통신 데이터를 학습한 텔코LLM을 개발해왔다. 빠르면 오는 6월초 개발을 완료하고 연내에 고객센터 현장에도 적용한다는 목표다.

특히 범용 LLM을 통신업무에 특화된 텔코LLM으로 파인튜닝(미세조정)하는데 집중했다. 이 과정에서 범용 LLM은 방대한 양의 통신 상품, 멤버십 혜택 등 다양한 서비스와 고객 상담 패턴 등 한국어로 된 정형·비정형 데이터를 선별해 학습했다.

이날 설명회에는 정민영 SKT AI플랫폼 담당도 참석해 텔코LLM 개발 과정과 향후 활용 방안에 대해 소개했다.

정 담당은 "인공지능(AI) 사업에선 성능과 비용 효율성을 고려해 최적의 LLM을 선택하는 게 요즘 대세"라며 "여러 사례에서 요구하는 LLM 관련 기능이나 성능, 비용이 다르기 때문에 자체 개발한 AI 뿐 아니라 챗GPT 등 글로벌 모델을 혼합해 사용했다"라고 말했다.

다만 고성능의 LLM 모델을 두루 활용했어도 아직도 기술적으로 보완이 필요한 단계다. 이날 정 담당은 "내부 평가 기준에서 몇몇 테스크는 기준을 넘었다"라면서도 " AI모델 같은 경우 '완성'이란 말을 사용하기는 어렵다"고 조심스럽게 밝혔다.

가장 큰 이유는 고객들의 요청이나 사업 상황 등이 바뀌면서 LLM에 관련 학습 데이터가 추가되어야 하기 때문이다. 정 담당은 "AI 모델만 전적으로 믿기 어려워 휴먼 피드백 기반의 강화 학습(RLHF), 검색증강생성(RAG)등 시스템을 보완했다"고 덧붙였다.

SKT는 통신에 특화된 텔코LLM이 범용LLM 과 비교해 개인화된 요구에 대응하는 등 활용성이 높을 것으로 보고 있다. 범용 LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 학습하지 않은 까닭에 요금제 추천 같은 요구에 대응하기 어렵다.

반면 텔코LLM은 5G 요금제, 공시지원금 등 국내 통신정책부터 관련 전문용어부터, T멤버십과 요금제, 상품 등 다양한 SKT의 서비스와 사내 AI 윤리 규범까지도 학습해 보다 전문적이고 만족할만한 수준의 답변이 가능하다는 것이다.

특히 고객센터에서 업무 효율이 증가할 것으로 기대된다. 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주는 등 상담 후 처리까지 소요되는 시간을 크게 단축시킬 것으로 보인다.

통신사의 네트워크 인프라 운용에도 활용할 수 있다. 인프라 운용자가 네트워크 모니터링 중 문제가 발생하면 실시간으로 텔코LLM에 질문해 해결 방안을 답변으로 받아볼 수 있도록 하는 식이다.

이날 SKT는 통신사들이 생성형 AI 애플리케이션(앱)을 효율적으로 구축, 개발할 수 있는 ‘인텔리전스 플랫폼’도 공개했다. 멀티 LLM부터 멀티모달, 오케스트레이션, RAG 등까지 아우르는 기업용 AI 개발·운용 패키지다. 현재 에이닷 등 자사 서비스 등에 적용 중인데 마케팅, 유통망, 사내 업무 영역까지 지속 확대할 계획이다.

국내 시장에 특화된 텔코LLM 개발이 마무리에 접어들면서 글로벌 텔코 AI얼라이언스(GTAA)와 협력하는 사업도 속도를 낼 것으로 보인다.

이날 정 담당은 "글로벌 텔코는 통신 표준, 용어 등 공유하는 게 많아 확산이 쉽게 될 것"이라며 "이번 텔코LLM개발을 통해 비용과 시간, 인력을 줄일 수 있다는 것을 확인한 만큼 기술과 비용 면에서 효율적인 사업 전개가 가능할 것으로 보인다"고 말했다.