1. Introduction 데이터는 크게 비정형 데이터(unstructured data)와 구조화된 데이터(structured data)로 나뉜다. 그중 구조화된 데이터는 반복되는 정보를 압축하고 효율적으로 관리하기 위해 사전 정의된 구조로 조직된다. 이러한 구조화는 기계가 데이터를 분석하고 처리하는 과정을 획기적으로 용이하게 만든다. 그중에서도 테이블(Table)은 가장 대표적인 구조화된 데이터 유형으로, 다양한 응용 분야에서 널리 활용되고 있다. 테이블을 직접 활용하는 구체적인 응용 사례로는 테이블 기반 질문 응답(Table-based Question Answering, TQA), 테이블 기반 팩트 검증(Table-based Fact Verification, TFV), 테이블-텍스트 변환(Table..

1. 챗봇에서 에이전트로 오늘날 에이전틱 AI(Agentic AI)에 대한 학계와 산업계의 관심이 뜨겁다. 2022년 말 ChatGPT 출시 이후, 그동안 우리는 거대 언어 모델(LLM) 기반의 챗봇이 인간의 질문에 유창하게 답변하는 능력에 매료되었다. 그러나 오늘날 발전된 흐름을 거쳐 지난 날을 돌아보면, 이 시기의 AI는 읽기 전용 패러다임에 국한된다. 검색 증강 생성(RAG) 기술을 통해 기업의 방대한 지식베이스에 접근할 수 있게 되었지만, AI는 여전히 관찰자이자 조언자의 역할에 머물렀던 것이다. 사용자가 "다음 분기 예산이 얼마지?"라고 요청하면 AI는 훌륭한 답변과 보고서를 작성할 수 있었지만, "예산안을 승인하고 ERP 시스템에 반영해 줘"라는 요청에는 처리할 수 없었다. 이제 우리는 이..

1. Introduction 대규모 언어 모델(LLM)은 뛰어난 능력을 보여주지만, 여전히 치명적인 단점들을 안고 있다. 특히 학습 데이터에 없는 최신 정보를 모른다거나 응용 상황에서 기업 내 정보를 참조할 수 없다. 이러한 지식 cut-off(단절) 문제는 결과적으로 LLM으로 하여금 사실이 아닌 내용을 사실처럼 말하는 환각(Hallucination) 현상을 유도한다. 또한, 모델이 내놓는 답의 추론 과정을 투명하게 알기 어렵다는 단점도 지적된다. 이러한 문제를 해결하기 위해 등장한 것이 바로 RAG(Retrieval-Augmented Generation, 검색 증강 생성)이다. RAG는 LLM이 내부의 파라미터 지식에만 의존하는 것이 아니라, 외부 데이터베이스에서 관련 지식을 찾아와 이를 바탕으로 답..

1. 댈러스의 비웃음, 그리고 10년 후 2000년 9월, 미국 텍사스 댈러스, 당시 비디오 대여 산업의 절대 군주였던 블록버스터(Blockbuster)의 본사 회의실에 묘한 긴장감이 감돌았습니다. 맞은편에는 닷컴 버블 붕괴로 자금난에 시달리던 한 작은 스타트업의 창업자들이 앉아 있었습니다. 그들은 블록버스터 경영진에게 절박한 심정으로 인수를 제안했습니다. 자신들의 기업 가치는 5천만 달러(약 600억 원)라고 제시했죠. 블록버스터의 반응은 냉담했습니다. 아니, 더 나아가 그들은 웃음을 터뜨렸다고 전해집니다.당시 블록버스터는 전 세계 수천 개의 매장에서 수조 원을 벌어들이는 거인이었고, 이들이 보기에 그 스타트업은 적자만 내는 꼬마에 불과했으니까요. 그들은 제안을 일언지하에 거절했고, 회의는 그렇게 끝이..

1. AI 전환(AX) 시대, 연결된 지식의 필요성 지난 10여 년간 기업들은 아날로그 프로세스를 디지털로 옮기는 '디지털 전환(Digital Transformation, DX)'에 매진해왔다. ERP와 CRM을 도입하고 클라우드로 인프라를 이전하며 방대한 양의 데이터를 축적하는 데 성공했다. 그러나 생성형 AI의 진화와 함께 도래한 'AI 전환(AI Transformation, AX)'의 시대는 단순히 데이터의 양이나 디지털화 여부를 넘어선 새로운 차원의 역량을 요구하고 있다. DX가 업무의 효율성과 전산화에 초점을 맞췄다면, AX는 축적된 데이터를 바탕으로 AI가 스스로 추론하고 판단하여 비즈니스 모델 자체를 지능화하는 것을 목표로 한다. AX 시대의 핵심 과제는 '단절된 정보'를 '연결된 지식'으로..

1. 비정형 데이터를 깨워라 오늘날 데이터는 기업을 움직이는 가장 중요한 자원이다. 그러나 우리가 흔히 데이터라고 부르는 것은 빙산의 일각에 불과하다. 기존 데이터베이스(Relational Database)에 잘 정리된 행(Row)과 열(Column) 형태의 정형 데이터는 전체 기업 데이터의 일부에 지나지 않는다. 실제 실무에서 사용하는 데이터의 대부분은 계약서와 보고서 등의 PDF 문서, 스캔된 이미지 혹은 더 나아가 프레젠테이션 슬라이드와 이메일까지, 정형화되지 않은 원래 그 상태로 존재하며, 이를 '비정형 데이터(Unstructured Data)'라고 총칭한다. 비정형 데이터는 평생 글을 읽어 온 인간에게는 읽기 쉽고 이해하기 좋으나, 컴퓨터가 해석하기에는 난해한 것에 불과하다. 기업의 지식 자산 ..