|
은행에 근무하는 이대리는 인터넷 전자신문 사이트에 접속했다. 화면에 나오는 광고는 그에겐 요긴한 정보가 된다. 경쟁사들이 내놓은 새로운 금융상품에 대한 광고의 내용 하나하나가 모두 이대리에겐 귀중한 정보이다. 그러나 이대리의 아내가 전자신문을 볼 때의 광고는 이대리의 그것과는 다르다. 요리학원 정보나 최신 패션에 대한 광고가 실린다. 전자신문을 보는 사람에 따라 광고가 달라지는 것이다.
이것은 데이터마이닝(정보채굴업)이 있어 가능하다. 데이터마이닝은 광고나영업행태를 근본적으로 변화시킨다. 하나의 기업이 수많은 고객을 상대로 물량위주 광고를 하던 것에서 기업과고객을 1 대 1의 관계로 바꿔 놓는다. 기업입장에선 모든 고객에게 똑같은 우편을 보내야만 하는 수고를 덜어서 좋다.
직면한 현상을 기술하기 위해서는 모델이 필요하다. 전통적으로 모델의 구성은 현상을 관찰하여 가설을 설정하고, 예측치와 실제결과를 비교함으로써 가설을 검증하였다. 모델이 부적절한 경우, 즉 예측치와 관찰치가 다른 경우 모델은 수정되거나 재구축되었다. 이러한 모델을 구축하기 위해서는 모델링하고자 하는 현상을 관찰할 필요가 있다.
그러나 기업은 이미 자신들의 데이터베이스에 이것을 가지고 있으며, 이러한 데이터는 환경을 모델링하는 데 사용될 수 있다. 비록 데이터베이스 내에 모든 환경이 다 포함되어 있지는 않지만, 데이터베이스 내에는 많은 객체들이 존재하며 객체들 사이에는 많은 상호관계가 존재한다.
모델을 구성하기 위해 다양한 기법들이 사용될 수 있다. 전통적으로 가장 대표적인 기법이 바로 통계분석이다. 그러나 이러한 기법은 모델에 관한 기본적인 아이디어를 이미 가지고 있다는 전제에서 이루어진다, 즉 어떠한 변수가 가장 중요하며, 이러한 변수들 사이의 관계를 설명하기 위해서는 어떠한 함수가 사용되어야 하는지를 알고 있을 때 최상의 결과를 이끌어낼 수 있다.
반면 데이터 마이닝은 지금까지 질문되지 않았던 질문에 대한 답을 제공해준다. 우선 데이터 마이닝이 무엇인지 이해하기 위해 대표적인 정의들을 살펴보면 다음과 같다.
- 대량의 실제 데이터로부터 묵시적이고 전에는 알려지지 않았지만 잠재적으로 유용한 정보를 추출하는 것(Frawley et al, 1994)
- 대규모 데이터베이스 내에 존재하는, 그러나 대량의 데이터 사이에 숨겨져 있는 상호관련성(relationship)과 글로벌 패턴(parrern)에 대한 탐색(Holshemier & Siebes, 1994)
- 대량의 데이터로부터 패턴 인식기술과 통계기법, 수학적 기법을 이용하여 의미있는 새로운 상관관계(correla-tkons), 패턴 그리고 추세(trends)를 발견하는 과정(Gartner Group)
데이터 마이닝이란 대량의 데이터 사이에 묻혀 있는 패턴을 발견하고 규칙을 추론함으로써, 의사결정을 지원하고 그 효과를 예측하기 위한 기법이다. 예를 들어 마이닝의 결과로 어떤 고객은 다른 고객에 비해 특정 상품을 더 잘 구매하는 경향이 있다는 사실을 알아낼 수 있다. 기업은 이 두 유형의 고객에 대한 차이를 알게 됨으로써 불특정 대중이 아닌 목표 고객에 집중된 마케팅을 수행할 수 있을 것이다. 마이닝은 사용자의 질의나 보고서가 효과적으로 밝혀낼 수 없었던 데이터 웨어하우스 내의 정보를 밝혀낸다. 데이터 마이닝은 데이터베이스 안으로 깊숙히 침투하여, 데이터 내의 패턴을 발견하고 규칙을 추론한다. 이러한 패턴과 규칙은 의사결정을 지원하고 기업환경의 변화를 예측하는 데 사용될 수 있다.
데이터 마이닝을 통해 얻을 수 있는 정보의 형태는 매우 다양하며, 이에 따라 다양한 기법이 존재한다. 가장 대표적인 데이터 마이닝 기법으로는 사건들의 연관성(associations) 탐사, 연속성(sequence)탐사, 분류(classificarions)규칙 탐사와 군집 구분(clustering)을 들 수 있다.
연관성 탐사
연관성은 동시에 발생하는 사건 그룹 내에서 사건들 사이에 존재하는 친화성 혹은 패턴을 말한다. 연관성 탐사의 대표적인 예는 IBM의 '시장바구니 분석(Market Basket Analysis)'을 들 수 있는데, 이것은 슈퍼마켓에서 소비자들이 구입한 물품들의 목록을 분석함으로써 콘칩이 구매되는 경우의 50%는 소비자들이 콜라도 함께 구매한다는 것과 같은 패턴을 발견하는 것이다.
연속성 탐사
앞서 설명한 연관성 탐사의 변형이라고 할 수 있으며, 사건들이 시간적인 관계를 가지는 것을 말한다. 예를 들어 배낭을 구입한 고객은 다음에 텐트를 구입하는 경향이 있는 경우, 배낭의 구입과 텐트의 구입에는 연속성이 존재한다.
분류 규칙 탐사
분류 규칙 탐사는 어떤 항목이 속하는 그룹의 특성을 가장 잘 나타낼 수 있는 특징들을 발견하는 것으로, 가장 활발히 연구가 이루어지고 있는 분야이다. 많은 기업들이 안고 있는 공통적인 문제 중의 하나는 단골고객의 이탈이다. 이탈하는 고객들과 그렇지 않은 고객들의 차이를 발견함으로써, 기업은 어떠한 고객이 앞으로 이탈할 가능성이 있는지 예측할 수 있으며, 고객유지 및 유치 전략을 보다 효과적으로 개발할 수 있을 것이다.
군집 구분
군집 구분은 분류 규칙 탐사와 관련되어 있으나, 어떠한 그룹도 사전에 정의되어 있지 않다는 점에서 분류 규칙의 탐사와 다르다. 군집 구분은 데이터 내에 존재하는 상이한 그룹을 구분해 내는 기법이다.
어떠한 기법이나 도구도 모든 문제를 해결하는 데 적절하지는 않다. 각 기법의 한계를 이해하고 각각의 기법이 데이터를 어떻게 사용하는지를 이해하는 것은 마이닝된 결과를 이해하고 해석하는 데 필수적이다.
데이터 마이닝을 성공적으로 수행하려면 비즈니스 문제와 기술에 대해 깊이 있게 이해해야 한다(Edelstein, 1996). 데이터베이스에 단순히 데이터 마이닝 기술을 적용하고 유용한 결과가 나타나기를 기대하는 것은, 광부가 무엇을 캐내야 하는지도 모른 채 무조건 땅을 파는 것과 같다. 문제가 무엇인지에 대한 정확한 이해 없이는 데이터 마이닝을 제대로 수행할 수 없다. 그래서 데이터 마이닝에서 인적요소의 역할은 매우 중요하다. 사람에 의한 판단은 데이터 마이닝 과정에서 필수적인 부분이며, 마이닝된 결과를 판단하는 것은 전적으로 인적요소에 달려 있다. 즉 사람만이 데이터 마이닝의 결과로 나타난 어떠한 패턴, 규칙 혹은 함수관계가 타당하고 기업에 유용한 것인지를 판단할 수 있다.
또한 데이터 마이닝에서 가장 중요한 요소 중의 하나는 마이닝에 사용될 데이터의 질이다. 광부가 금을 캐내고자 한다면 금이 묻혀 있을 만한 적절한 장소에서 채굴해야만 할 것이다. 데이터 웨어하우스 구축으로 보다 질 높은 데이터를 바탕으로 마이닝이 수행될 때, 데이터 마이닝의 잠재적인 가치는 증대될 것이다.
자료원 : 데이터 웨어하우징과 OLAP, 동아일보
|
데이터 마이닝(Data Mining)
