'알티베이스 알아보기'에 해당되는 글 29건

  1. 2007.08.13 [ALTIBASE 하이브리드 MM DBMS Case Study_03]LG데이콤 트래픽 분석 시스템 1 by 알 수 없는 사용자
  2. 2007.08.06 [ALTIBASE MMDBMS Case Study_03]동양종합금융증권 차세대 HTS 분석 시스템 1 by 알 수 없는 사용자
안녕하세요.. 삐롱사리입니다.
무슨 날씨가 이럴까요?
장마 끝났는데.. 비는 계속 오고..
어떤 분은 그러더군요.. 울나라 날씨가 아열대성 기후로 바뀌어 건기와 우기가 생기는 거 아니냐고.. 일리가 있는 말씀이신 것 같드라고요.. 잘 모르긴 하지만요..

오늘은 LG데이콤 트래픽 분석 시스템에 적용된 하이브리드 MM DBMS 사례에 대해 소개드릴까 합니다.

해당 내용은 공식 웹사이트에서도 확인 가능합니다.
즐거운 한 주 보내세요.. 


[ALTIBASE 하이브리드 MM DBMS Case Study_03]LG데이콤 트래픽분석시스템

실시간 트래픽 분석, 알티베이스 4로 '거뜬'

인터넷 중심의 초우량 통신회사를 지향하는 데이콤에게 있어 기업 회선 가입 고객이 가지는 의미는 특히 크다.
지난 2003년부터 데이콤은 기업 고객의 만족도 향상을 위해 트래픽 분석 서비스를 제공하고 있다. 고객이 사용하는 네트워크 구간의 트래픽 사용량과 현황을 분석해 리포팅해 주는 것. 최근 데이콤은 보다 빠르고 안정적인 트래픽 분석 서비스 제공을 위해 알티베이스의 하이브리드 MM DBMS를 도입했다.

데이콤 트래픽 분석 시스템
25년 전, 정보통신의 불모지나 다름없던 시기에 데이콤(DACOM)은 국내에 처음으로 정보통신망 서비스와 천리안 통신 서비스를 소개함으로써 통신망 서비스 시장을 개척했다. 또한 데이콤은 독점 시장이었던 통신 시장에 고객 만족이나 신규 서비스 개발에 대한 경쟁제체를 수립함으로써 궁극적으로 국내 통신 시장의 발전을 가속화하는 견인차 역할을 톡톡히 수행해왔다.
최근 데이콤은 창사 이래 최대의 매출을 달성, 10분기 연속 평균 10%의 매출 성장을 올리고 있는 것으로 관련 업계의 주목을 받고 있다. 초고속 인터넷, eBiz, IDC 등 주력 사업이 모두 성장세에 있기 때문으로, 이 중 특히 인터넷 관련 사업의 비중이 점차 확산되고 있다.
지난해 전체 매출의 50% 대에 이르던 인터넷 사업이 올 들어 60% 대로 확대돼, ‘인터넷 중심의 초우량 통신회사'라는 사업 모토를 실현해가고 있다는 평가를 받고 있는데 이 기반에는 데이콤의 인터넷 회선 서비스를 사용하는 기업 고객들이 뒷받침이 되고 있다.

기업 데이콤
문제 대용량 데이터 처리시 기존 디스크 기반 DBMS의 잦은 디스크 I/O 병목 현상 발생
회선 수 증가에 따른 성능 개선 요구
고객 요청시 처리 지연에 따른 불만 접수 확대
해결 하이브리드 MM DBMS인 알티베이스4 도입
사용 빈도에 따라 메모리 테이블과 디스크 테이블에 각각 보고서 출력용 데이터와 통계 데이터 저장
DB 서버 별도로 분리, 데이터 통합

도입시 주요 고려 사항
구분
분류
상세내용
비즈니스 측면 고객만족도 고객이 조회하는 다양한 트래픽 분석 결과에 대한 웹사이트에서의 빠른 보고서 출력
가격경쟁력 성능 대비 최고의 가격 경쟁력을 갖춘 제품
정보기술 측면 시스템의 안정성 장시간, 량량의 데이터를 처리하더라도 성능 상의 문제가 발생하지 않는 안정성 보장
트랜잭션 처리 속도 대용량의 데이터를 실시간으로 처리해 줄 수 있는 빠른 트랜잭션 처리 속도 보장

트래픽 분석, 기업 고객 만족도 향상의 '첨병'
이처럼 인터넷 사업 비중이 커지면서, 데이콤에게 기업 회선 고객의 서비스 만족도 확보는 매우 중요한 경쟁력이 되었다. 이를 위해 데이콤은 지난 2003년부터 기업 회선 고객에 대한 부가 서비스 개발에 힘을 싣고 있다. 그 대표적인 예가 트래픽 분석 서비스다.
트래픽 분석 서비스는 기업 고객이 사용하는 WAN(Wide Area Network) 구간과 LAN(Local Area Network) 구간의 네트워크 트래픽을 분석해, 상세 데이터를 제공함으로써 고객 스스로 네트워크 사용량과 네트워크 사용 현황 등을 파악할 수 있게 해주는 서비스다. 이 서비스는 기업 고객이 별도로 네트워크 트래픽 분석 시스템을 갖출 필요 없이, 회선 가입만으로 트래픽 분석 보고서를 받을 수 있는 만큼 고객 만족도 향상 및 신규 회선 가입자 유치의 중요한 역할을 한다.
그러나 초기에 구축된 트래픽 분석 시스템은 데이콤의 요구에 부응하지 못했다. 데이콤은 지난 2003년 회선 감시 서버와 트래픽 수집 서버, 트래픽 분석 서버로 구성된 트래픽 분석 시스템을 구축했다. 이 시스템은 실시간으로 수집되는 트래픽 추이를 수신 받아, 통계 과정을 거쳐 다양한 분석 데이터로 가공, 저장했다가 고객 요청시 필요한 보고서 형태로 데이터를 전달하는 역할을 한다. 그러다보니 다량의 실시간 데이터에 대한 빠르고 안정적인 처리가 핵심인데, 이 시스템에 구축된 DBMS인 IBM 인포믹스와 MySQL은 이를 원활하게 처리하지 못했다.
디스크 기반 DBMS의 특성상 실시간으로 들어오는 트래픽 수집 데이터의 양이 많아지면, 디스크 I/O에 병목 현상이 발생해 시스템 성능이 저하되거나 다운되는 현상이 생겼고, 이로 인해 처리 시간 지연에 대한 고객의 불만 사항 접수가 증가했다.
이를 해결하기 위해 데이콤은 DB 시스템을 추가로 도입해, 트랜잭션 처리를 분산하는 등 개선 노력을 취했지만 오히려 운영 및 비용상의 효율성만 급감될 뿐 성능 면에서는 큰 효과를 보지 못했다. 결국 데이콤은 트래픽 분석 시스템의 업무 특성에 맞는, 다량의 데이터를 실시간으로 빠르게 처리할 수 있는 새로운 DBMS를 구축키로 결정했다. 다양한 DBMS에 대한 비교, 검토가 시행됐는데, 이때 데이콤이 중요하게 고려한 요소들은 크게 4가지였다. 다량의 데이터 트랜잭션 속도, 고객 조회시의 보고서 출력 시간, 대용량 데이터의 저장 능력 그리고 장시간 운영이 보장되는 안정성 등이 그것이다.
테스트 결과에 따라 선정된 제품은 다름 아닌 알티베이스의 하이브리드 MM DBMS '알티베이스 4‘였다. 성능의 우수성뿐만 아니라 알티베이스 4는 용도에 맞게 메모리와 디스크에 각각 데이터를 저장할 수 있어, 기존의 알티베이스 MM DBMS와는 또 다른 장점을 갖추고 있었다.
대용량, 실시간 트랜잭션 '해답은 알티베이스 4'
알티베이스 4를 도입하면서 데이콤은 기존의 트래픽 분석 시스템 구조도 변경했다. 회선감시 서버와 트래픽 수집 서버, 트래픽 분석 서버에 각각 구축되어 있던 DBMS 대신, 썬 파이어 C490 기반의 별도 서버를 DBMS 시스템으로 구성했다. 여기에 알티베이스 4를 설치, 각종 데이터를 처리하는 통합 DBMS로 활용하도록 한 것이다.
구축 과정에서 데이콤은 우선 기존에 인포믹스 DBMS와 연결되던 서버 프로그램들을 먼저 알티베이스 4와 연결하고, 이후 고객이 조회시 접속하는 웹페이지와 알티베이스 4를 연동, 고객 요청시 직접 DBMS에서 보고서를 출력할 수 있도록 했다.



특히 데이콤은 알티베이스 4의 하이브리드 MM DBMS라는 특성을 활용, 데이터를 메모리와 디스크에 나눔으로써 데이터 처리 프로세스 효율성을 높였다. 고객이 빠르게 요구하는 보고서 출력용 데이터는 메모리 DB에, 용량은 크지만 사용 빈도수는 낮은 각종 통계 데이터들은 디스크 DBMS에 저장하고 있다.
알티베이스 4의 메모리 DB에 저장되는 데이터는 기업 고객의 WAN 구간, LAN 구간의 트래픽 양과 함께 Port 별, Protocol 별 트래픽 분석 데이터로, 고객의 요구사항에 맞게 적합한 데이터를 취합, 보고서로 작성해 출력하는 역할을 하게 된다. 데이콤은 트래픽 수집 서버와 분석 서버로부터 매 5분 간격으로 데이터를 수집하도록 설정했으며, 이때 수집되는 데이터 량은 약 5만 건 정도다. 메모리 DB에 저장된 데이터들은 고객이 일간, 주간, 월간, 년간 단위의 통계 자료로 검색할 수 있도록, 각각 일주일, 3주일, 2개월, 1년 간격으로 메모리 DB에서 디스크 DB로 이관된다.

처리속도 5배 개선, 이중화 확장 고려
데이콤은 트래픽 분석 시스템의 DB서버 재구축 후 안정성과 성능이 눈에 띄게 개선됐다고 평가한다. 대용량 데이터 처리시 발생했던 시스템 다운 현상이 사라졌고, CPU나 리소스의 사용도 매우 안정적으로 개선됐다. 또한 DB 테이블의 통합으로 인해 관리자들의 DB 성능 관리도 보다 안정을 찾게 됐다.

특히 성능 면에서 메모리와 디스크에 DB를 나누어 저장, 처리함으로써 데이터 처리 속도 매우 빨라졌다고 한다. 데이콤의 관계자는 기존보다 처리 속도가 5배 이상 향상됐다면서, 보고서 출력시 1분 정도 소요되던 것이 현재는 10초 이내로 처리 시간이 감소됐다고 전했다.

트래픽 분석 서비스 가입 고객 증가세도 눈에 띄는 변화다. 지난해 이후로, 월 평균 100회선 가량 증가하는 추세로, 현재 트래픽 분석 회선이 총 4000회선에 이른다.

이로 인해 데이콤은 최근 트래픽 분석 시스템의 DBMS 서버 확장 계획을 세우고 있다. 우선 서버 1대로 운영되는 DB 서버를 2대로 늘려, 이중화 환경을 구현할 계획이다. 알티베이스 4의 리플리케이션(Replication) 기능을 활용해 Active-Active 구조의 실시간 백업 및 장애시 업무 이관이 가능한 환경을 구성하는 것이 골자다. 또 이와 함께 현재 16GB인 DB 서버의 메모리 용량을 확장하는 것도 고려하고 있다.

데이콤의 알티베이스 4 활용 Tip
기존에 인포믹스(Informix) 기반 DBMS를 사용했떤 데이콤은 이를 알티베이스 MM DBMS로 데이터를 변환하는 과정에서 시간을 단축하기 위해 서버의 소스를 모두 컨버팅 하는 대신, 스크립트(Script)를 사용하는 방법을 택했따. 현재도 데이콤은 알티베이스 MM DBMS 운영시 필요한 간단한 추가 기능은 스크립트를 이용해 수비고, 빠르게 개발하고 있다.

Posted by 알 수 없는 사용자

안녕하세요..삐롱사리입니다.
주말 잘 보내셨는지요?
장마는 끝났다고 하는데.. 장대비는 퍼붓고..
해가 쨍쨍 거리는데 비도 오고..
하여간 변덕이 죽끓는단 표현이 제격인 주말이었습니다.

오늘은 MMDBMS 사례로 동양종합금융증권 차세대 HTS 분석 시스템을 소개드릴까 합니다.
이 자료는 지난해 한국데이터베이스진흥센터와 공동으로 진행했던 '제1회 MMDBMS 활용사례 공모전' 대상 수상작이기도 합니다.

[ALTIBASE MMDBMS Case Study_03]동양종합금융증권 차세대 HTS 분석 시스템

'MMDBMS'로 여는 '더 넓은 투자의 세계'

동양종합금융증권은 지난 2003년 차세대 HTS(Home Trading System)를 개발하면서, 기존의 HTS 분석 시스템 인프라도 재구축했다. 60대로 분산 운영되던 DB 시스템을 통합하고, 안정적인 실시간 트랜잭션 처리 환경을 구현하기 위해 동양종합금융증권은 알티베이스의 MM DBMS를 도입했다. 도입 후 60대에 이르던 HTS 운영 시스템이 단 4대로 줄어들었으며, 실시간으로 10~15만 건의 트랜잭션 처리가 가능해져 궁극적으로 고객 만족도 향상의 효과를 얻게 됐다.

동양증권과 동양오리온투자증권을 연이어 합병함으로써 지난 2005년 이후 증권, 종금, 투신 업종이 융합된 국내 유일의 종합금융회사로 재탄생한 동양종합금융증권은 합병 후 눈에 띄는 실적 성장세를 보이고 있다. 2005년 매출 실적이 전년 대비 8% 증가했으며, 특히 순이익의 경우 60.1%의 높은 성장률을 나타내 관련 업계로부터 합병으로 인한 효과가 가시화됐다는 평가와 함께 주목을 받고 있다.

그러나 이러한 실적은 합병으로 인한 외적 성장 때문만은 아닌 듯하다. 지난 2000년 이후, 동양종합금융증권은 고객 만족 확대를 목표로 다양한 상품 개발과 IT 인프라 개선을 추진해왔다. 이의 대표적인 예가 지난 2003년 추진된 차세대 HTS(Home Trading System)의 개발이다.
여타의 증권사와 달리, 동양종합금융증권은 단순히 HTS 프로그램만을 개발하는 것에 그치지 않고, 보다 많은 정보를 빠르고 효과적으로 고객에게 전달하는데 기반이 되는 IT 인프라의 설계 자체를 변경하는 노력을 기울였다.

60대로 분산된 DB 서버 환경 개선 ‘시급’
증권업계에서 HTS 구축 바람이 불기 시작한 것은 2001년부터다. 동양종합금융증권도 이 흐름에 맞춰, HTS를 개발했지만 1일 기준 450만 건에 달하는 방대한 증권 정보를 수집, 가공, 전송하는 것이 생각만큼 원활하게 이뤄지지 못했다. 기존 IT 인프라가 가진 한계 때문이었다.

동양종합금융증권의 기존 HTS 인프라는 총 60대의 디스크 기반 DB 서버로 구성된 분산 처리 환경이었다. HTS 특성상 실시간 증권 정보를 수집해, 고객에게 전달 가능한 정보로 가공, 최종적으로 전달하는 3단계 과정을 거치게 되는 이를 수행하는 디스크 기반의 DBMS가 디스크 I/O의 병목 현상 때문의 다량의 데이터를 실시간으로 처리하지 못해, 결국 DB 서버를 늘려, 분산 처리 하는 방법을 채택할 수밖에 없었던 것이다.

그러나 HTS용 DB 시스템이 60대로 늘어나면서, 처리 속도 면에서는 다소 개선이 되는 듯 했지만 그 외에 다른 문제점들이 야기됐다.

증권 정보들이 통합 관리되지 못하다 보니 사용자가 조건 검색을 하거나 분석 화면을 요구할 경우 이를 시스템 적으로 처리하는데 로딩 시간이 많이 소요됐고, 또 관리자 입장에서 관리해야 할 대상 시스템이 많아지면서 관리상의 허점이 발생, 또 다른 성능 저하의 원인이 되었던 것이다.
[도입시 주요 고려사항]

구 분
분 류
상  세  내  용

비즈니스
측   면

실 시 간
증권정보

 1일 450만 건의 실시간 증권정보(시세)를 수신 발매
 데이터베이스에 축적, 분석 정보로 가공해 빠르게
 전송하는 서비스를 통한 고객 만족 확대

통합 인프라
구    축
 기존의 60대로 구성된 분산 시스템을 중앙 집중 시스템으로
 통합, 생산성, 개선을 통한 비용 최소화

정보기술
측  면

관리의 효율화
 통합 데이터베이스 내의 데이터에 대한 SQL을 통한 편리한
 조회 가능, 누구나 쉽게 시스템을 이해하고 운영할 수 있도록
 구성
RTE를 위한
IT 인프라 구축
 정보가 멈추지 않고 계속적으로 흐르면서 공유되는
 RTE(Real Time Enterprise)를 위한 대용량 트랜잭션 처리 기반
 인프라 구축

이에 동양종합금융증권은 약 2년 간 운영해 온 HTS의 고객 요구 사항을 수렴, 차세대 HTS를 개발하면서 동시에 HTS의 기능 및 효과를 극대화할 수 있도록 인프라를 재구축하는 작업을 수행키로 결정했다.

이 과정에서 동양종합금융증권이 중점적으로 고려한 요소는 크게 4가지였다. 고객 만족을 극대화 할 수 있는 실시간 증권 정보 수집, 분산된 서버 환경의 통합 환경 구축, 데이터베이스의 SQL 데이터 조회 기능 개선, RTE(Real Time Enterprise)를 위한 대용한 트랜잭션 처리 기반의 인프라 구축이 그것이다. 결국 실시간의 처리 속도와 안정성이 보장되는 통합 인프라 구축이 골자라고 할 수 있다.

MM DBMS 도입 후, 60대 서버를 4대로 통합
이같은 조건을 충족하는 인프라를 찾던 중 동양종합금융증권은 알티베이스의 MM DBMS를 알게 됐고, 도입을 결정하게 됐다. 디스크가 아닌 메모리에 데이터를 상주시킴으로써 빠르고 안정적인 처리가 가능하다는 MM DBMS의 특성이 통합된 실시간(Real Time) 시스템에, 관리상의 편리성 증대와 비용 최소화라는 목적 또한 만족해야 한다는 동양종합금융증권의 요구 조건에 적합하다고 판단했기 때문이다.

도입을 결정한 동양종합금융증권은 초기에 집중적으로 트랜잭션 처리나 관리 효율성 부문에서 테스트를 수행했다. 테스트 결과 트랜잭션이 1만 6000건까지 증가해도, CPU의 IDLE는 증가하지 않고, 오히려 떨어지는 결과를 보였다. 즉 트랜잭션이 갑작스럽게 증가하더라도 시스템의 성능이나 안정성에 영향을 주지 않음을 확인한 것이다.

[트랜잭션 증가에 따른 CPU IDLE 영향 분석] 동양_그래프.bmp

사용자 삽입 이미지
이후 본격적인 구축 작업이 진행됐다. 동양종합금융증권은 후지쯔의 프라임파워 시스템 2대를 도입, 차세대 HTS 시스템에 대한 증권 정보 분석 시스템으로 구현했다.

두 대의 시스템이 상호 실시간 백업을 통해 프로세스 부하 분산과 시스템 장애시의 업무 이관을 할 수 있도록 Active-Active 형태의 이중화 환경으로 구성됐으며, 여기에 알티베이스의 MM DBMS가 탑재됐다. 이의 역할은 실시간 증권정보(시세)를 수신 받아, 데이터를 조건 검색, 증권 차트, 분석 화면 등 다양한 형태로 가공, 고객의 클라이언트 프로그램에 실시간으로 전송하는 것.

이처럼 두 대의 분석 서버에서 데이터의 수집부터 가공, 전송까지를 모두 처리하다보니 기존에 60대에 이르던 HTS 운영 서버 대수가 알티베이스 MM DBMS 도입 후에는 분석 서버 2대, 미들웨어 서버 2대의 단 4대로 줄어들게 됐다.

특히 개발 과정에서 동양종합금융증권은 시스템 내부의 모든 소프트웨어를 멀티 쓰레드 방식으로 개발했다.

애플리케이션의 비즈니스 로직을 제거하고 단순한 인터페이스 처리만 하도록 함으로써 처리 속도를 보다 개선하는 한편, 모든 비즈니스 로직은 MM DBMS의 저장형 프로시저(Stored Procedure)나 고급 SQL를 통해 수행하도록 함으로써 SQL를 사용할 수 있는 사람이라면 누구나 쉽게 유지보수를 할 수 있도록 했다.

동양종합금융증권의 HTS의 통합 분석 시스템과 애플리케이션 개발 및 구축은 총 4명의 DBA와 애플리케이션 개발자가 투입돼 약 3개월의 짧은 기간 내에 이뤄졌다.

[차세대 HTS 분석서버 시스템 구성도]

[MMDB 관리 OBJECT]

구 분
분 류
상  세  내  용
 수신처리  20  실시간으로 증권정보(호가, 시세, 거래원 등)을수신해 MM DBMS에 저장
 분석처리  50  실시간으로 수신 받은 증권정보를 차트 등의 분석 데이터로 가공 및 생성
 이력처리  50  이력관리 데이터 누적 수행
 동기화  120  MM DBMS의 Replication 기능을 통해 상호 실시간 백업 실시


트랜잭션 처리 능력 10배 향상
현재 동양종합금융증권의 HTS 분석 시스템은 오전 9시부터 오후 3시까지의 증권 장중에 동시 트랜잭션 10~15만 건을 안정적으로 처리하고 있다. 동양종합금융증권은 알티베이스 MM DBMS 기반의 분석 서버 도입을 통해 고객 트랜잭션의 처리 능력이 약 10배 향상된 것으로 평가하고 있다. 특히 고객 만족도 차원에서 이처럼 대용량 트랜잭션 처리가 가능해짐으로써, 실시간 AUTO 데이터 처리능력을 통한 보다 세밀한 분석 정보가 제공될 수 있게 돼 고객의 서비스 조회에 대한 만족 지수가 향상됐다고 한다.

[도입 전, 후의 분석 서버 운영 환경] 동양_도입효과.bmp


또한 60대의 장비로 분산, 운영되던 시스템을 단 4대의 통합 시스템으로 구축함으로써 시스템 관리의 효율성이 증대됐다. 이로 인해 시스템 점검 시간의 단축과 관리 인력의 감소됐으며 SQL를 통한 데이터 관리가 가능해져 관리 편의성 또한 향상됐다. 동양종합금융증권의 관계자는 궁극적으로 유지보수 비용이 감소됨으로써 1년 내에 투자 회수가 가능할 전망이라고 밝혔다.
이와 함께 대용량의 트랜잭션을 실시간 Replication으로 백업까지 수행함으로써 RTE 개념의 비즈니스 연속성까지 갖추게 됐다.

[MMDB 분석 서버의 장중 트랜잭션 처리 현황]
구분
  
  
    
수신
  거래소/코스닥   300만건   장중 거래소, 코스닥 관련 증권정보
  선물/옵션   100만건   장중 선물, 옵션 관련 증권정보
조회
  차트   30만건   차트 서비스 조회 관련 증권정보
  기타   20만건   기타 분석 데이터 조회


동양종합금융증권은 이에 그치지 않고, 보다 효율적으로 대용량 데이터를 처리할 수 있도록 HTS 분석 서버를 하이브리드 MM DBMS 환경으로 전환하는 것을 검토하고 있다. 특정 테이블은 디스크에 상주시키고 고성능 트랜잭션 처리 능력이 필요한 테이블은 메모리에 상주시킴으로써 운영 효율성을 극대화하기 위한 것이다.

Posted by 알 수 없는 사용자