hadoop 총정리 4편 #

Find similar titles

총 8회 업데이트 됨.

Edit

최초 작성자
ihcho 2018-05-31 10:12:06
최근 업데이트
jmkang 2018-07-09 01:21:27

Structured data

Category: Programming

서론.
본론. 하둡 사례
결론.
1. 하둡 도입 기준
2. 마치며
참고출처
관련 키워드
Suggested Pages

서론. #

2007년 하둡의 등장 이후 많은 기업이 빅 데이터의 활용에 더욱 관심을 가지는 것 같습니다. 일반 PC 사양의 컴퓨터들로 대형 스토리지(스토리지 구성 방식)를 제공하고 기존의 RDBMS의 천문학적인 유지비용(테라바이트당 1만에서 1만 4,000달러 정도)에 비해 하둡의 유지비용은 삼분의 일(4,000달러 수준)로 굉장히 저렴하기 때문이다. 글로벌 기업은 대부분 하둡 시스템을 활용하여 유의미한 결과를 만들고 있다. 이번 글에서는 어떤 회사들이 어느 사업에 하둡을 활용하고 있는지 사례를 소개하고자 한다.

본론. 하둡 사례 #

샤오미 / 전자제품 제조 #

대륙의 실수라는 별명으로 가성비(가격 대비 성능의 비율)가 뛰어난 제품을 만드는 기업이다. 2010년에 스마트폰 제조업체로 설립됐지만 지금은 공기청정기까지 판매할 정도로 공룡기업이 되었다. 그러한 샤오미가 하둡을 활용하고 있다는 점에서 아마 많은 사람이 놀랐을 것이다. 샤오미는 모바일 앱과 백엔드 서비스에서 생기는 데이터를 모니터링하고 이슈 해결 도구로 사용하고 있다. 샤오미가 외부에 공개한 자료에 따르면 하루에 50억 건의 넘는 데이터를 처리한다고 한다. 이슈를 빨리 인지하고 해결할 수 있다. 또한, 개별 레코드 검색이 가능해서 문제 해결 편의성의 많이 증대되었다.

그림1 샤오미 하둡 활용 사례 (출처: 슬라이드쉐어)

어도비 / 소프트웨어 판매 #

우리나라에는 포토샵으로 더 잘 알려진 회사이다. 올해 초 어도비는 하둡 커넥터를 어도비 캠페인에 추가했다. 이를 통해 마케팅 담당자들이 이메일 마케팅에 사용되는 빅데이터에 쉽게 접근할 수 있다. 아직은 시작단계이지만 하둡 커넥터를 통해 사용자가 온·오프라인 채널을 통해 어도비 캠페인을 활용할 수 있다는 점에서 강점을 보인다.

그림2 어도비의 빅데이터와 하둡 (출처: 슬라이드쉐어)

스코틀랜드 왕립 은행 / 금융 #

은행에서도 하둡을 활용한 사례가 적지 않다. 특히 스코틀랜드 왕립 은행은 온라인을 통해 고객과 나눈 채팅 대화에서 통찰력을 얻고 있다고 한다. 약 25만 개의 채팅 로그와 관련 메타데이터가 매달 적재되고 이러한 비정형 데이터를 통해 사용자 기반의 유의미한 결과를 얻을 수 있다.

그림3 하둡을 통한 RBS의 철학 실현 (출처: ciokorea 기사)

CERN / 연구 #

스위스의 대형 강입자 충돌기를 보유하고 있는 시설이다. 강입자가 충돌하는 과정을 1억 5,000만개의 센서가 매초 1페타바이트의 데이터를 생성한다. 하둡이 필수 불가결한 전형적인 빅데이터 처리이다. 정보의 양이 어마어마 하므로 무엇보다도 하드웨어 비용과 유지보수 비용을 크게 줄였다고 한다.

그림4 CERN의 하둡과 스파크 서비스 (출처: 슬라이드쉐어)

익스피디아, 호텔스닷컴 / 예약 서비스 #

익스피디아, 호텔스닷컴 등등 뿔뿔이 흩어져 있는 각 사업장의 데이터를 실시간으로 저장하고 분석하여 가장 최적의 시설을 추천해주는 데 하둡이 활용되고 있다. 호텔 등의 숙박업은 매일매일 시세가 변하고 할인 변동 폭이 크다. 또한, 전 세계에서의 데이터를 집중하기 때문에 과거라면 도입을 상상도 못 했을 분야이다.

그림4 익스피디아에서 스쿨을 활용해 하둡과 거리 좁히기 (출처: 슬라이드쉐어)

결론. #

하둡 도입 기준 #

총 4편의 글을 하둡의 전반적인 내용을 알아보았다. 만약 하둡 도입을 진지하게 생각하고 있다면 오라클 코리아에서 제시한 다음의 유튜브를 확인 바란다. 하둡 도입 관련 영상

마치며 #

개인적으로 2018년은 정보를 다루는 기업이라면 하둡은 이미 당연한 전제가 되어있는 시점인 것 같다. 앞서 글들에서 언급한 것처럼 하둡은 설치했다고 끝나는 것이 아니라 각 조직의(또는 개인) 목표에 따라 구성할 수 있다(마치 레고 조립하듯이...). 이 글을 통해 하둡에 대해 조금의 관심이 환기되었으면 하는 바람이다.