벌써 5개월의 활동 기간이 끝났다는 것이 믿겨지지 않는다. 마지막 미션이니만큼 유종의미를 거두도록 노력해보겠다.
오늘 리뷰를 작성하게되는 책은 "빅데이터 컴퓨팅 기술"이라는 대학교재로 목적으로 만들어진 책이다. 대학교재라? 벌써 대학을 졸업한지 5년이 지나가고 있다. 풋풋했던 그때를 생각하며 읽어보았다.
이제 빅데이터라는 말은 생소한 단어가 아니다.
신문을 보거나 인터넷을 하거나 광고를 보다보면 빅데이터라는 말을 자연스럽게 듣곤한다.
하지만, 시간내어 찾아보진 못하고 그저 어깨넘어 들어본 정도의 지식만 가지고 있는 저에게는 이 책을 통하여 빅데이터의 개념, 구체적인 관련 기술 등에 대한 기반지식을 습득할 수 있을 것 같아 매우 기대가 된다.
첫인상
책을 처음 받았을 때의 느낌은 정말 상큼하다! 라고 느꼈다.
- 우선 책이 굉장히 얇게 느껴집니다. But, 책 페이지는 344페이지! - 책 표지에는 푸른색 계열의 육각형들로 구성되어 있으며 빅데이터 관련 여러가지 기술들이 적혀있는 것 같습니다. 육각형은 안정(완벽)적 구조(ex. 벌집)를 보여주고 있기에 빅데이터에 대하여 명쾌하게 정리했다는 표현과도 일맥 상통한다고 볼 수 있을 것 같습니다. - 책 본문은 컬러풀하게 꾸며져 있으며, 삽화나 텍스트들도 읽기 편하게 컬러링되어 있어서 좋아보입니다.
목차
1부 빅데이터 개요
1장 빅데이터 개념과 처리 과정
1.1 빅데이터 등장 배경
1.2 빅데이터 개념과 속성
1.3 빅데이터 처리 과정과 기술
1.3.1 빅데이터 소스 생성과 수집 기술
1.3.2 빅데이터 저장 기술
1.3.3 빅데이터 처리 기술
1.3.4 빅데이터 분석 기술
1.3.5 빅데이터 표현 기술
1.4 빅데이터 활용 분야와 기대 효과
1.5 빅데이터 시대 준비
1.6 연습문제
1.7 참고문헌
2부 빅데이터 컴퓨팅 기술
2장 빅데이터 수집 및 통합 기술
2.1 개요
2.2 빅데이터 주요 수집 및 통합 기술
2.2.1 Flume플럼
2.2.2 Chukwa척와
2.2.3 Scribe스크라이브
2.2.4 SQOOPSQl-to-hadOOP; 스쿱
2.2.5 Kafka카프카
2.2.6 OpenRefine오픈리파인
2.2.7 JSONJavaScript Object Notation; 제이슨
2.2.8 BSONBinary javaScript Object Notation; 비슨
2.2.9 Thrift쓰리프트
2.2.10 Protocol Buffers프로토콜 버퍼스
2.2.11 Avro에이브로
2.3 연습문제
2.4 참고문헌
3장 빅데이터 저장 및 관리 기술
3.1 개요
3.2 빅데이터 주요 저장 및 관리 기술
3.2.1 S3Simple Storage Service
3.2.2 HDFSHadoop Distributed File System
3.2.3 DynamoDB다이나모DB
3.2.4 MongoDBMONGOus DB; 몽고DB
3.2.5 CouchDBCluster Of Unreliable Commodity Hardware DB; 카우치DB
3.2.6 Cassandra카산드라
3.2.7 HBaseHadoop dataBASE; H베이스
3.2.8 RedisREmote DIctionary System; 레디스
3.2.9 Riak리악
3.2.10 Hypertable하이퍼테이블
3.2.11 ZooKeeper주키퍼
3.2.12 Voldemort볼드모트
3.3 연습문제
3.4 참고문헌
4장 빅데이터 처리 기술
4.1 개요
4.2 빅데이터 주요 처리 기술
4.2.1 Hadoop하둡
4.2.2 Pig피그
4.2.3 Hive하이브
4.2.4 Cascading캐스캐이딩
4.2.5 Cascalog캐스칼로그
4.2.6 Mrjob미스터잡
4.2.7 S4Simple Scalable Streaming System
4.2.8 MapR맵알
4.2.9 Acunu아큐누
4.2.10 Azkaban아즈카반
4.2.11 Oozie우지
4.2.12 Greenplum그린플럼
4.2.13 EC2Elastic Compute Cloud
4.2.14 Heroku히로쿠
4.2.15 R 프로그래밍 언어
4.2.16 Pipes파이프
4.2.17 Mechanical Turk미케니컬 터크; Mturk
4.2.18 Solr/Lucene솔라/루씬
4.2.19 ElasticSearch엘라스틱서치
4.2.20 Datameer데이터미어
4.2.21 InfoSphere BigInsights인포스피어 빅인사이트
4.2.22 InfoSphere Streams인포스피어 스트림즈
4.3 연습문제
4.4 참고문헌
5장 빅데이터 분석 기술
5.1 개요
5.2 텍스트 마이닝 기술
5.3 오피니언 마이닝 기술
5.4 리얼리티 마이닝 기술
5.5 군집화 기술
5.5.1 계층적 군집화 기술
5.5.2 분할적 군집화 기술
5.6 소셜 네트워크 분석 기술
5.7 그래프 마이닝 기술
5.8 빅데이터를 처리하는 기존 알고리즘 변형 기술
5.8.1 도형 세기 알고리즘의 변형
5.8.2 컬럼 빈도수 측정 프로그래밍 방안
5.8.3 소셜 네트워크 통계 방안
5.8.4 네트워크 분석 기법
5.9 최신 빅데이터 분석 연구
5.9.1 데이터 마이닝 연관 규칙을 활용한 빅데이터 알고리즘
5.9.2 빅데이터와 분류 기술
5.9.3 빅데이터와 군집화
5.10 빅데이터 주요 분석 기술
5.10.1 NLTKNatural Language ToolKit
5.10.2 OpenNLP오픈NLP
5.10.3 Boilerpipe보일러파이프
5.10.4 WEKA웨카
5.10.5 Mahout머하웃
5.10.6 scikits_learn사이키트런
5.11 연습문제
5.12 참고문헌
6장 빅데이터 표현 기술
6.1 개요
6.2 빅데이터 주요 표현 기술
6.2.1 Tag Cloud태그 클라우드
6.2.2 Gephi게피
6.2.3 GraphVizGRAPH VIsualiZation software; 그래프비즈
6.2.4 Processing프로세싱
6.2.5 Fusion Tables퓨전 테이블
6.2.6 Tableau타블로
6.2.7 TinkerPop팅커팝
6.2.8 Clustergram클러스터그램
6.2.9 Spatial Information Flow스페이셜 인포메이션 플로우
6.3 연습문제
6.4 참고문헌
7장 빅데이터 플랫폼 기술
7.1 개요
7.2 빅데이터 플랫폼 요소 기술과 구조
7.2.1 빅데이터 플랫폼 요소 기술
7.2.2 빅데이터 플랫폼 구조 및 세부 기술
7.3 빅데이터 플랫폼 관리 기술
7.3.1 가상화 기술
7.3.2 클라우드 환경에서 처리 기술
7.4 빅데이터 워크플로우 컴퓨팅 플랫폼 기술
7.4.1 그래프 기반 빅데이터 응용
7.4.2 그래프 기반 빅데이터 처리 기술
7.5 연습문제
7.6 참고문헌
3부 빅데이터 기술 개발 현황과 실제 구현 예
8장 빅데이터 기술 개발의 현황과 활용
8.1 개요
8.2 국내외 빅데이터 기술 개발 현황
8.2.1 국내 빅데이터 기술 개발 현황
8.2.2 국외 빅데이터 기술 개발 현황
8.3 빅데이터 산업체 현황
8.3.1 EMC
8.3.2 오라클
8.3.3 IBM
8.3.4 SAP
8.3.5 테라데이타
8.3.6 마이크로소프트
8.3.7 코난테크놀로지
8.3.8 솔트룩스(트루스토리)
8.3.9 다음소프트(소셜 메트릭스)
8.3.10 그루터(씨날)
8.3.11 기타 사업체
8.4 빅데이터 활용 사례
8.4.1 공공·정부·과학 분야
8.4.2 정보 통신 분야
8.4.3 소셜 미디어 분야
8.4.4 의료·헬스 케어 분야
8.4.5 도소매 분야
8.4.6 제조업 분야
8.5 연습문제
8.6 참고문헌
9장 하둡을 이용한 추천 시스템의 구현
9.1 개요
9.1.1 협업 필터링과 연관 규칙을 이용한 추천 시스템과 하둡 에코시스템
9.1.2 실습 환경 구축
9.2 협업 필터링 기법과 머하웃을 이용한 구현
9.2.1 협업 필터링 기법의 원리
9.2.2 사용자 기반 추천 엔진의 구현
9.2.3 아이템 기반 추천 엔진의 구현
9.2.4 협업 필터링 기법에서 추가로 고려할 사항
9.3 연관 규칙 기법과 피그, 하이브를 이용한 구현
9.3.1 연관 규칙 기법의 원리
9.3.2 피그를 이용한 연관 규칙 구현
9.3.3 하이브를 이용한 연관 규칙 구현
9.4 추천 시스템의 구현
9.4.1 데이터 준비하기 : u.data
9.4.2 전처리하기 : PHP
9.4.3 단일 아이템 빈도수 구하기 : 샤크
9.4.4 아이템 (A∩B) 조합의 빈도수 계산하기 : 샤크
9.4.5 연관 규칙 계산하기 : PHP와 샤크
9.4.6 데이터 내보내기 : 스쿱
9.4.7 웹 서비스로 추천 기능 구현하기 : PHP
9.5 참고문헌
빅데이터가 무엇일까? 알고 싶다!
이 책을 읽기전에 기대했던 것은 대학교재인 만큼 빅데이터의 정의와 그리고 관련된 기술들에 대하여 알고 싶었다.
책의 구성은 위 목차에서도 봤듯이 빅데이터의 개념부터 시작해서 빅데이터를 가공하기까지의 기술들을 소개하고 있다. 그리고 어떻게 그 빅데이터 정보들이 활용되고 있는지 설명하고 있다.
빅데이터는 전통적 개념으로는 결국 아주 방대한 양의 데이터를 의미한다고 한다. 그리고 현재는 빅데이터의 5가지의 속성을 정의하여 표현하기도 한다.
과거에는 정보(데이터)를 생산하는 주체는 한정되어 있었다. 하지만 요근래는 정보를 생성하는 주체가 특정한 부류에서 개인으로까지 넓혀졌기 때문에 기존의 데이터 규모와는 말도 아니게 방대해지게 된 것이다. 그도 그럴 것이 지금 나 역시 이 리뷰를 작성하고 있는 것을 봐라. 이러한 데이터들도 역시 빅데이터의 일부가 되는 것이다. 이렇게 다양 주제, 방대한 양의 데이터를 처리하려면 기존의 데이터 처리 방식에서도 문제가 발생할 수 밖에는 없다. 그래서 빅데이터를 수집부터 저장, 처리, 사용가능한 형태가 되기까지 많은 작업들이 필요하게 되었다.
이 책은 그러한 내용에 대하여 큰틀을 잡고 세세한 기술들에 대하여 간략하게 나열하고 있다. 각 개별적인 기술에 대해서는 추가적으로 관련 책들을 읽어보기를 원한다.
책을 읽다보니 T-Mobile 사의 사례가 나왔다. T-Mobile사는 자신들의 고객들이 타 통신사로 이탈하는 것을 막기 위하여 고객들의 통화 및 송수신 내역을 담은 빅데이터를 분석하여 이를 방지했다고 했다. 이 대목에서 개인정보 유출? 이라는 문제가 발생한 것 아니냐? 라는 생각이 들었다. 고객들의 개인정보를 허락없이 분석했다는 것 아닐까? 이래도 되는지 의심이 들었다.
책을 읽다보니 이러한 빅데이터의 시대에 살고 있는 우리가 꼭!? 빅데이터에 대하여 알아야 하는것인가? 라는 생각을 해보게 되었다. 빅데이터가 분명 우리 삶의 편의성을 제공해주는 것은 맞는 것 같다. 그 예로, 구글이나 가끔 쇼핑몰 사이트를 이용하면 내가 가지고 싶었던 내용들이 어떻게 딱딱 맞게 나오는 것인가? ㅎ 그건 아마도 내가 그 동안 검색했던 내용들을 수집하여 패턴을 분석하여 관련된 정보를 같이 보여주는 빅데이터 기술이 적용되어있기 때문일 것이다.
분명 회사의 이익 증대, 고객의 편의성 등이 있지만 이 또한 잘 사용해야 할 것 같다는 생각이 들었다.
연습문제와 참고문헌
각 장이 끝날때 마다 연습문제와 참고문헌이 나온다. 역시 대학교재라 그런지 연습문제는 시험에 나올법한 내용들에 대하여 물음을 던지고 있다. 하지만 질문들을 보면 빅데이터의 이해, 습득을 너무 강요하는 것 같아 아쉽게 느껴지는 대목이다.
참고문헌은 정말 많은 책들을 참고하여 이 책에 담아 두었구나 하는 생각을 들게 한다. 그 말은 곧 개요정도의 설명이니 자세한 사항은 추가적인 부분을 찾아보라는 의미겠지 않겠나? 처음 개념을 잡고 사용되는 기술들이 궁금한 독자들은 아주 유익하게 볼 수 있을 것 같다.
마무으리~
끝으로 이 책은 컬러풀하여 읽는 내내 기분이 좋았다. 오랜만에 빅데이터에 대한 정보를 습득하면서 시험을 봐야 할 것 같은 생각에 암기하는 나를 보게되었다. 빅데이터 컴퓨팅 기술 앞으로 어떻게 더 발전해 나갈지 기대해보겠다.
글쓴이 평점 
