01 빅데이터 플랫폼

빅데이터 플랫폼은

1. 빅데이터 수집
2. 빅데이터 저장
3. 빅데이터 처리
4. 빅데이터 분석

-> 전 과정을 통합적으로 제공하여 그 기술들을 잘 사용할 수 있도록 준비된 환경이다.

빅데이터 플랫폼 등장이유? 배경?

1. 비즈니스 요구사항 변화

• 빠른 의사결정보다 장기적이고, 전략적인 접근이 필요함
• 초저가의 대규모 프로세싱과 클라우드 컴퓨팅 기반의 분석환경이 등장함.
• 새로운 형태의 비즈니스 질문과 통찰이 요구됨.

2. 데이터 규모와 처리 복잡도가 증가함

• 데이터의 범위와 기간이 확장되어서 처리할 데이터 규모와 내용이 방대해졌음
• 정보의 수집 및 분석이 일시적이지 않고, 장기간에 걸쳐 수행되어야 함
• 다양한 경로를 통해서 다양한 형태의 데이터 수집과 복잡한 로직을 이용한 대용량 처리가 필요함.
• 분산 처리가 불가피해서 이를 제어할 수 있는 고도의 기술이 필요함.

3. 데이터 구조의 변화와 신속성 요구!

• SNS 데이터나 로그 파일, 스트림 데이터 등 비정형 데이터의 비중과 실시간 처리에 대한 요구가 높아졌다.
• 약한 관계형 스키마나 반정형 데이터와 같은 정형적이지 않은 데이터가 증가하고 있다.
• 데이터 발생 속도가 빨라져 빠른 수집과 가공 및 분석 등 처리가 요구된다. -> 스마트폰 사용량 증가? ? 왜

4. 데이터 분석 유연성 증대

• 기존의 통계적 분석 방법 x -> 분석 목적에 맞게 유연한 분석이 가능해짐.
• 인공지능 기술의 발전 -> 다양한 방법론을 통해 텍스트, 음성, 이미지, 동영상 등 다양한 요소들의 분석이 가능하게 됨.

빅데이터 플랫폼의 기능 -> 무슨 기능을 해?

빅데이터 처리 과정 -> 부하 발생 심각, 플랫폼은 이런 부하들을 기술적인 요소들을 결합해 해소한다.

1. 컴퓨팅 부하

• 하드웨어적 연산이 많이 필요 -> GPU 대량 연산, -> 효과적인 자원 할당으로 자원을 아끼자.

2. 저장 부하

• 빅데이터 -> 용량이 너무 커 -> 원본 데이터, 가공 데이터 저장 공간 너`~ 무 부족
• 파일 시스템 개선, 메모리와 파일 시스템의 효과적인 사용, DB 성능 향상 가능

3. 네트워크 부하

• 노드 간 통신 과정 부하 심각 -> 용량이 크니 당연
• 대역폭의 효과적 분배 및 네트워크 상에서 최단거리에 위치한 노드 탐색 및 배포

빅데이터 플랫폼의 조건 ? -> 뭐가 있어야 해 ?

플랫폼은 제공자 + 서비스 이용자 둘 다 만족해야 해, 환경을 제공 잘해야해

1. 서비스 이용자 측 체크리스트

• 문제를 해결하는데 유용한가?
• 편리한 UI를 제공하는가?

2. 제공자 측 체크리스트

• 성능적으로 문제 없나?
• 접속 인증이 존재?
• 자원 관리 기능 존재?
• 풒질 관리를 위한 지표가 존재하는가?
• 보안적인 요소를 잘 갖추고 있나?
• 비용절감이 일어났나?

빅데이터 플랫폼의 구조 (소 플 인)

• 소프트웨어 게층
  • 데이터 처리 및 분석 엔진
  • 데이터 수집 및 정제 모듈
  • 서비스 관리 모듈
  • 사용자 관리 모듈
  • 모니터링 모듈
  • 보안 모듈
• 플랫폼 게층
  • 사용자 요청 파싱 모듈
  • 작업 스케줄링 모듈
  • 데이터 및 자원 할당 모듈
  • 프로파일링 모듈
  • 데이터 관리 모듈
  • 자원 관리 모듈
  • 서비스 관리 모듈
  • 사용자 관리 모듈
  • 모니터링 모듈
  • 보안 모듈
• 인프라스트럭처 계층
  • 사용자 요청 파싱 모듈
  • 자원 배치 모듈
  • 노드 관리 모듈
  • 스토리지 관리 모듈
  • 네트워크 관리 모듈
  • 서비스 관리 모듈
  • 사용자 관리 모듈
  • 모니터링 모듈
  • 보안 모듈