1. 통계학을 알아야 하는 이유

데이터 과학을 수행하려면 통계학은 기본 소양입니다.

요즘에는 잘 만들어진 데이터 과학 라이브러리나 패키지가 다양해서 간단하게 분석 결과를 도출할 수 있습니다. 하지만 통계학을 모르면 분석 결과가 잘못된 부분이 있는지, 어떻게 개선해야 하는지를 알 수 없습니다.

누구나 데이터를 다룰 수 있지만 통계학을 이해한 사람과 확연히 다른 인사이트를 가질 수 있습니다.

 

마케팅 분야에서도 A/B 테스트, 상관분석 등 통계학과 관련된 데이터 분석을 오래전부터 수행하고 있습니다. 거의 모든 분야에서 기존의 문제점들을 해결하거나 새로운 방향의 성공 확률을 데이터 분석을 통해 높이고 있습니다. 

 

데이터 과학 전체 프로세스

데이터 수집 → 데이터 가공 → 탐색적 · 데이터 분석 / 데이터 시각화 → M/L 모델링 → 결과 해석 및 적용

가공한 데이터를 탐색적 데이터 분석(exploratory data anaylysis)을 해서 데이터를 이해하고 해석합니다. 자세하게 말하자면, 데이터의 분포, 연관성, 확률 등을 깊이 있게 분석함으로써 머신러닝 모델을 기획하고 적용하는데 효과적이게 할 수 있습니다. 모델을 기획할 때, 수많은 테스트와 수정을 반복하게 됩니다. 모델의 결괏값을 통해 문제점을 찾아내고 개선 방향을 도출할 때에도 통계학의 이해가 필요합니다.  

우리가 알고 싶은 현상의 원인을 찾거나 미래를 예측하기 위해서는 가설을 설정하고 통계적인 분석을 통해 가설을 검정(해야 합니다. 확률분포와 신뢰구간 추정이 이에 해당합니다. 통계적 모형으로 주로 사용되는 것은 이항분포, 정규분포, t분포 등 입니다.