데이터 분석 기술 블로그

통계학의 정의통계학(Statistics)은 자료를 수집, 분석하여 그 분석 결과를 통해 효율적인 의사결정을 하는 기법을 연구하는 학문입니다. 자료(데이터)는 의미가 있는 형태인 '정보'로 제한됐을 때 의사결정에 도움이 될 수 있습니다. 통계학은 자료들을 보기 쉽게 요약하거나 도표로 나타내고 데이터들 간의 관계 등을 볼 수 있도록 자료를 가공되어 의미가 생기고 의사결정에 도움이 되도록 합니다.  통계학의 기원기원전 약 3000년경에 이집트 피라미드를 건설하기 위한 최초의 통계 조사 조직이 있었습니다. 군 징집 대상을 파악하기 위해 인구 조사를 실시했고, 대부분의 국가에서 병사를 모으거나 세금을 걷기 위해 인구 통계를 사용했습니다. 17세기에 수리적 기법이 견고 해지고 점차 학문적으로 자리 잡기 시작합니다...

머신러닝과 통계학의 큰 차이점 중 하나는 머신러닝은 예측(Prediction)이 목적이고 통계학은 해석(explanation)이 목적입니다. 머신러닝은 '예측력이 얼마나 높은가'가 중요합니다. 예를 들어 특정한 사진을 얼마나 정확히 구별하는지 또는 고객의 구매를 얼마나 정확하게 예측하는지에 집중합니다. 따라서 머신러닝은 분석 모형의 복잡성(complexity)이 높고, 과적합(overfitting) 해결이 중요합니다. 여기서 overfitting이란, 학습 데이터를 과하게 학습해서 예측 데이터에 대한 정확도가 감소하는 현상입니다.복잡성과 과적합의 중요성을 알려주는 좋은 예시가 있습니다. 미국의 OTT 서비스 업체 넷프릭스가 영화 추천 시스템 개선 알고리즘 대회(상금이 무려 100만 달러였습니다.)를 열었..

데이터 과학을 수행하려면 통계학은 기본 소양입니다.요즘에는 잘 만들어진 데이터 과학 라이브러리나 패키지가 다양해서 간단하게 분석 결과를 도출할 수 있습니다. 하지만 통계학을 모르면 분석 결과가 잘못된 부분이 있는지, 어떻게 개선해야 하는지를 알 수 없습니다.누구나 데이터를 다룰 수 있지만 통계학을 이해한 사람과 확연히 다른 인사이트를 가질 수 있습니다. 마케팅 분야에서도 A/B 테스트, 상관분석 등 통계학과 관련된 데이터 분석을 오래전부터 수행하고 있습니다. 거의 모든 분야에서 기존의 문제점들을 해결하거나 새로운 방향의 성공 확률을 데이터 분석을 통해 높이고 있습니다.  데이터 과학 전체 프로세스데이터 수집 → 데이터 가공 → 탐색적 · 데이터 분석 / 데이터 시각화 → M/L 모델링 → 결과 해석 및 ..