주요 개념

  • 기초 통계량 (Descriptive Statistics): 데이터의 가장 기본적인 특성을 요약하고 설명하기 위한 지표들의 묶음. 한 FC의 물동량과 인원수를 알면 그 규모를 상상할 수 있듯이, 기초 통계량은 데이터의 전체 모습을 상상할 수 있도록 정보를 제공.
  • 탐색적 데이터 분석 (Exploratory Data Analysis; EDA): 데이터 과학과 통계학을 활용한 심층 분석에 앞서 Raw 데이터에 대한 탐색과 이해를 진행 하는 과정.

 

기초 통계량

  • 평균 (Mean): 모든 데이터 값의 합을 데이터 수로 나눈 값 (=산술 평균). 데이터의 중심 경향성을 지닌 ‘평균’ 값만으로도 많은 정보를 알 수 있음. e.g. 일용직 근로자의 주간 평균 출근일 수.
  • 분산 (Variance): 데이터가 평균으로부터 떨어진 정도를 숫자로 나타낸 값. 각 데이터 값과 평균 지점 사이의 거리를 제곱한 평균. 높은 ‘분산’은 데이터가 평균에서 더 벗어나 있는 것을 의미함.
  • 표준편차 (Standard Deviation): 데이터가 평균으로 떨어진 정도를 표준화한 측정값. ‘분산’의 양의 제곱근으로서 분산보다 더 일반적으로 사용됨. 범위 (Range): 최대값과 최소값 간의 차이. 데이터의 전반적인 흩어짐을 파악할 수 있는 값. 다만 극단치가 존재하는 경우 해당 ‘범위’가 커지므로, 이러한 단점을 보완하기 위해 사분위 범위(IQR)를 사용하게 됨.
  • 사분위 범위 (Inter-Quartile Range; IQR): 데이터를 작은 값부터 큰 값까지 순서대로 나열한 뒤 25% 지점을 의미하는 1사분위수와 75% 지점을 의 미하는 3사분위수 사이의 간격. 데이터 안에 담긴 값의 절반은 해당 구간에 있어 ‘사분위 범위’ 값을 알면 데이터의 요약이 가능함.
  • 다섯 가지 요약 수치 (Five-Number Summary)
    • 최솟값 (Min)
    • 제1사분위수 (Q1): 데이터의 25% 지점.
    • 중앙값 (Median; Q2): 데이터를 크기로 나열한 순서상의 중심 값.
    • 제3사분위수 (Q3): 데이터의 75% 지점.
    • 최댓값 (Max)
  • 사분위 수 (Quartile): 데이터에 속한 값들을 작은 값부터 큰 값 순으로 줄 세운 뒤 이들을 네 조각으로 나누는 세 개 지점에 해당하는 수. F(Q1) = 0.25, F(Q2) = 0.50, F(Q3) = 0.75.

 

IQR & 박스 플롯

극단적으로 큰 이상값이 IQR 및 평균값에 미치는 영향

  • 박스 플롯 상 하위 경계, 내측의 최솟값 (Lower Whisker)은 Q1 – 1.5 x IQR, 최댓값 (Upper Whisker)은 Q3 + 1.5 x IQR 계산식으로 도출이 가능합니다.
  • 극단적으로 큰 값이 데이터상에 추가되었을 때 중앙값은 변하지 않지만, 평균값은 우측으로 이동하는 현상을 볼 수 있습니다. 이는 중앙값이 이상 치에 대한 높은 ‘강건성’을 가지고 있지만 평균은 낮기 때문입니다. 따라서 기초 통계량에 기반한 데이터 파악 단계에서 평균값, 중간값 둘 다 확인 해야 하는 필요가 있습니다.

 

 

+ Recent posts