Concept/ Bayesian & Frequentist statistical approaches 베이지안&프리퀀티스트 접근

목차

 

개요

Bayesian statistical approaches ; 베이지안 접근법

Frequentist statistical approaches ; 프리퀀티스트 접근법

 

위 두 접근법은 통계학에서 가장 넓게 쓰이는 접근법으로 서로 다른 방식을 통해 최적값에 접근한다.

 

이를 ML에서는 Optimum 값을 구하기 위하여 사용되고 각 장단점을 통해 어떤 상황에서 무엇을 사용해야하는지 생각해보자

 

---

Bayesian statistical approaches ; 베이지안 접근법

 

사전 정보와 새로운 데이터를 결합하여 사후 확률을 계산하고 불확실성을 확률로 표현하고 베이즈 정리를 통해 사전 정보를 업데이트 해가며 접근해나가는 방식이다.

 

 

예로 사전 정보로 동전의 앞면이 나올 확률은 50%라고 생각하고 그 다음 동전을 10번 던져 앞면이 7번, 뒷면이 3번 나왔다고 하면 이 결과를 사전 정보와 결합하여 앞면이 나올 확률을 업데이트를 하는 방식

 

 

장점

• 사전 지식을 포함하여 추정이 가능하므로, 데이터가 부족한 경우에도 유용하다.
• 사전 정보를 활용할 수 있어 ML에 자주 이용된다.
• 불확실성을 확률로 표현할 수 있어, 결론에 대한 신뢰도를 명확하게 전달할 수 있다.
• 또한 생성 원리로 인해 연속적인 ML 학습이 가능하다.

단점

• 사전 확률의 설정이 주관적일 수 있어, 결과가 분석자의 견해에 영향을 받을 수 있다.
• 계산 복잡도가 높을 수 있다.

 

*베이즈 정리

 P(A|B) = P(B|A) * P(A) / P(B)

 

여기서 A와 B는 사건을 나타내며, P(A|B)는 B가 일어난 상황에서 A가 일어날 확률을 나타냅니다. P(B|A)는 A가 일어난 상황에서 B가 일어날 확률을 나타내며, P(A)와 P(B)는 각각 A와 B의 사전 확률이다.(고등학교 집합내용)

 

 

이러한 접근 방식은 데이터가 적거나 불완전한 경우에 유용하며(ML에 자주 사용된다), 모수(통계 모델에서 찾아야하는 파라미터)에 대한 불확실성을 고려할 수 있다. 그러나 사전 정보의 선택이나 사후 분포의 계산 등에서 주관적인 판단이 개입될 수 있으므로, 이러한 접근 방식을 사용할 때는 주의가 필요하다.

 

---

 

Frequentist statistical approaches ; 프리퀀티스트 접근법

 

데이터가 어떤 고정된 확률 분포로부터 생성된다고 가정하여 오직 관측된 데이터를 바탕으로 추정치를 계산하여  모집단의 특성을 추정해서 오차 범위와 신뢰 구간을 사용하여 불확실성을 표현하여 접근해나가는 방식이다.

 

위의 예시와 같이 동전을 10번 던져 앞면이 7번, 뒷면이 3번 나왔다면 이 결과를 사용하여 동전의 앞면이 나올 확률을 추정하게된다. (위의 동전의 한 면이 나올 확률은 50%이다. <-사전정보가 존재하지 않는다.) 이 경우, 앞면이 나올 추정 확률은 7/10 = 0.7이 되고 이에 맞추어서 신뢰구간을 계산해 불확실성을 계산한다.

 

장점

• 사전 정보에 의존하지 않는다.
• 대규모 데이터에서 잘 작동한다.
• 일반적으로 계산이 간단하다.
• 분석자의 주관적인 생각에 의한 영향이 없다.

단점

• 작은 데이터셋에서 추정치의 정확도가 떨어질 수 있다(데이터 기반이기 때문).
• 불확실성의 표현이 간접적이다 .
• 연속적인 학습이 어렵다.

 

결국에 가장 큰 차이점은 분석자의 주관에 노이즈가 생기지는 않지만 데이터가 적거나 불완전한 경우에 한계가 있다는 점이다.

 

---

 

 

마무리

베이지안 접근법은 사전 정보를 활용하고 불확실성을 명확하게 표현하는 반면, 프리퀀티스트 접근법은 사전 정보에 의존하지 않고 대규모 데이터에서 잘 작동한다.

어떤 접근법을 사용할지는 문제의 상황과 필요성에 따라 달라지는데 위에서 설명했다싶이 베이지안 통계는 작은 데이터셋이나 사전 정보가 중요한 경우에 유리하며, 빈도주의 통계는 대규모 데이터셋이나 사전 정보가 불확실한 경우에 적합하다.

결론적으로, 이 두 가지 통계적 접근법은 상황과 목적에 따라 상호 보완적으로 사용될 수 있다.