#5 볼츠만 머신

Energy-based model

에너지 기반 모델(energy-based model)은 확률적 생성 모델 중 하나로, 데이터를 확률적인 에너지 함수를 통해 표현하는 모델입니다. 데이터가 주어졌을 때, 이 에너지 함수를 이용하여 해당 데이터가 얼마나 "적절하지 않은지"를 측정하고, 낮은 에너지 값을 갖는 데이터가 높은 확률을 가지도록 모델을 학습시킵니다. 이런 접근 방식을 사용하여 데이터의 분포를 학습하는데 주로 사용됩니다.

에너지 기반 모델은 실제 데이터의 확률 분포를 직접 모델링하지 않습니다. 대신, 데이터를 생성하는 과정을 일종의 에너지 함수를 이용해 표현합니다. 에너지 함수는 일반적으로 데이터가 "적합하지 않은 정도"를 나타내며, 낮은 에너지 값을 가지는 데이터가 실제 데이터와 더 가까운 것으로 간주됩니다. 이를 통해 에너지 기반 모델은 데이터의 높은 확률을 갖도록 학습됩니다.

수식적으로, 에너지 기반 모델은 데이터 x에 대한 에너지 함수 E(x)를 사용하여 다음과 같이 정의됩니다:

P(x) = exp(-E(x)) / Z

여기서 P(x)는 데이터 x의 확률이고, Z는 모든 가능한 데이터에 대한 파티션 함수(partition function)로서 확률 분포의 정규화 상수입니다. 파티션 함수 Z는 모든 데이터에 대한 에너지 함수의 합을 나타냅니다.

에너지 기반 모델은 주로 두 가지 작업에 사용됩니다:

생성 모델링: 에너지 함수를 사용하여 새로운 데이터를 생성합니다. 학습된 모델을 사용하여 에너지 함수를 최소화하는 데이터를 생성할 수 있습니다.

밀도 추정: 에너지 기반 모델을 사용하여 데이터의 확률 분포를 추정합니다. 특정 데이터 포인트의 확률을 추정하려면 에너지 함수를 사용하여 파티션 함수로 정규화된 확률 값을 계산합니다.

에너지 기반 모델의 학습은 주로 최적화 알고리즘을 사용하여 에너지 함수를 조정하는 과정입니다. 모델이 높은 확률을 갖는 데이터와 낮은 확률을 갖는 데이터를 올바르게 구분하도록 최적화를 진행합니다. 대표적인 에너지 기반 모델에는 Boltzmann Machine, Restricted Boltzmann Machine (RBM), 및 Deep Boltzmann Machine (DBM) 등이 있습니다.

요약하자면, 에너지 기반 모델은 데이터를 에너지 함수를 이용하여 표현하며, 해당 에너지를 최소화하는 데이터가 높은 확률을 갖도록 학습됩니다. 이 모델은 생성 모델링과 밀도 추정에 사용되며, 최적화 알고리즘을 통해 학습됩니다.

 

RBM(Restricted Boltzman Machine)

볼츠만 머신(Boltzmann Machine)은 인공 신경망의 한 종류로, 확률적인 방식을 통해 학습하는 기계 학습 알고리즘입니다. 이는 제프리 힌턴 교수가 1980년에 제안한 모델로, 특히 비지도학습(Unsupervised Learning)에 사용되며, 패턴 인식, 차원 축소, 데이터 생성 등 다양한 문제에 적용됩니다.

볼츠만 머신은 에너지 함수(energy function)와 확률 분포에 기반하여 동작합니다. 각 노드는 확률 변수를 나타내며, 노드들은 연결된 가중치와 함께 이루어진 그래프 구조를 형성합니다. 볼츠만 머신은 두 가지 유형의 노드로 구성됩니다.

Visible Node (가시 노드): 입력 데이터가 들어오는 노드로, 외부에서 주어진 데이터를 받아들입니다.
Hidden Node (숨겨진 노드): Visible Node와 연결되어 있으며, 모델이 학습하고자 하는 데이터의 내재된 특징을 나타냅니다.
볼츠만 머신의 동작은 다음과 같습니다.

학습(Training):

먼저, 가중치와 편향을 랜덤하게 초기화합니다.
모델은 입력 데이터를 가지고 학습을 시작합니다.
먼저 입력 데이터가 주어졌을 때, 숨겨진 노드들의 활성화 확률을 계산합니다.
활성화 확률은 에너지 함수를 이용하여 계산되는데, 이때 가중치와 입력 데이터의 상호작용이 반영됩니다.
숨겨진 노드들의 활성화 확률에 따라 가중치와 편향을 업데이트합니다. 이러한 과정을 여러 번 반복하여 학습을 수행합니다.
샘플링(Sampling):

학습이 완료된 후, 모델은 새로운 데이터를 생성할 수 있습니다.
가시 노드와 숨겨진 노드들의 활성화를 교대로 업데이트하여 샘플링을 수행합니다.
이렇게 샘플링된 데이터는 모델이 학습한 분포와 유사하게 됩니다.
볼츠만 머신은 학습하는 동안 확률적인 방식을 사용하기 때문에, Gibbs 샘플링(Gibbs sampling)이라는 기법을 사용하여 확률 분포를 탐색하고, 확률 분포를 근사하게 만들어갑니다. 이러한 특성으로 인해 볼츠만 머신은 복잡한 확률적인 관계를 모델링하거나, 차원 축소에 사용되며, 생성 모델로서도 활용될 수 있습니다.

하지만 볼츠만 머신은 학습 과정이 느리고, 깊은 구조를 학습하는데 어려움이 있으며, 학습된 모델이 과적합되기 쉽다는 단점도 있습니다. 이러한 이유로 최근에는 딥러닝의 발전으로 인해 다른 인공신경망 구조가 더 많이 사용되고 있습니다.