1. 시작하며: 밀레니엄 현상금 문제란
2000년, 클레이 수학 연구소는 수학에서 매우 중요한 7개의 미해결 문제에 대해 각각 100만 달러의 현상금을 걸었습니다. 이를 밀레니엄 현상금 문제 라고 부릅니다. 그 중에는 유명한 ‘리만 가설’이나 ‘P-NP 문제’ 등이 포함되어 있지만, 물리학과 깊은 관련을 가진 문제가 하나 있습니다. 그것이 바로 ‘양-밀스 방정식과 질량 간극 문제’ (Yang-Mills and Mass Gap)입니다.
이 문제는 자연계의 기본적인 힘을 기술하는 입자 물리학의 ‘표준 모형’의 수학적인 기초를 확립하는 것을 목적으로 하고 있습니다. 우리 세계를 구성하는 물질이나 힘의 움직임은 실험적으로 극히 높은 정밀도로 확인되고 있지만, 그것을 수학적으로 엄밀하게 증명하는 것은 현대 수학에 있어 최대의 도전 중 하나가 되었습니다.
본 기사에서는 이 양-밀스 이론이란 무엇인지, 그리고 질량 간극 문제란 무엇을 의미하는지에 대해 깊이 파헤쳐 해설합니다.
2. 물리학에서의 게이지 이론
양-밀스 이론을 이해하기 위해서는 먼저 게이지 이론 (Gauge Theory)에 대해 알 필요가 있습니다. 물리학에서 게이지 이론이란 특정 변환(게이지 변환)에 대해 방정식의 형태가 변하지 않는(불변인) 성질을 가진 이론을 말합니다.
전자기학과 가환 게이지 이론
가장 친숙한 게이지 이론은 전자기학입니다. 제임스 클러크 맥스웰에 의해 정식화된 맥스웰 방정식은 전기장과 자기장의 움직임을 기술합니다. 양자역학의 틀에서 이를 다루는 양자전기역학(QED)은 U(1) 게이지 이론 이라고 불립니다.
여기서는 위상(Phase)이라고 불리는 양이 중요한 역할을 합니다. 전자의 파동 함수의 위상을 공간의 각 점에서 독립적으로 변화시켜도(국소 게이지 변환), 물리적인 관측량은 변화하지 않습니다. 이 불변성을 유지하기 위해 도입되는 것이 게이지 장 이며, 전자기학에서의 게이지 장은 광자(포톤)에 해당합니다. U(1) 군은 가환군(연산의 순서를 바꾸어도 결과가 같음)이기 때문에 QED는 가환 게이지 이론이라고 불립니다.
비가환 게이지 이론: 양-밀스 이론의 탄생
1954년, 천닝 양과 로버트 밀스는 가환군에 기초한 QED를 확장하여, 비가환군(연산의 순서를 바꾸면 결과가 달라지는 군)에 기초한 게이지 이론을 제창했습니다. 이것이 양-밀스 이론 입니다.
당초 그들은 양성자와 중성자를 결합하는 ‘강한 힘’을 설명하기 위해 SU(2) 아이소스핀 대칭성에 기초한 이론을 구축했습니다. 그 후 이 이론은 입자 물리학 표준 모형의 근간을 이루는 이론으로 발전했습니다. 현재의 표준 모형은 강한 힘을 기술하는 양자색역학(QCD)이 SU(3), 약한 힘과 전자기력을 통일하는 전약 이론이 SU(2) × U(1)이라는 비가환 게이지 이론에 기초하고 있습니다.
양-밀스 이론의 라그랑지안 밀도는 다음과 같이 쓰입니다:
$$ \mathcal{L} = -\frac{1}{4} F_{\mu\nu}^a F^{a\mu\nu} $$여기서 $ F_{\mu\nu}^a $ 는 장의 세기(곡률 텐서)이며, 게이지 장 $ A_\mu^a $ 를 사용하여 다음과 같이 정의됩니다:
$$ F_{\mu\nu}^a = \partial_\mu A_\nu^a - \partial_\nu A_\mu^a + g f^{abc} A_\mu^b A_\nu^c $$$ g $ 는 결합 상수, $ f^{abc} $ 는 리 대수의 구조 상수입니다. 비가환 이론이기 때문에 마지막 비선형 항이 나타나며, 이로 인해 게이지 장 자신이 상호작용한다 는 특이한 성질이 생겨납니다.
graph TD
A["게이지 이론"] -->|"확장"| B["양-밀스 이론"]
B -->|"SU(3) 대칭성"| C["양자색역학 (QCD)"]
B -->|"SU(2)xU(1) 대칭성"| D["전약 이론"]
C -->|"강한 상호작용"| E["표준 모형"]
D -->|"전자기 및 약한 상호작용"| E
3. 질량 간극이란 무엇인가
양-밀스 이론은 입자 물리학에서 놀라운 성공을 거두었습니다. 실험 결과와의 일치는 극히 양호합니다. 그러나 이론을 수학적으로 엄밀하게 다루려고 하면 큰 벽에 부딪힙니다. 그것이 질량 간극 (Mass Gap)의 문제입니다.
고전론에서의 질량 영(0)인 게이지 보손
고전적인 양-밀스 방정식을 풀면 전자기학의 광자와 마찬가지로 힘을 매개하는 입자(게이지 보손)의 질량은 0이 됩니다. 실제로 맥스웰 방정식의 전자기파는 질량이 0이며 빛의 속도로 전파됩니다.
만약 강한 힘을 매개하는 글루온이 질량이 0이라면, 강한 힘도 전자기력처럼 장거리에 걸쳐 작용해야 합니다. 그러나 현실의 물리 세계에서 강한 힘은 원자핵 정도의 극히 짧은 거리에서만 작용합니다. 이는 힘을 매개하는 입자가 실질적으로 질량을 가지고 있다 (혹은 그것과 등가인 효과가 있다)는 것을 의미합니다.
색 가둠과 질량 간극
양자색역학(QCD)에서는 쿼크나 글루온을 단독으로 꺼낼 수 없으며, 항상 여러 개가 모여 색(색전하)이 중화된 상태(하드론)로 관측됩니다. 이를 색 가둠 (Color Confinement)이라고 부릅니다.
쿼크나 글루온의 질량이 0이더라도, 그것들이 강하게 결합하여 형성되는 하드론(양성자나 중간자 등)은 유한한 질량을 가집니다. 이론의 진공 상태(가장 에너지가 낮은 상태)의 에너지를 0으로 했을 때, 다음으로 에너지가 낮은 상태(최초의 들뜬상태, 즉 가장 가벼운 입자)의 에너지는 $ \Delta > 0 $ 이 됩니다. 이 $ \Delta $ 를 질량 간극 이라고 부릅니다.
수학에서의 밀레니엄 현상금 문제인 ‘양-밀스 방정식과 질량 간극 문제’의 공식적인 스테이트먼트는 대략 다음과 같습니다.
임의의 콤팩트한 단순 게이지 군 $ G $ 에 대해, 자명하지 않은 양자 양-밀스 이론이 $ \mathbb{R}^4 $ 상에 존재하고, 그것이 유한한 질량 간극 $ \Delta > 0 $ 을 가진다는 것을 수학적으로 엄밀하게 증명하라.
graph LR
A["진공 상태 (E=0)"] -->|"질량 간극 Δ"| B["첫 번째 들뜬상태 (질량 > 0)"]
B -->|"더 높은 에너지"| C["더 무거운 하드론들"]
style A fill:#111,stroke:#0f0,stroke-width:2px,color:#0f0
style B fill:#111,stroke:#f00,stroke-width:2px,color:#f00
4. 수학적인 어려움: 구성적 양자장론
물리학자들은 파인만 다이어그램이나 재규격화 군의 수법을 사용하여 양-밀스 이론으로부터 많은 물리적 예측을 이끌어내고 있습니다. 그러나 이들은 섭동론(상호작용이 약하다고 가정하여 근사적으로 계산하는 수법)에 기초하고 있어, 수학적인 엄밀성이 결여되어 있습니다. 특히 저에너지 영역(결합 상수가 커지는 영역)에서는 섭동론이 파탄나기 때문에, 질량 간극이나 가둠을 증명할 수 없습니다.
수학적으로 엄밀한 양자장론을 구축하는 분야를 구성적 양자장론 (Constructive Quantum Field Theory)이라고 부릅니다. 지금까지 2차원이나 3차원의 시공간에서의 몇 가지 모델에 대해서는 엄밀한 구축이 이루어졌지만, 현실의 4차원 시공간에서의 비가환 게이지 이론(양-밀스 이론)의 엄밀한 구축에는 아무도 성공하지 못했습니다.
와이트먼 공리계
양자장을 수학적으로 엄밀하게 다루기 위한 틀로서, 와이트먼 공리계 (Wightman axioms)나 오스터월더-슈레이더 공리계 (Osterwalder-Schrader axioms)가 알려져 있습니다. 이들은 양자장이 만족해야 할 성질(푸앵카레 공변성, 국소 가환성, 스펙트럼 조건 등)을 공리로 정한 것입니다.
밀레니엄 현상금 문제를 해결하기 위해서는 먼저 양-밀스 이론이 이러한 공리를 만족하는 엄밀한 수학적 대상으로 존재한다는 것을 보이고, 그 위에 스펙트럼(에너지 고윳값)의 하한에 간극이 존재한다는 것(질량 간극)을 증명해야 합니다.
5. 격자 게이지 이론이라는 접근
엄밀한 증명으로 가는 발판으로서, 물리학자들이 자주 사용하는 수법에 격자 게이지 이론 (Lattice Gauge Theory)이 있습니다. 이는 연속적인 시공간을 이산적인 격자 모양으로 분할하고, 그 위에서 이론을 정식화하는 수법입니다.
1974년에 케네스 윌슨에 의해 제창된 이 수법에서는, 무한대로 발산하는 문제를 자연스럽게 회피(정칙화)할 수 있습니다. 컴퓨터를 이용한 몬테카를로 시뮬레이션에 의해, 격자 게이지 이론의 틀에서는 하드론의 질량 스펙트럼이 계산되어, 유한한 질량 간극이 존재한다는 것이 수치적으로 강하게 지지되고 있습니다.
$$ S_W = \beta \sum_{P} \left( 1 - \frac{1}{N_c} \text{실수부} \text{대각합} U_P \right) $$여기서 $ U_P $ 는 플라켓(격자의 최소 정사각형)을 따라가는 게이지 장의 홀로노미, $ \beta $ 는 결합 상수와 관련된 매개변수입니다.
그러나 시뮬레이션에서 수치적으로 나타났다고 해서 연속 시공간에서의 수학적인 증명을 얻은 것은 아닙니다. 격자 간격을 0으로 보내는 극한(연속 극한)을 취하는 과정을 엄밀하게 제어하는 것은 매우 어렵습니다.
6. 요약 및 향후 전망
양-밀스 방정식과 질량 간극 문제는 현대 물리학과 현대 수학이 교차하는 가장 깊고, 가장 난해한 영역에 위치해 있습니다. 물리학자들은 이미 이 이론을 사용하여 우주의 수수께끼를 풀어나가고 있지만, 수학자들은 아직 그 기초가 되는 ‘언어’의 문법이 올바르다는 것을 증명하지 못했습니다.
이 문제가 해결된다면, 우리가 우주를 이해하기 위한 강력한 수학적 틀이 완성되는 것입니다. 그것은 동시에 수학의 새로운 분야를 개척하는 획기적인 사건이 될 것입니다. 아직까지 결정적인 해결의 실마리는 보이지 않지만, 많은 천재들이 이 밀레니엄 현상금 문제에 계속해서 도전하고 있습니다.
우주의 근원적인 힘을 기술하는 양-밀스 방정식 과, 거기에 질량을 부여하는 질량 간극 . 이 두 가지 사이에 숨겨진 수학적인 비밀이 밝혀질 날을 전 세계가 기다리고 있습니다.