처음으로: 방정식과 해의 탐구

수학의 역사는 미지의 수를 탐구하는 역사이기도 합니다. 우리가 중학교 때 이차방정식을 배우면 근의 공식을 알게 됩니다. 하지만 실수 범위만 생각하다 보면 ‘해가 없는’ 방정식이 존재한다는 사실을 금방 깨닫게 됩니다. 예를 들어, $x^2 + 1 = 0$ 이라는 방정식은 실수 범위에서는 해를 갖지 않습니다. 왜냐하면 어떤 실수 $x$ 든 그 제곱은 반드시 $0$ 이상이 되고, 거기에 $1$ 을 더해서 $0$ 이 되는 일은 있을 수 없기 때문입니다.

이 문제를 해결하기 위해 도입된 것이 바로, 제곱하면 $-1$ 이 되는 가상의 수, 즉 허수 단위 $i$ 입니다. 이것을 포함하는 수의 체계를 복소수라고 부릅니다. 복소수를 도입함으로써 $x^2 + 1 = 0$ 의 해는 $x = \pm i$ 로 구할 수 있게 됩니다.

여기서 하나의 장대한 의문이 생깁니다. ‘수의 범위를 복소수까지 확장하면, 어떤 방정식이든 반드시 해를 갖는다고 말할 수 있을까?’ 혹은 ‘나중에 더 새로운 종류의 수를 도입해야 할 필요가 생기지는 않을까?’ 하는 의문입니다.

이 의문에 대해 수학은 매우 명확하고 아름다운 답을 준비해 두고 있습니다. 그것이 바로 본 글의 주제인 대수학의 기본 정리 (Fundamental Theorem of Algebra)입니다. 이 정리는 ‘복소수 계수의 임의의 $n$ 차 다항식은 복소수 범위 내에 반드시 근(해)을 갖는다’고 주장합니다. 즉, 복소수라는 광대한 수의 바다 속에는 어떤 방정식의 해라도 반드시 존재하며, 더 이상 새로운 수를 만들어낼 필요가 없다는 것을 보장해 주는 것입니다.

본 글에서는 이 대수학의 기본 정리 에 대해, 그 역사적 배경에서 출발하여 위상수학적인 직관에 의한 접근, 그리고 복소해석학을 이용한 엄밀하고 아름다운 증명까지 자세히 해설하겠습니다.

대수학의 기본 정리의 역사적 배경

대수학의 기본 정리 는 하루아침에 증명된 것이 아닙니다. 많은 위대한 수학자들이 이 정리의 진리를 의심하지 않고, 그 완전한 증명을 목표로 격투해 왔습니다.

17세기의 르네 데카르트나 알베르 지라르 같은 수학자들은 이미 ’ $n$ 차 방정식은 $n$ 개의 근을 가질 것이다’라는 사실을 경험적으로 알고 있었습니다. 하지만 당시의 수학적 틀에서는 그것을 엄밀하게 증명할 수단이 존재하지 않았습니다.

18세기에 들어서자 장 르 롱 달랑베르나 레온하르트 오일러 같은 거성들이 증명에 도전했습니다. 달랑베르는 1746년에 증명을 발표했고, 이 정리는 프랑스에서는 ‘달랑베르의 정리’라고 불리기도 하지만, 현대의 기준으로 보면 그의 증명에는 위상수학적 엄밀성이 결여된 부분이 있었습니다. 오일러 또한 실수 계수의 다항식이 일차식과 이차식의 곱으로 분해될 수 있음을 보이려고 했으나 논리적인 틈을 남겼습니다.

이 난공불락의 정리에 실질적으로 최초의 완전한 증명을 제공한 사람이 바로 카를 프리드리히 가우스입니다. 그는 1799년의 박사 논문에서 선행하는 수학자들의 증명에 있는 결함을 지적한 후, 기하학적 직관에 바탕을 둔 증명을 제시했습니다. 가우스는 평생 동안 이 정리에 대해 네 가지 다른 증명을 제시했는데, 그 자신이 이 정리를 얼마나 중요하게 여겼는지 짐작할 수 있습니다.

현대에서 가장 표준적이고 세련되었다고 여겨지는 증명은 프랑스의 수학자 조제프 리우빌 등이 구축한 복소해석학(함수론)의 이론에 바탕을 둔 것입니다. 본 글의 후반부에서는 이 리우빌의 정리를 이용한 증명을 소개합니다.

정리의 정확한 주장

먼저 정리의 주장을 수학적으로 정확한 언어로 기술해 두겠습니다.

정리 (대수학의 기본 정리) 임의의 $n \ge 1$ 을 만족하는 자연수 $n$ 과, 복소수 계수 $a_0, a_1, \dots, a_n$ (단, $a_n \neq 0$ )에 대하여, 다항식 $P(z)$ 를 다음과 같이 정의한다.

이때, 방정식 $P(z) = 0$ 은 복소평면 상에 적어도 하나의 해를 갖는다. 즉, $P(\alpha) = 0$ 이 되는 복소수 $\alpha$ 가 존재한다.

얼핏 보면 ‘적어도 하나’라고 말하고 있을 뿐이지만, 나머지 정리와 결합함으로써 ’ $n$ 차 방정식은 중복도를 포함하여 정확히 $n$ 개의 복소수 해를 갖는다’는 훨씬 강력한 주장을 쉽게 이끌어낼 수 있습니다. (이 점에 대해서는 후술할 ‘정리의 따름정리’에서 자세히 해설합니다.)

직관적인 이해: 위상수학적 접근

엄밀한 증명에 들어가기 전에 왜 이 정리가 성립하는지, 그 직관적인 이미지를 파악해 봅시다. 여기서는 위상수학(토폴로지)의 개념인 ‘회전수(Winding number)‘를 이용한 접근법을 소개합니다.

복소평면 상의 점을 극형식으로 $z = R e^{i\theta}$ 라고 나타내 봅시다. 여기서 $R$ 은 원점으로부터의 거리(반지름)이고, $\theta$ 는 각도입니다.

다항식 $P(z) = a_n z^n + a_{n-1} z^{n-1} + \dots + a_0$ 에 대해 생각해 봅니다. 만약 $R$ 이 매우 크다면, $z$ 의 절댓값은 거대해지고, 다항식의 값은 최고차항인 $a_n z^n$ 에 의해 거의 지배받게 됩니다. 즉, $R$ 이 충분히 클 때, $P(z) \approx a_n z^n$ 으로 근사할 수 있습니다.

여기서 반지름이 $R$ 인 거대한 원을 따라 $z$ 를 한 바퀴 돌린다고 합시다. $\theta$ 가 $0$ 에서 $2\pi$ 까지 변할 때, $z^n$ 의 각도는 $n\theta$ 가 되므로 $0$ 에서 $2n\pi$ 까지 변합니다. 이것은 $P(z)$ 가 그리는 궤적이 복소평면의 원점 주위를 정확히 $n$ 번 빙글빙글 도는 닫힌곡선이 됨을 의미합니다.

다음으로 이 반지름 $R$ 을 연속적으로 줄여가는 과정을 상상해 보십시오. $R$ 이 점차 작아지면 $P(z)$ 가 그리는 닫힌곡선도 연속적으로 변형됩니다. 그리고 최종적으로 $R = 0$ 이 되면, 곡선은 $P(0) = a_0$ 라는 한 점으로 수축하고 맙니다.

여기서 중요한 것이 연속성입니다. 처음에는 원점 주위를 $n$ 번 돌고 있던 큰 고리가 최종적으로는 원점을 통과하지 않는 한 점으로 줄어들게 됩니다. 고리가 원점을 넘지 않고 연속적으로 줄어들어 원점을 벗어난 한 점으로 모이는 것은 위상수학적으로 불가능합니다. 즉, 줄어드는 과정의 어딘가에서 이 곡선은 반드시 원점( $0$ )을 통과해야만 하는 것입니다.

곡선이 원점을 통과하는 순간, 그것은 바로 $P(z) = 0$ 이 되는 $z$ 가 존재함을 의미합니다. 이것이 해가 반드시 존재하는 직관적인 이유입니다.

  flowchart TD
    %% 곡선의 매핑 개요
    A["원점을 중심으로 하는 반지름 R의 큰 원"] -->|"다항식 P(z)에 의한 사상"| B["복소평면 상의 닫힌곡선"]
    B -->|"R이 충분히 클 경우"| C["원점 주위를 n번 도는 곡선"]
    C -->|"R을 연속적으로 0으로 축소"| D["곡선도 원점을 향해 연속적으로 축소"]
    D -->|"위상수학적인 연속성"| E["도중에 반드시 원점을 통과한다"]
    E -->|"P(z) = 0"| F["해의 존재가 증명됨"]

복소해석학을 위한 준비: 리우빌의 정리

직관적인 이해를 얻었으니, 드디어 현대 수학에서 가장 아름답고 엄밀한 증명을 소개해 드리겠습니다. 이 증명에는 복소해석학의 강력한 무기인 리우빌의 정리 (Liouville’s Theorem)를 사용합니다.

복소해석학이란 복소수를 변수로 하는 함수(복소함수)의 미적분을 다루는 분야입니다. 실수의 함수와는 달리 복소함수의 미분가능성(정칙성)은 매우 강한 조건이어서, 한 번이라도 미분가능한 복소함수는 무한 번 미분가능하며 테일러 전개가 가능하다는 놀라운 성질을 가지고 있습니다.

복소평면 전체에서 미분가능(정칙)한 함수를 전해석 함수 (Entire function)라고 부릅니다. 다항식 $P(z)$ 나 지수함수 $e^z$ 등이 전해석 함수의 대표적인 예입니다.

리우빌의 정리는 이 전해석 함수에 관한 매우 강력한 정리입니다.

정리 (리우빌의 정리) 유계인 전해석 함수는 상수함수뿐이다.

여기서 ‘유계’라는 것은 모든 복소수 $z$ 에 대하여 함수의 절댓값 $|f(z)|$ 가 어떤 실수 $M$ 을 넘지 않는, 즉 $|f(z)| \le M$ 이 되는 $M$ 이 존재함을 의미합니다.

실수의 세계에서는 예를 들어 $f(x) = \sin(x)$ 와 같은 함수는 수직선 전체에서 미분가능하면서 $-1 \le \sin(x) \le 1$ 로 유계입니다. 결코 상수함수가 아닙니다. 하지만 복소수의 세계에서는 이런 일이 절대 일어나지 않는다고 리우빌의 정리는 주장하고 있습니다. 복소평면 전체에서 정칙이면서 함수의 값이 무한의 저편으로 발산하지 않는다면, 그것은 단순한 평탄한 상수일 뿐인 것입니다.

대수학의 기본 정리의 엄밀한 증명

그러면 리우빌의 정리를 이용하여 대수학의 기본 정리를 증명해 봅시다. 증명의 산뜻함에 놀라실 것입니다. 여기서는 귀류법(Proof by contradiction)을 사용합니다.

증명

임의의 $n$ 차 ( $n \ge 1$ ) 복소계수 다항식 $P(z) = a_n z^n + \dots + a_1 z + a_0$ (단, $a_n \neq 0$ )에 대하여 방정식 $P(z) = 0$ 이 복소평면 상에 해를 갖지 않는다고 가정합니다.

즉, 모든 복소수 $z$ 에 대해 $P(z) \neq 0$ 이라고 가정합니다.

이때 새로운 함수 $f(z)$ 를 다음과 같이 정의합니다.

가정에 의해 분모인 $P(z)$ 는 결코 $0$ 이 되지 않으므로 이 함수 $f(z)$ 는 모든 복소평면 상에서 특이점(분모가 $0$ 이 되는 점)을 갖지 않습니다. 다항식 $P(z)$ 는 모든 곳에서 정칙(미분가능)이며, 그것이 $0$ 이 되지 않는 한 그 역수도 정칙입니다. 따라서 $f(z)$ 는 복소평면 전체에서 정칙인 함수, 즉 전해석 함수 가 됩니다.

다음으로 $f(z)$ 의 $|z|$ 가 무한대로 향할 때의 행동을 조사합니다. 삼각부등식을 이용하면, $|z|$ 가 충분히 클 때 다항식 $P(z)$ 의 절댓값의 크기는 최고차항에 지배받게 되므로 무한대로 발산합니다.

엄밀하게는 $|z| \to \infty$ 일 때,

가 됩니다. $P(z)$ 의 절댓값이 무한대로 발산한다는 것은 그 역수인 $f(z) = 1/P(z)$ 의 절댓값은 $0$ 에 수렴함을 의미합니다.

즉,

입니다. 극한이 $0$ 이 된다는 것은 어떤 충분히 큰 반지름 $R$ 을 가진 원의 바깥쪽에서는 $|f(z)| \le 1$ 과 같이 값을 억누를 수 있음을 의미합니다. 한편 반지름 $R$ 의 원의 안쪽을 포함하는 닫힌 원판 영역(유계 닫힌 영역)에 있어서 연속함수는 반드시 최댓값을 갖습니다. 따라서 원의 바깥쪽에서든 안쪽에서든 $f(z)$ 의 절댓값은 어떤 유한한 상한을 넘지 않습니다. 즉, $f(z)$ 는 유계 인 함수입니다.

여기까지 $f(z)$ 는 ‘전해석 함수’이면서 ‘유계’라는 것이 밝혀졌습니다. 여기에 리우빌의 정리 를 적용합니다. 유계인 전해석 함수는 상수함수여야만 합니다. 따라서 어떤 복소수 $c$ 가 존재하여 모든 $z$ 에 대해

가 됩니다. 그런데 $\lim_{|z| \to \infty} f(z) = 0$ 이었으므로 이 상수 $c$ 는 $0$ 이어야 합니다. 즉, 모든 $z$ 에 대해 $f(z) = 0$ 이 됩니다.

하지만 $f(z) = \frac{1}{P(z)}$ 이므로 분수함수가 $0$ 이 되는 것은 불가능합니다(분자가 $1$ 이기 때문입니다). 이것은 명백한 모순입니다.

이 모순은 ’ $P(z) = 0$ 이 복소평면 상에 해를 갖지 않는다’고 가정한 것에서 비롯되었습니다. 그러므로 귀류법에 의해 $P(z) = 0$ 은 복소평면 상에 적어도 하나의 해를 갖는다는 것이 증명되었습니다.

(증명 끝)

정리의 따름정리: 일차식의 곱으로의 인수분해

대수학의 기본 정리에 의해 ‘적어도 하나의 해’가 존재함이 보장되었습니다. 이 사실과 다항식의 나눗셈에 관한 인수정리 (Factor Theorem)를 결합함으로써 다항식을 완전히 일차식의 곱으로 분해할 수 있음을 증명할 수 있습니다.

어떤 $n$ 차 다항식 $P_n(z)$ 가 있을 때, 대수학의 기본 정리에 의해 $P_n(\alpha_1) = 0$ 이 되는 해 $\alpha_1$ 이 존재합니다. 인수정리에 따르면 $P_n(z)$ 는 $(z - \alpha_1)$ 을 인수로 갖습니다. 즉, 다음과 같이 인수분해할 수 있습니다.

여기서 $P_{n-1}(z)$ 는 $n-1$ 차 다항식입니다. 만약 $n-1 \ge 1$ 이라면 다시 대수학의 기본 정리를 적용하여 $P_{n-1}(z)$ 의 해 $\alpha_2$ 를 찾을 수 있습니다. 이것을 $n$ 번 반복함으로써 최종적으로 다음과 같이 완전히 인수분해할 수 있습니다.

이 결과로부터 ‘복소수 계수의 $n$ 차 방정식은 중복도를 포함하여 정확히 $n$ 개의 해를 갖는다’ 는 지극히 아름답고 완전한 결론을 이끌어낼 수 있습니다. 이것이 ‘기본 정리’라고 불리는 이유입니다.

또한 계수가 모두 실수인 다항식의 경우, 만약 $\alpha$ 가 해라면 그 켤레복소수 $\overline{\alpha}$ 도 반드시 해가 됩니다. 이 성질을 이용하면 ‘임의의 실수 계수 다항식은 실수 범위 내에서 일차식과 이차식의 곱으로 완전히 인수분해할 수 있다’는 사실도 도출됩니다.

마무리

본 글에서는 대수학의 기본 정리에 대해 역사적인 배경, 위상수학적인 직관, 그리고 리우빌의 정리를 이용한 복소해석학적인 증명을 자세히 살펴보았습니다.

얼핏 보면 대수학적인 방정식에 관한 정리이지만, 그 가장 세련된 증명이 해석학(미적분)이나 위상수학의 힘을 빌려 이루어진다는 점은 수학이라는 학문의 심오함과 각 분야가 밀접하게 연결되어 있다는 아름다움을 보여줍니다.

방정식의 해를 구하려는 인류의 오랜 탐구는 허수라는 새로운 수를 도입함으로써 복소평면이라는 광대한 무대를 얻게 되었고, 대수학의 기본 정리에 의해 그 무대의 완전성이 증명되었습니다. 이 정리는 현대 수학의 근간을 이루는 갈루아 이론이나 대수기하학으로 이어지는 눈부신 문을 여는 열쇠가 된 것입니다.