Security on kenji.blog

격자 암호(Lattice-based cryptography)의 수학적 직관

Fri, 11 Sep 2026 21:00:00 +0900

1. 도입: 포스트 양자 암호(PQC)의 여명과 격자 암호의 대두

현대 사회의 디지털 인프라를 지탱하고 있는 것은 RSA 암호나 타원곡선암호(ECC)를 비롯한 공개키 암호 기술입니다. 이러한 암호 방식은 ‘소인수분해 문제’나 ‘이산대수 문제’와 같은, 기존의 고전 컴퓨터로는 효율적으로 풀 수 없다고(지수 함수적인 시간이 소요된다고) 믿어지는 수학적 난해성에 안전성의 근거를 두고 있습니다.

그러나 1994년 피터 쇼어(Peter Shor)가 발표한 ‘쇼어 알고리즘(Shor’s algorithm)‘은 암호계에 큰 충격을 주었습니다. 이 알고리즘은 대규모 양자 컴퓨터가 실현될 경우 소인수분해 문제나 이산대수 문제를 다항식 시간 내에 풀어버린다는 것을 수학적으로 증명한 것입니다. 이는 즉, 현재 널리 이용되고 있는 공개키 암호가 장래에는 완전히 해독 가능해진다는 것을 의미합니다.

이러한 ‘양자 컴퓨터의 위협(Quantum Threat)‘에 대응하기 위해, 양자 컴퓨터를 사용해도 해독이 어려운 새로운 암호 방식의 연구가 시급해졌습니다. 이것이 ‘포스트 양자 암호(Post-Quantum Cryptography: PQC)’ 또는 ‘양자 내성 암호’라고 불리는 분야입니다.

PQC에는 몇 가지 유력한 후보가 존재합니다. 해시 기반 암호, 코드 기반 암호, 다변수 다항식 암호, 아이소제니 기반 암호 등을 들 수 있지만, 그 중에서도 현재 가장 주목받고 있으며 NIST(미국 국립표준기술연구소)의 PQC 표준화 프로세스의 중심이 되고 있는 것이 바로 ‘격자 암호(Lattice-based cryptography)‘입니다. 격자 암호는 다른 방식과 비교하여 암호화 및 복호화 처리 속도가 매우 빠르며, 또한 ‘최악의 경우 복잡도(Worst-case complexity)‘를 ‘평균적인 경우 복잡도(Average-case complexity)‘로 환원하는, 암호 이론에 있어서 극히 강력한 안전성 증명을 갖는다는 두드러진 특징을 가지고 있습니다.

본 기사에서는 이 격자 암호의 기초가 되는 ‘격자(Lattice)‘의 수학적 정의부터 출발하여, 격자 상의 어려운 문제인 SVP(최단 벡터 문제)나 CVP(최근접 벡터 문제), 그리고 현대 격자 암호의 심장부라고도 할 수 있는 ‘LWE 문제(Learning With Errors)‘에 대해 수식과 기하학적인 직관, 그리고 구체적인 수치 예를 섞어 철저하고 깊이 있게 해설하겠습니다.

2. 격자(Lattice)의 수학적 정의와 기하학적 직관

2.1 벡터 공간과 격자

수학에서 ‘격자(Lattice)‘란 $n$차원 실수 벡터 공간 $\mathbb{R}^n$ 내에 규칙적으로 늘어선 이산적인 점들의 집합을 말합니다. 선형대수학에서 배우는 벡터 공간(Vector Space)과 비슷하지만 결정적인 차이가 있습니다. 벡터 공간이 기저 벡터의 ‘실수 계수’를 통한 선형 결합으로 표현되는 연속적인 공간인 반면, 격자는 기저 벡터의 ‘정수 계수’를 통한 선형 결합으로 표현되는 이산적인 공간입니다.

수학적으로 엄밀한 정의를 내려보겠습니다. $m$차원 실수 벡터 공간 $\mathbb{R}^m$에서의 $n$개($n \le m$)의 선형 독립적인 벡터 $\mathbf{b}_1, \mathbf{b}_2, \dots, \mathbf{b}_n$을 생각해 봅시다. 이들 벡터를 열벡터로 가지는 행렬을 $B = [\mathbf{b}_1, \mathbf{b}_2, \dots, \mathbf{b}_n] \in \mathbb{R}^{m \times n}$이라고 합니다. 이 $B$를 격자의 ‘기저(Basis)‘라고 부릅니다.

이 기저 $B$에 의해 생성되는 격자 $\mathcal{L}(B)$는 다음과 같이 정의됩니다.

$$ \mathcal{L}(B) = \left\{ \sum_{i=1}^{n} x_i \mathbf{b}_i \mathrel{\bigg|} x_i \in \mathbb{Z} \right\} = \{ B \mathbf{x} \mid \mathbf{x} \in \mathbb{Z}^n \} $$

여기서 중요한 것은 계수 $x_i$가 실수 $\mathbb{R}$이 아니라 정수 $\mathbb{Z}$로 한정되어 있다는 점입니다. 이로 인해 공간 내에 무수히 존재하는 연속적인 점이 아니라, 일정한 간격으로 배치된 교차점과 같은 ‘이산적인 점들의 집합’이 형성됩니다.

2.2 기하학적 이미지

2차원 평면 $\mathbb{R}^2$의 예로 생각해 봅시다. 기저 벡터로서 $\mathbf{b}_1 = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$와 $\mathbf{b}_2 = \begin{pmatrix} 0 \\ 1 \end{pmatrix}$을 선택한 경우, 이들에 의해 생성되는 격자는 좌표평면 상의 모든 정수 좌표 $(x, y) \in \mathbb{Z}^2$의 집합이 됩니다. 이는 가장 단순한 ‘정방격자’입니다.

그러나 격자가 항상 직교하는 것은 아닙니다. 예를 들어, $\mathbf{b}_1 = \begin{pmatrix} 2 \\ 1 \end{pmatrix}$과 $\mathbf{b}_2 = \begin{pmatrix} 1 \\ 3 \end{pmatrix}$이라는 기저를 생각해보면, 생성되는 점은 비스듬하게 왜곡된 그물망의 교차점처럼 됩니다.

2.3 기저의 비유일성과 유니모듈러 변환

격자 암호의 안전성 근간과 관련된 중요한 성질이 있습니다. 그것은 ‘동일한 격자를 생성하는 기저는 무수히 존재한다’는 것입니다.

예를 들어, 앞서 설명한 $\mathbf{b}_1 = (1, 0)^T, \mathbf{b}_2 = (0, 1)^T$라는 기저가 생성하는 $\mathbb{Z}^2$ 격자는 $\mathbf{b}'_1 = (1, 1)^T, \mathbf{b}'_2 = (2, 3)^T$라는 기저를 사용해도 완전히 같은 격자 $\mathbb{Z}^2$를 생성합니다.

어떤 기저 $B$와 다른 기저 $B'$가 같은 격자를 생성하기 위한 필요충분조건은, 정수 성분을 가진 행렬 $U \in \mathbb{Z}^{n \times n}$이면서 행렬식이 $\det(U) = \pm 1$이 되는 것이 존재하여,

$$ B' = B U $$

로 표현될 수 있다는 것입니다. 이러한 행렬 $U$를 ‘유니모듈러 행렬(Unimodular matrix)‘이라고 부릅니다.

암호에 응용할 때의 기본적인 아이디어는 ‘좋은 기저(직교에 가깝고 짧은 벡터로 이루어진 기저)‘를 비밀키로 하고, ‘나쁜 기저(서로 극단적으로 비스듬하게 교차하며 매우 긴 벡터로 이루어진 기저)‘를 공개키로 사용하는 것입니다. 나쁜 기저로부터 좋은 기저를 계산해내는 것은 차원이 높아질수록 매우 어려워집니다. 이것이 격자 암호의 기본적인 직관입니다.

3. 격자에서의 계산이 어려운 문제

격자 암호의 안전성은 격자 상의 특정한 수학적 문제를 푸는 것의 어려움에 의존하고 있습니다. 여기서는 가장 기본적이면서 유명한 두 가지 문제를 소개합니다.

3.1 최단 벡터 문제(Shortest Vector Problem: SVP)

SVP는 격자 이론에서 가장 고전적이고 유명한 문제입니다.

정의 (SVP): 임의의 격자 기저 $B$가 주어졌을 때, 그 격자 $\mathcal{L}(B)$에 속하는 영(zero)이 아닌 벡터 중에서 유클리드 노름(길이)이 최소가 되는 벡터 $\mathbf{v}$를 찾아라.

수식으로 표현하면, $\min_{\mathbf{v} \in \mathcal{L}(B) \setminus \{\mathbf{0}\}} \| \mathbf{v} \|$가 되는 $\mathbf{v}$를 구하는 문제입니다. 이 최소 길이를 $\lambda_1(\mathcal{L})$로 쓰고, ‘격자의 제1연속 최소값(First successive minimum)‘이라고 부릅니다.

2차원이나 3차원처럼 낮은 차원이라면, 그림을 그려서 눈으로 가장 짧은 벡터를 찾을 수 있습니다. 또는 가우스의 격자 축소 알고리즘(Gauss lattice reduction algorithm) 등을 사용하여 효율적으로 풀 수 있습니다. 그러나 차원 $n$이 수백에서 수천과 같은 고차원이 되면, SVP를 엄밀하게 푸는 것은 NP-hard임이 알려져 있습니다.

실제 암호에서는 엄밀한 최단 벡터가 아니라, ‘근사적으로 짧은 벡터’를 찾는 근사 SVP($\gamma$-SVP)가 사용됩니다. 근사 계수 $\gamma$가 다항식 크기일 경우, 이 문제는 여전히 매우 어려운 것으로 간주됩니다.

3.2 최근접 벡터 문제(Closest Vector Problem: CVP)

CVP 또한 격자 암호에 있어서 매우 중요한 문제입니다.

정의 (CVP): 임의의 격자 기저 $B$와, 공간 내의 임의의 타겟 벡터 $\mathbf{t} \in \mathbb{R}^m$ (반드시 격자점일 필요는 없음)이 주어졌을 때, 격자점 중에서 $\mathbf{t}$에 가장 가까운 격자점 $\mathbf{v} \in \mathcal{L}(B)$를 찾아라.

수식으로 표현하면, $\min_{\mathbf{v} \in \mathcal{L}(B)} \| \mathbf{v} - \mathbf{t} \|$가 되는 격자점 $\mathbf{v}$를 찾는 문제입니다.

CVP 역시 SVP와 마찬가지로 고차원에서는 NP-hard입니다. 암호에의 응용이라는 관점에서, 후술할 LWE 문제는 이 CVP의 특수한 변형(Bounded Distance Decoding: BDD)과 밀접한 관계가 있습니다.

3.3 왜 고차원이 되면 풀 수 없는가? (LLL과 BKZ의 한계)

고차원의 격자 문제를 풀기 위한 유명한 알고리즘으로 LLL 알고리즘(Lenstra-Lenstra-Lovász algorithm)이 있습니다. LLL 알고리즘은 다항식 시간에 동작하며, 격자 기저를 어느 정도 ‘좋은 기저’로 축소(Reduction)할 수 있습니다. 그러나 LLL 알고리즘이 찾을 수 있는 최단 벡터는 진정한 최단 벡터의 길이에 대해 지수 함수적인($2^{\mathcal{O}(n)}$) 근사 계수를 가지기 때문에, 암호의 안전성을 깨뜨리기에는 역부족입니다.

LLL을 개량한 BKZ(Block Korkine-Zolotarev) 알고리즘과 같은 더 강력한 기저 축소 알고리즘을 사용하면 더 짧은 벡터를 찾을 수 있지만, 그 계산량은 블록 크기에 대해 지수 함수적으로 증가합니다. 격자 암호에서는 이 BKZ 알고리즘의 실행 시간을 추정함으로써 안전한 파라미터(차원 $n$의 크기 등)를 결정하고 있습니다. 현재 PQC의 표준 파라미터에서는 차원 $n$이 500에서 1000 이상의 값으로 선택되고 있으며, 슈퍼컴퓨터나 미래의 양자 컴퓨터를 사용하더라도 해독하는 데에는 우주의 나이 이상의 시간이 걸릴 것으로 여겨집니다.

4. LWE 문제(Learning With Errors)의 수학적 정식화

현대 격자 암호의 대부분은 2005년 오데드 레게브(Oded Regev)가 제안한 ‘LWE 문제(Learning With Errors)‘를 기반으로 하고 있습니다. LWE 문제의 아름다움은 그 정식화의 단순함과 ‘최악의 경우 복잡도에서 평균적인 경우 복잡도로의 환원’이라는 강력한 수학적 증명을 가지고 있다는 점에 있습니다.

4.1 노이즈가 없는 연립 일차 방정식

LWE 문제를 이해하기 위해, 우선 노이즈가 없는 단순한 연립 일차 방정식을 생각해 봅시다. 미지의 비밀 벡터 $\mathbf{s} \in \mathbb{Z}_q^n$ (각 성분은 $0$부터 $q-1$까지의 정수)가 있다고 가정합니다. 여기서 $q$는 소수라고 합니다.

랜덤한 계수 벡터 $\mathbf{a}_1, \mathbf{a}_2, \dots \in \mathbb{Z}_q^n$을 선택하고, 비밀 벡터 $\mathbf{s}$와의 내적을 법 $q$로 계산합니다. $b_1 = \langle \mathbf{a}_1, \mathbf{s} \rangle \pmod q$ $b_2 = \langle \mathbf{a}_2, \mathbf{s} \rangle \pmod q$ $\vdots$

충분한 수($n$개 이상)의 $(\mathbf{a}_i, b_i)$ 쌍이 주어질 경우, 우리는 선형대수의 ‘가우스 소거법(Gaussian elimination)‘을 사용하여 쉽게 비밀 벡터 $\mathbf{s}$를 복원할 수 있습니다. 이는 다항식 시간 내에 간단히 풀 수 있는 문제입니다.

4.2 LWE 문제의 정의: 노이즈를 더하다

그렇다면, 이 문제에 약간의 ‘노이즈(오차)‘를 더하면 어떻게 될까요? 이것이 LWE 문제의 본질입니다.

미지의 비밀 벡터 $\mathbf{s} \in \mathbb{Z}_q^n$에 대하여, 각 방정식의 결과에 작은 오차 $e_i \in \mathbb{Z}_q$를 더합니다. $b_i = \langle \mathbf{a}_i, \mathbf{s} \rangle + e_i \pmod q$

여기서 $e_i$는 평균이 0이고 표준편차가 비교적 작은(예를 들어 정규분포와 같은, 이산 가우스 분포에서 선택된) 작은 정수값입니다. 주어지는 정보는 랜덤한 벡터 $\mathbf{a}_i$와, 거기에 오차를 더해 계산된 $b_i$ 쌍의 리스트입니다. $( \mathbf{a}_1, b_1 ), ( \mathbf{a}_2, b_2 ), \dots, ( \mathbf{a}_m, b_m )$

이를 행렬로 표현하면 매우 깔끔해집니다. 랜덤한 행렬 $A \in \mathbb{Z}_q^{m \times n}$, 비밀 벡터 $\mathbf{s} \in \mathbb{Z}_q^n$, 오차 벡터 $\mathbf{e} \in \mathbb{Z}_q^m$을 사용하여,

$$ \mathbf{b} = A \mathbf{s} + \mathbf{e} \pmod q $$

라고 쓸 수 있습니다. 주어지는 것은 $A$와 $\mathbf{b}$뿐입니다. 여기서 $\mathbf{s}$를 구하는 것이 ‘탐색 LWE 문제(Search LWE problem)‘입니다.

오차 $e_i$가 들어있기 때문에, 가우스 소거법을 사용하려고 하면 방정식을 더하고 빼는 과정에서 오차가 지수 함수적으로 증폭되어 올바른 답에 도달할 수 없게 됩니다. 얼핏 보면 단순한 연립 일차 방정식처럼 보이지만, 이 작은 노이즈가 더해지는 것만으로 문제의 난이도가 NP-hard 수준으로 뛰어오르게 됩니다.

4.3 결정 LWE 문제(Decision LWE)

암호 이론의 증명에서 빈번하게 사용되는 것은 탐색 LWE 문제의 변형인 ‘결정 LWE 문제(Decision LWE problem)‘입니다.

결정 LWE 문제란, 다음의 2가지 분포에서 얻은 샘플의 리스트가 주어졌을 때, 그것이 어느 분포에서 온 것인지를 판정하는 문제입니다.

LWE 분포: 의도적으로 계산된 $(A, \mathbf{b} = A\mathbf{s} + \mathbf{e} \pmod q)$
균등 랜덤 분포: 완전히 랜덤하게 선택된 행렬 $A$와 벡터 $\mathbf{u}$로 이루어진 $(A, \mathbf{u})$

놀랍게도, LWE 문제의 파라미터를 적절히 선택하면, LWE 분포에서 얻은 쌍은 완전히 랜덤한 데이터 쌍과 ‘계산량적으로 식별 불가능(Computationally Indistinguishable)‘해집니다. 이 성질이 LWE 기반 암호가 ‘난수와 구별할 수 없는 암호문’을 생성할 수 있는 근거가 됩니다.

4.4 최악의 경우 복잡도에서 평균적인 경우 복잡도로의 환원(레게브의 정리)

오데드 레게브의 가장 큰 공적은 이 LWE 문제의 어려움을 앞서 언급한 격자 문제(SVP나 CVP)의 어려움에 수학적으로 연결시킨 것입니다.

그는 양자 환원(Quantum reduction)을 사용하여, ‘만약 LWE 문제를 평균적으로(랜덤하게 선택된 $A$와 $\mathbf{e}$에 대해) 풀 수 있는 다항식 시간 알고리즘이 존재한다면, 임의의 격자의 최악의 경우(가장 어려운 경우)의 Gap-SVP를 풀 수 있는 다항식 시간의 양자 알고리즘이 존재한다’는 것을 증명했습니다. (나중에 페이커트(Peikert) 등에 의해 고전적인 환원도 증명되었습니다.)

이는 암호 이론에 있어 꿈과 같은 성질입니다. 왜냐하면, ‘암호가 깨지는 것은 우리가 우연히 약한 키(평균적인 경우의 일부)를 선택해 버렸기 때문일지도 모른다’는 우려를 불식시키고, ‘평균적인 LWE를 풀 수 있다면, 격자의 모든 어려운 문제를 풀 수 있게 된다(그러므로 LWE는 절대적으로 어렵다)‘는 강력한 보증을 해주기 때문입니다.

graph TD A["최악의 경우 격자 문제 (Gap-SVP, SIVP)"] -->|양자/고전적 환원| B["평균적인 경우 LWE 문제"] B -->|암호학적 구성| C["LWE 기반 암호 시스템 (PKE, KEM, FHE)"] style A fill:#ffcccc,stroke:#ff0000,stroke-width:2px,color:#000 style B fill:#ccffcc,stroke:#00aa00,stroke-width:2px,color:#000 style C fill:#ccccff,stroke:#0000ff,stroke-width:2px,color:#000

5. LWE를 이용한 공개키 암호 방식(레게브 암호)의 구성

LWE 문제의 어려움을 이해했으니, 그것을 사용하여 어떻게 암호화와 복호화를 수행하는지, 오데드 레게브가 제안한 기본적인 공개키 암호 방식을 살펴봅시다. 여기서는 1비트의 메시지 $M \in \{0, 1\}$를 암호화하는 가장 기본적인 메커니즘을 설명합니다.

5.1 키 생성(Key Generation)

시스템 파라미터로서 법이 되는 소수 $q$, 차원 $n$, 방정식의 수 $m$($m > n \log q$)을 결정합니다.
비밀키로서 벡터 $\mathbf{s} \in \mathbb{Z}_q^n$를 랜덤하게 선택합니다.
랜덤한 행렬 $A \in \mathbb{Z}_q^{m \times n}$을 생성합니다.
작은 오차 벡터 $\mathbf{e} \in \mathbb{Z}_q^m$를 이산 가우스 분포 등의 오차 분포에서 선택합니다.
벡터 $\mathbf{b} = A \mathbf{s} + \mathbf{e} \pmod q$를 계산합니다.
공개키(Public Key)는 $(A, \mathbf{b})$가 됩니다.
비밀키(Secret Key)는 $\mathbf{s}$가 됩니다.

공개키는 그야말로 ‘LWE 문제의 인스턴스’ 그 자체입니다. 공개키 $(A, \mathbf{b})$로부터 비밀키 $\mathbf{s}$를 구하는 것은 탐색 LWE 문제를 푸는 것과 같기 때문에 안전성이 보장됩니다.

5.2 암호화(Encryption)

앨리스는 밥의 공개키 $(A, \mathbf{b})$를 사용하여, 1비트의 메시지 $M \in \{0, 1\}$를 암호화합니다.

랜덤한 이진 벡터(성분이 0 또는 1) $\mathbf{r} \in \{0, 1\}^m$를 선택합니다.
암호문의 전반부로서 벡터 $\mathbf{u} = A^T \mathbf{r} \pmod q$를 계산합니다. ($A^T$는 $A$의 전치 행렬입니다. 즉, $A$의 행 중에서 $\mathbf{r}$의 성분이 1인 행들을 더하는 것입니다).
암호문의 후반부로서 스칼라 $v = \mathbf{b}^T \mathbf{r} + M \cdot \lfloor \frac{q}{2} \rfloor \pmod q$를 계산합니다. (메시지 $M$이 0이면 아무것도 더하지 않고, $1$이면 $q$의 정확히 절반 값인 $\lfloor \frac{q}{2} \rfloor$를 더합니다).
암호문(Ciphertext)은 $(\mathbf{u}, v)$가 됩니다.

암호화의 직관적인 의미는 공개키의 행렬 $A$와 벡터 $\mathbf{b}$에 대하여 ‘랜덤한 부분 집합의 합’을 취하는 것입니다. 결정 LWE 문제의 어려움에 의해 이 암호문 $(\mathbf{u}, v)$는 완전히 랜덤한 벡터 및 균등 난수와 구별이 불가능한 것처럼 보입니다(의미론적 안전성: Semantic Security).

flowchart LR M["메시지 M in {0,1}"] --> Enc PK["공개키 (A, b)"] --> Enc r["랜덤 이진 벡터 r"] --> Enc subgraph Enc ["암호화 과정"] direction TB u_calc["u = A^T * r mod q"] v_calc["v = b^T * r + M * floor(q/2) mod q"] end Enc --> CT["암호문 (u, v)"]

5.3 복호화(Decryption)

밥은 비밀키 $\mathbf{s}$를 사용하여 암호문 $(\mathbf{u}, v)$를 복호화합니다.

다음 값을 계산합니다: $D = v - \mathbf{s}^T \mathbf{u} \pmod q$
계산한 결과가 $0$에 가까우면 $M=0$, $\lfloor \frac{q}{2} \rfloor$에 가까우면 $M=1$로 출력합니다.

왜 이렇게 복호화할 수 있는지 수학적으로 전개해 봅시다. $\mathbf{b} = A \mathbf{s} + \mathbf{e}$ 였음을 상기해 주십시오.

$$ \begin{aligned} v - \mathbf{s}^T \mathbf{u} &= (\mathbf{b}^T \mathbf{r} + M \cdot \lfloor \frac{q}{2} \rfloor) - \mathbf{s}^T (A^T \mathbf{r}) \\ &= ((A \mathbf{s} + \mathbf{e})^T \mathbf{r} + M \cdot \lfloor \frac{q}{2} \rfloor) - \mathbf{s}^T A^T \mathbf{r} \\ &= (\mathbf{s}^T A^T \mathbf{r} + \mathbf{e}^T \mathbf{r} + M \cdot \lfloor \frac{q}{2} \rfloor) - \mathbf{s}^T A^T \mathbf{r} \\ &= \mathbf{e}^T \mathbf{r} + M \cdot \lfloor \frac{q}{2} \rfloor \pmod q \end{aligned} $$

여기서, 식 안에서 $\mathbf{s}^T A^T \mathbf{r}$가 깔끔하게 상쇄되어 사라졌습니다! 남은 것은 $\mathbf{e}^T \mathbf{r} + M \cdot \lfloor \frac{q}{2} \rfloor$ 입니다.

$\mathbf{e}$는 성분이 매우 작은 노이즈 벡터이고, $\mathbf{r}$는 성분이 0 또는 1인 이진 벡터입니다. 따라서 이들의 내적인 $\mathbf{e}^T \mathbf{r}$도 (파라미터를 적절히 선택하면) 비교적 작은 값에 머물게 됩니다.

만약 $M=0$이라면 결과는 $\mathbf{e}^T \mathbf{r}$가 되어 $0$에 가까운 작은 값이 됩니다.
만약 $M=1$이라면 결과는 $\mathbf{e}^T \mathbf{r} + \lfloor \frac{q}{2} \rfloor$가 되어 $q$의 절반 값인 $\lfloor \frac{q}{2} \rfloor$의 주변에 위치하게 됩니다.

오차 $\mathbf{e}^T \mathbf{r}$의 절댓값이 $\frac{q}{4}$ 미만으로 수렴하도록 파라미터가 설계되어 있다면, 밥은 계산 결과가 $0$과 $\lfloor \frac{q}{2} \rfloor$ 중 어느 쪽에 더 가까운지를 보는 것만으로 메시지 $M$을 정확하게 판정(복호화)할 수 있습니다. 이것이 LWE 기반 암호가 기능하는 아름다운 메커니즘입니다.

flowchart LR CT["암호문 (u, v)"] --> Dec SK["비밀키 s"] --> Dec subgraph Dec ["복호화 과정"] direction TB calc["D = v - s^T * u mod q 계산"] check["D가 0 또는 q/2 중 어디에 가까운지 확인"] end calc --> check Dec --> M_out["복원된 메시지 M"]

6. 구체적인 수치를 이용한 LWE 암호의 토이 이그잼플

수식의 나열만으로는 실감하기 어려울 것이라 생각하므로, 실제로 매우 작은 수치 파라미터를 설정하여 암호화부터 복호화까지의 계산을 따라가 보겠습니다. (※실제 암호 시스템에서는 안전성 확보를 위해 $n$은 500 이상, $q$는 수천 이상의 값이 사용됩니다)

【파라미터 설정】

법 $q = 17$ (소수. 따라서 값은 $0$부터 $16$까지의 범위를 갖습니다)
차원 $n = 2$
방정식의 수 $m = 4$
메시지 $M = 1$을 암호화한다고 가정합니다.
메시지의 시프트 양: $\lfloor \frac{q}{2} \rfloor = \lfloor \frac{17}{2} \rfloor = 8$

【1. 키 생성 단계】 밥은 비밀키 $\mathbf{s}$와 행렬 $A$, 오차 벡터 $\mathbf{e}$를 랜덤하게 선택합니다.

$$ \mathbf{s} = \begin{pmatrix} 3 \\ 4 \end{pmatrix} \in \mathbb{Z}_{17}^2 $$ $$ A = \begin{pmatrix} 2 & 15 \\ 1 & 8 \\ 14 & 5 \\ 9 & 10 \end{pmatrix} \in \mathbb{Z}_{17}^{4 \times 2} $$ $$ \mathbf{e} = \begin{pmatrix} 1 \\ -1 \\ 0 \\ 2 \end{pmatrix} \equiv \begin{pmatrix} 1 \\ 16 \\ 0 \\ 2 \end{pmatrix} \pmod{17} $$

다음으로 공개키 $\mathbf{b}$를 계산합니다.

$$ A \mathbf{s} = \begin{pmatrix} 2 & 15 \\ 1 & 8 \\ 14 & 5 \\ 9 & 10 \end{pmatrix} \begin{pmatrix} 3 \\ 4 \end{pmatrix} = \begin{pmatrix} 2\times 3 + 15\times 4 \\ 1\times 3 + 8\times 4 \\ 14\times 3 + 5\times 4 \\ 9\times 3 + 10\times 4 \end{pmatrix} = \begin{pmatrix} 6 + 60 \\ 3 + 32 \\ 42 + 20 \\ 27 + 40 \end{pmatrix} = \begin{pmatrix} 66 \\ 35 \\ 62 \\ 67 \end{pmatrix} $$

이를 법 17로 계산합니다. ($66 = 17 \times 3 + 15$ 등)

$$ A \mathbf{s} \pmod{17} = \begin{pmatrix} 15 \\ 1 \\ 11 \\ 16 \end{pmatrix} $$

오차 벡터 $\mathbf{e}$를 더합니다.

$$ \mathbf{b} = A \mathbf{s} + \mathbf{e} = \begin{pmatrix} 15 \\ 1 \\ 11 \\ 16 \end{pmatrix} + \begin{pmatrix} 1 \\ 16 \\ 0 \\ 2 \end{pmatrix} = \begin{pmatrix} 16 \\ 17 \\ 11 \\ 18 \end{pmatrix} \equiv \begin{pmatrix} 16 \\ 0 \\ 11 \\ 1 \end{pmatrix} \pmod{17} $$

공개키는 $A$와 $\mathbf{b} = (16, 0, 11, 1)^T$가 됩니다.

【2. 암호화 단계】 앨리스는 메시지 $M = 1$을 암호화합니다. 랜덤한 벡터 $\mathbf{r}$를 선택합니다. 여기서는 $\mathbf{r} = (1, 0, 1, 0)^T$로 합니다.

$\mathbf{u}$를 계산합니다.

$$ \mathbf{u} = A^T \mathbf{r} = \begin{pmatrix} 2 & 1 & 14 & 9 \\ 15 & 8 & 5 & 10 \end{pmatrix} \begin{pmatrix} 1 \\ 0 \\ 1 \\ 0 \end{pmatrix} = \begin{pmatrix} 2 \times 1 + 14 \times 1 \\ 15 \times 1 + 5 \times 1 \end{pmatrix} = \begin{pmatrix} 16 \\ 20 \end{pmatrix} \equiv \begin{pmatrix} 16 \\ 3 \end{pmatrix} \pmod{17} $$

$v$를 계산합니다.

$$ \mathbf{b}^T \mathbf{r} = (16, 0, 11, 1) \begin{pmatrix} 1 \\ 0 \\ 1 \\ 0 \end{pmatrix} = 16 \times 1 + 11 \times 1 = 27 \equiv 10 \pmod{17} $$

메시지 $M=1$에 해당하는 값 $\lfloor 17/2 \rfloor = 8$을 더합니다.

$$ v = \mathbf{b}^T \mathbf{r} + M \cdot 8 = 10 + 1 \times 8 = 18 \equiv 1 \pmod{17} $$

앨리스는 암호문으로 $(\mathbf{u}, v) = \left( \begin{pmatrix} 16 \\ 3 \end{pmatrix}, 1 \right)$을 밥에게 전송합니다.

【3. 복호화 단계】 암호문을 받은 밥은 비밀키 $\mathbf{s} = (3, 4)^T$를 사용하여 복호화합니다. 복호화 처리식: $D = v - \mathbf{s}^T \mathbf{u} \pmod{17}$을 계산합니다.

$$ \mathbf{s}^T \mathbf{u} = (3, 4) \begin{pmatrix} 16 \\ 3 \end{pmatrix} = 3 \times 16 + 4 \times 3 = 48 + 12 = 60 \equiv 9 \pmod{17} $$ $$ D = v - \mathbf{s}^T \mathbf{u} = 1 - 9 = -8 \pmod{17} $$

여기서 법 17의 세계에서는 $-8$이 $9$와 같아집니다($-8 + 17 = 9$). 얻어진 값 $D = 9$를 $0$과 $8$($\lfloor 17/2 \rfloor$) 중 어디에 가까운지 판정합니다. $9$는 $0$보다 $8$에 명백히 더 가깝기 때문에 밥은 올바르게 $M = 1$을 복원할 수 있었습니다!

왜 $9$가 되었을까요? 앞서 설명한 증명을 상기해 봅시다. 오차 부분은 $\mathbf{e}^T \mathbf{r} = (1, -1, 0, 2) (1, 0, 1, 0)^T = 1 \times 1 + 0 \times 1 = 1$로 되어 있습니다. 따라서 계산 결과는 $\mathbf{e}^T \mathbf{r} + M \cdot 8 = 1 + 8 = 9$가 되어, 이론대로의 값이 계산되었음을 확인할 수 있었습니다.

7. 실용화를 향한 진화: Ring-LWE와 Module-LWE

지금까지 설명한 표준적인 LWE 문제(Standard LWE)는 매우 강력한 안전성 증명을 가지고 있지만, 실용상 치명적인 약점이 있습니다. 그것은 ‘키의 크기가 거대해진다는 것’과 ‘계산 비용이 높다는 것’입니다.

Standard LWE에서는 공개키에 거대한 행렬 $A \in \mathbb{Z}_q^{m \times n}$이 포함됩니다. 파라미터 $n$이 수백에서 수천이 되면 이 행렬의 크기는 수 메가바이트에 달해, 인터넷 상의 통신 프로토콜(TLS 등)에서 매번 송수신하기에는 너무 무겁습니다. 또한 행렬과 벡터의 곱셈에는 $\mathcal{O}(n^2)$의 계산량이 듭니다.

이 문제를 해결하기 위해 도입된 것이 다항식 환(Polynomial rings)이라는 대수적인 구조를 격자에 결합한 ‘Ring-LWE(RLWE)‘나 ‘Module-LWE(MLWE)‘입니다.

7.1 Ring-LWE의 직관

Ring-LWE에서는 벡터나 행렬을 다항식 환 $\mathcal{R}_q = \mathbb{Z}_q[X]/(X^n + 1)$ 상의 요소(다항식)로 대체합니다. (여기서 $n$은 2의 거듭제곱으로 선택됩니다).

Standard LWE의 공개키가 행렬 $A$였던 것에 반해, Ring-LWE에서는 단일 다항식 $a(x)$를 사용합니다. 비밀키 $s(x)$나 오차 $e(x)$도 다항식이 됩니다. 방정식은 다음과 같이 됩니다.

$$ b(x) = a(x) \cdot s(x) + e(x) \pmod q $$

이는 다항식의 곱셈이므로 고속 푸리에 변환(FFT)과 유사한 ‘수론 변환(Number Theoretic Transform: NTT)‘을 사용함으로써 계산량을 $\mathcal{O}(n \log n)$까지 극적으로 줄일 수 있습니다. 게다가 공개키의 크기도 행렬에서 단일 다항식으로 작아지기 때문에 데이터 크기가 $\mathcal{O}(n)$으로 감소합니다. 이는 통신 대역폭에 있어서 압도적인 우위를 가져옵니다.

수학적으로 보면, Ring-LWE는 일반적인 격자가 아니라 ‘아이디얼 격자(Ideal Lattice)‘라고 불리는 특수한 대칭성을 가진 격자 상의 문제로 귀결됩니다.

7.2 Module-LWE와 NIST의 표준화 (Kyber / ML-KEM)

Ring-LWE는 효율적이지만, 아이디얼 격자의 특수한 대수적 구조가 장래의 공격 실마리가 되지 않을까 하는 일말의 우려가 있었습니다. 그래서 Standard LWE의 보수적인 안전성과 Ring-LWE의 효율성의 ‘장점만을 취한’ 것이 ‘Module-LWE(MLWE)‘입니다.

Module-LWE에서는 다항식을 요소로 하는 작은 행렬과 벡터를 생각합니다. 즉, 환 상의 모듈(가군)을 다룹니다. 현재 NIST가 PQC의 키 캡슐화 메커니즘(KEM) 표준으로 선정한 ‘CRYSTALS-Kyber’(표준화 명칭: ML-KEM)는 바로 이 Module-LWE 문제의 어려움에 기반하여 구축되어 있습니다.

8. 왜 양자 컴퓨터에 대해 안전한가?

마지막으로, ‘왜 격자 암호는 양자 컴퓨터를 사용해도 해독되지 않는다고 여겨지는가?‘라는 핵심 부분을 짚고 넘어가겠습니다.

양자 컴퓨터가 RSA 암호나 타원곡선암호를 깨는 쇼어 알고리즘은 본질적으로 ‘은닉 부분군 문제(Hidden Subgroup Problem: HSP)‘를 푸는 알고리즘입니다. RSA나 ECC의 배경에 있는 수학적 구조(유한 아벨 군)는 주기성을 가지고 있으며, 양자 푸리에 변환(QFT)이라는 양자 알고리즘 특유의 조작을 사용함으로써 이 주기(숨겨진 부분군)를 단번에 추출할 수 있습니다.

그러나 격자 문제는 근본적으로 다릅니다. 격자에도 주기성은 있지만, SVP나 CVP에서 요구되는 것은 ‘최단 거리’나 ‘노이즈 제거’라는 기하학적이고 비선형적인 성질입니다. 쇼어 알고리즘과 같은 ‘아벨 군 상의 양자 푸리에 변환’을 그대로 적용하더라도 격자 문제의 해답이 되는 유용한 정보를 효율적으로 추출할 수 없습니다. 현재까지 SVP나 LWE에 대해 다항식 시간에 풀 수 있는 양자 알고리즘은 발견되지 않았으며, 양자 컴퓨터의 병렬 계산 능력을 동원하더라도 무차별 대입에 가까운 탐색(그로버 알고리즘에 의한 제곱근 수준의 고속화 정도)만이 유효한 수단이라고 널리 믿어지고 있습니다.

9. 요약

본 기사에서는 격자 암호의 수학적 직관에 대해 격자의 기하학적 정의부터 시작하여 LWE 문제의 정식화, 그리고 공개키 암호의 구성에 이르기까지 상세히 해설했습니다.

격자(Lattice) 는 기저 벡터의 정수 계수 선형 결합으로 표현되는 이산적인 공간이며, 고차원에서는 직교에 가까운 ‘좋은 기저’를 찾는 것(SVP)이 어려워집니다.
LWE 문제(Learning With Errors) 는 노이즈가 포함된 연립 일차 방정식을 푸는 문제이며, 이것이 격자의 최악의 경우 문제의 어려움에 연결되어 있기 때문에 강력한 안전성의 근거를 제공합니다.
LWE 문제를 이용함으로써 노이즈를 의도적으로 더하거나 소거하는 교묘한 메커니즘을 통해 암호화 및 복호화(레게브 암호)가 실현됩니다.
실제 프로토콜에서는 통신 효율과 계산 속도를 높이기 위해 다항식 환을 사용한 Ring-LWE나 Module-LWE가 채택되고 있으며, NIST 표준인 ML-KEM의 기반이 되고 있습니다.

양자 컴퓨터라는 전대미문의 계산 패러다임 시프트가 다가오는 가운데, 고전적인 선형대수와 정수론의 심연에서 탄생한 ‘격자 암호’가 미래 인터넷 보안의 기반을 담당한다는 것은 매우 낭만적인 이야기입니다. 격자 암호의 기초가 되는 수학은 결코 너무 난해한 것이 아니며, 선형대수와 확률에 대한 기초 지식이 있다면 충분히 그 아름다운 구조를 이해할 수 있습니다. 본 기사가 PQC의 핵심이 되는 격자 암호에 대한 이해에 도움이 되기를 바랍니다.

영지식 증명(ZKP)의 구조와 최신 Web3 및 보안에의 응용

Fri, 11 Sep 2026 19:00:00 +0900

들어가며

현대 디지털 사회에서 데이터 프라이버시와 확장성(scalability)은 가장 중요한 두 가지 과제가 되었습니다. 개인정보 유출이나 부정 사용의 위험이 높아지는 가운데, “자신에 관한 정보를 상대방에게 밝히지 않고 자신이 그 정보를 가지고 있음을 증명하는” 기술이 강력하게 요구되고 있습니다. 이를 실현하는 것이 **영지식 증명(Zero-Knowledge Proof: ZKP)**입니다.

영지식 증명은 1980년대에 Shafi Goldwasser, Silvio Micali, Charles Rackoff에 의해 처음 제창된 암호 이론의 개념이지만, 오랫동안 이론적인 연구에 머물러 있었습니다. 그러나 블록체인 기술과 Web3의 대두로 상황은 완전히 바뀌었습니다. 이더리움(Ethereum) 등의 퍼블릭 블록체인이 직면한 확장성 문제(처리 능력의 한계)와 프라이버시 문제(모든 트랜잭션이 공개되는 것)를 동시에 해결하는 “마법의 지팡이"로서 ZKP는 일약 각광받게 되었습니다.

본 기사에서는 영지식 증명의 기본적인 개념부터 현재 주류를 이루고 있는 zk-SNARKs 및 zk-STARKs의 심오한 수학적·암호학적 메커니즘, 그리고 ZK-Rollups나 분산형 신원 증명(DID)과 같은 최신 Web3·보안 응용 사례에 이르기까지 매우 상세하고 기술적으로 깊이 있게 해설합니다.

영지식 증명(ZKP)이란 무엇인가?

영지식 증명(ZKP)이란 어떤 명제가 참이라는 것을 증명자(Prover)가 검증자(Verifier)에게 증명할 때, “그 명제가 참이라는 것 이외의 어떠한 정보도 전달하지 않는” 프로토콜을 뜻합니다.

ZKP가 충족해야 할 3가지 요건

ZKP로 성립하기 위해서는 다음의 3가지 특성을 엄밀하게 충족해야 합니다.

완전성 (Completeness) 명제가 참이고 증명자와 검증자 양측이 올바르게 프로토콜을 따른다면, 검증자는 압도적인 확률로 그 증명을 수락(Accept)해야 합니다.
건전성 (Soundness) 명제가 거짓이라면, 아무리 계산 능력이 뛰어나고 악의적인 증명자라 할지라도 검증자를 속여 증명을 수락하게 만드는 것은 (무시할 수 있을 정도로 작은 확률을 제외하고) 불가능합니다.
영지식성 (Zero-Knowledge) 명제가 참인 경우, 검증자는 “명제가 참이다"라는 사실 이외의 어떠한 정보도 증명 과정에서 얻을 수 없습니다. 검증자의 관점에서 보면, 증명 과정을 시뮬레이션하는 것이 가능하다(시뮬레이터가 존재한다)는 수학적 정의에 의해 증명됩니다.

대화형 증명과 비대화형 증명

ZKP에는 증명자와 검증자가 여러 번 통신을 주고받는 **대화형 증명(Interactive ZKP)**과 증명자가 한 번만 증명 데이터를 전송하고 끝나는 **비대화형 증명(Non-Interactive ZKP)**의 두 종류가 존재합니다.

대화형 증명 (Interactive ZKP)

초기의 ZKP는 대화형 프로토콜로 설계되었습니다. 유명한 “알리바바의 동굴” 비유가 이에 해당합니다. 일반적인 프로토콜의 흐름은 다음과 같습니다.

sequenceDiagram participant Prover as "Prover (증명자)" participant Verifier as "Verifier (검증자)" Note over Prover, Verifier: "대화형 증명 프로토콜의 기본 흐름" Prover->>Verifier: "1. 커미트먼트 전송 (Commitment)" Verifier->>Prover: "2. 무작위 챌린지 전송 (Challenge)" Prover->>Verifier: "3. 응답 계산 및 전송 (Response)" Note over Verifier: "응답 검증 (Verification)" Verifier-->>Prover: "4. 수락 또는 거부 (Accept / Reject)" Note over Prover, Verifier: "※정확도를 높이기 위해 이를 수십 번 반복함"

이 방법은 강력하지만, 검증자가 온라인 상태여야 하므로 블록체인과 같은 비동기적인 분산 시스템에 적용하기에는 불편합니다. 블록체인에서는 누구나 언제든지 과거의 증명을 검증할 수 있어야 합니다.

피아트-샤미르 변환과 비대화화

대화형 증명을 비대화형 증명(Non-Interactive Zero-Knowledge Proof: NIZK)으로 변환하기 위한 획기적인 기법이 바로 **피아트-샤미르 변환(Fiat-Shamir Heuristic)**입니다.

검증자가 전송하는 “무작위 챌린지” 대신, 증명자가 자신의 커미트먼트와 공개 정보의 해시값을 사용하여 “유사 무작위 챌린지"를 스스로 생성합니다. 암호학적 해시 함수(예: SHA-256이나 Keccak 등)가 랜덤 오라클로 기능한다는 전제하에, 증명자는 챌린지를 사전에 예측하거나 조작할 수 없으며, 대화형 증명과 동등한 보안성을 유지한 채 단 한 번의 메시지 전송으로 증명을 완료할 수 있습니다.

zk-SNARKs의 기술적 세부 사항

현재 ZKP 중에서 가장 널리 사용되는 것이 zk-SNARKs(Zero-Knowledge Succinct Non-Interactive Argument of Knowledge)입니다. 이름 그대로 영지식성(zk)을 가지며, 증명 크기가 매우 작고 검증이 빠르며(Succinct), 비대화형(Non-Interactive)인 지식의 논증(Argument of Knowledge)입니다.

zk-SNARKs의 기반이 되는 것은 고도의 대수기하학과 암호 이론입니다. 프로그램의 실행이나 계산을 특정 다항식의 방정식 검증으로 변환합니다.

1. 산술 회로와 R1CS(Rank-1 Constraint System)로의 변환

먼저, 증명하고자 하는 임의의 계산(알고리즘이나 스마트 컨트랙트의 로직)을 덧셈 게이트와 곱셈 게이트로 이루어진 **산술 회로(Arithmetic Circuit)**로 변환합니다.

다음으로, 이 산술 회로를 **R1CS(Rank-1 Constraint System)**라는 행렬 방정식의 집합으로 변환합니다. R1CS는 변수 벡터 $x$에 대해 다음과 같은 제약을 만족하는 행렬 $A, B, C$를 찾는 문제입니다.

$$ (A \cdot x) \circ (B \cdot x) = C \cdot x $$

여기서 $\circ$는 아다마르 곱(요소별 곱)을 나타냅니다. 이 제약은 회로 내의 모든 논리 게이트(특히 곱셈 게이트)가 올바르게 계산되었음을 보장합니다.

2. QAP(Quadratic Arithmetic Program)로의 변환

R1CS의 행렬 제약은 무수히 존재하기 때문에 이를 개별적으로 검증하는 것은 매우 비효율적입니다. 따라서 라그랑주 보간법을 사용하여 이러한 제약들을 단일 다항식 방정식으로 압축합니다. 이것이 **QAP(Quadratic Arithmetic Program)**입니다.

QAP로의 변환을 통해 증명해야 할 문제는 “특정 다항식 $P(x)$가 미리 알려진 다른 다항식 $Z(x)$로 나누어 떨어지는가?“라는 문제로 귀결됩니다.

$$ P(x) = L(x) \cdot R(x) - O(x) $$

여기서 $L(x), R(x), O(x)$는 각각 행렬 $A, B, C$의 각 행에 해당하는 다항식을 결합한 것입니다. 만약 증명자가 올바른 해(Witness)를 알고 있다면, $P(x)$의 각 근(평가점)에서 값이 0이 되므로 $P(x)$는 타깃 다항식 $Z(x)$를 인수로 갖게 됩니다. 즉, 어떤 다항식 $H(x)$가 존재하여 다음 식이 성립합니다.

$$ P(x) = H(x) \cdot Z(x) $$

검증자는 어떤 무작위의 비밀 점 $s$에서 이 방정식 $P(s) = H(s) \cdot Z(s)$가 성립하는지 확인하는 것만으로 계산 전체가 올바르게 수행되었는지를 순식간에 검증할 수 있습니다. 이것이 “간결성(Succinct)“의 비밀입니다.

3. 타원 곡선 암호와 페어링 (Bilinear Pairings)

그러나 검증자가 비밀 점 $s$를 알고 있다면 증명자가 가짜 다항식을 날조하여 방정식을 만족시키는 것이 가능해집니다(건전성의 붕괴). 따라서 $s$를 아무도 알 수 없게 암호화(동형 암호를 이용)한 상태에서 계산을 수행해야 합니다.

이를 실현하는 것이 **타원 곡선 페어링(Bilinear Pairings)**입니다. 페어링 $e$는 암호화된 두 값으로부터 이들의 곱을 암호화한 것에 해당하는 값을 계산할 수 있는 특수한 함수입니다.

$$ e(g_1^a, g_2^b) = e(g_1, g_2)^{ab} $$

증명자는 $s$ 자체를 모르더라도 $s$의 거듭제곱이 암호화된 값(이를 CRS: Common Reference String이라 부릅니다)을 사용하여 다항식 $P(s)$나 $H(s)$의 암호화된 값을 계산합니다. 검증자는 페어링 함수를 사용하여 암호화된 값 상태 그대로 $P(s) = H(s) \cdot Z(s)$의 관계가 성립하는지를 검증합니다.

4. 신뢰할 수 있는 설정 (Trusted Setup)

zk-SNARKs(특히 초기의 Groth16 등)의 가장 큰 약점은 비밀 점 $s$를 생성하는 과정, 이른바 **신뢰할 수 있는 설정(Trusted Setup)**이 필요하다는 점입니다. 만약 $s$의 생성자가 그 값을 파기하지 않고 보유하고 있다면 임의의 가짜 증명을 생성할 수 있게 됩니다(Toxic Waste 문제).

이를 방지하기 위해 다자간 컴퓨팅(Multi-Party Computation: MPC)을 활용한 “세리머니(Ceremony)“라는 의식이 진행됩니다. 다수의 참여자가 협력하여 무작위성을 제공하고, 적어도 1명의 참여자가 정직하게 자신의 무작위 값을 파기한다면 시스템 전체의 보안이 유지되는 구조입니다. 그러나 이러한 의존성을 제거하기 위한 연구가 오랫동안 계속되어 왔습니다.

zk-STARKs의 기술적 세부 사항

신뢰할 수 있는 설정에 대한 의존성과 양자 컴퓨터에 의한 타원 곡선 암호 해독 위험에 대한 해답으로 등장한 것이 zk-STARKs(Zero-Knowledge Scalable Transparent Argument of Knowledge)입니다.

Eli Ben-Sasson 등이 개발한 STARKs는 “투명성(Transparent)“이라는 이름대로 신뢰할 수 있는 설정이 전혀 필요하지 않으며, “확장성(Scalable)“이라는 이름대로 계산량이 증가해도 증명 크기와 검증 시간이 효율적으로 유지된다는 특징을 가지고 있습니다.

1. 다항식 커미트먼트와 FRI 프로토콜

zk-STARKs는 타원 곡선 암호가 아닌, 해시 함수에만 보안의 근거를 두고 있습니다. 따라서 양자 내성 암호(Post-Quantum Cryptography)로서의 성질을 가집니다.

계산의 검증은 AIR(Algebraic Intermediate Representation)라는 형식으로 변환된 후, 1차원 또는 다차원 다항식의 성질을 이용하여 수행됩니다. STARKs의 핵심은 FRI(Fast Reed-Solomon Interactive Oracle Proof of Proximity) 프로토콜에 있습니다.

FRI 프로토콜은 “어떤 함수가 특정 차수의 다항식에 충분히 가까운가(Proximity)“를 검증하는 기술입니다. 증명자는 다항식의 값을 머클 트리(Merkle Tree)의 리프(leaf)로 커밋(다항식 커미트먼트)합니다.

graph TD Root["Merkle Root (커미트먼트)"] --> Node0["Node 0"] Root --> Node1["Node 1"] Node0 --> Leaf0["P(x_0)"] Node0 --> Leaf1["P(x_1)"] Node1 --> Leaf2["P(x_2)"] Node1 --> Leaf3["P(x_3)"]

검증자는 무작위로 몇 개의 점을 공개하도록 요구하고, 머클 프루프(Merkle Proof)를 사용하여 그것들이 커미트먼트에 포함되어 있는지 확인합니다. 이를 재귀적으로 반복함으로써 원래 다항식의 차수가 실제로 낮다는 것을 압도적인 확률로 보장합니다.

zk-SNARKs와 zk-STARKs의 비교

특징	zk-SNARKs	zk-STARKs
암호학적 가정	타원 곡선, 페어링	충돌 저항성 해시 함수
신뢰할 수 있는 설정	필요 (Plonk 등은 범용적)	불필요 (Transparent)
양자 내성	없음	있음
증명 크기	매우 작음 (~200 Byte)	다소 큼 (수십 KB)
증명 생성의 계산 비용	높음	SNARKs보다 비교적 낮음
검증 비용 (가스비)	매우 낮음 (일정함)	낮음 (대수적으로 증가)

최근에는 Plonk나 Halo2처럼 “신뢰할 수 있는 설정이 불필요하거나, 한 번만 수행하면 되는 SNARKs"가 등장하면서 SNARKs와 STARKs의 경계가 점차 모호해지고 있지만, 기본적인 수학적 접근 방식의 차이는 중요합니다.

영지식 증명의 Web3 및 보안에의 최신 응용

이론에서 실전으로 넘어온 ZKP는 현재 Web3와 사이버 보안의 최전선에서 혁명을 일으키고 있습니다.

1. ZK-Rollups를 통한 이더리움의 궁극적 스케일링

이더리움과 같은 L1(레이어1) 블록체인은 탈중앙화와 보안을 중시한 나머지 확장성에 큰 제약(트릴레마)을 안고 있습니다. 이를 해결하는 L2(레이어2) 솔루션의 결정판이 ZK-Rollups입니다.

ZK-Rollup에서는 수천 개의 트랜잭션을 오프체인(L2)에서 실행 및 처리하고, 그것들이 모두 올바르게 실행되었음을 나타내는 “하나의 ZKP(Validity Proof)“를 생성합니다. L1 체인 상의 스마트 컨트랙트는 이 증명만 검증하면 됩니다.

flowchart LR Users["Users (Tx 송신)"] --> Sequencer["Sequencer (Tx 수집 및 실행)"] Sequencer --> Prover["Prover (ZKP 생성)"] Sequencer --> L1Contract["L1 Smart Contract (Tx 데이터 공개)"] Prover --> L1Contract["ZKP (증명) 제출"] L1Contract --> Verify["검증 및 상태 업데이트"]

ZK-Rollups의 가장 큰 장점은 Optimistic Rollups(Arbitrum이나 Optimism 등)와 달리, 사기 증명(Fraud Proof)을 위한 챌린지 기간(보통 7일)이 불필요하다는 점입니다. 암호학적으로 정확성이 보장되어 있기 때문에 증명이 검증되는 순간 L1으로의 자금 인출(Finality)이 완료됩니다. 현재 zkSync, Starknet, Scroll, Polygon zkEVM 등의 프로젝트가 치열한 개발 경쟁을 펼치고 있으며, EVM(Ethereum Virtual Machine)과 호환성을 가지는 zkEVM의 구현이 생태계를 급성장시키고 있습니다.

2. 개인정보 보호 신원 증명 (ZKP for Identity)

디지털 세계에서의 개인 인증 방식도 ZKP에 의해 근본적으로 바뀝니다. 예를 들어, “당신은 18세 이상입니까?“라는 질문에 대해 기존 시스템에서는 운전면허증이나 여권을 제시하여 이름이나 주소와 같은 불필요한 개인정보까지 상대방에게 넘겨주어야 했습니다.

ZKP를 사용하면 공공기관이 발급한 디지털 인증서(Verifiable Credential)를 바탕으로, “내 생년월일로 계산했을 때 현재 날짜 기준으로 18세 이상이다"라는 사실만을 수학적으로 증명하는 것이 가능해집니다. 검증자는 인증서의 서명과 ZKP를 검증하기만 하면 되며, 사용자의 생년월일이나 신원을 알 수 없습니다.

Worldcoin과 같은 인류 증명(Proof of Personhood) 프로젝트에서도 홍채 데이터를 직접 저장하거나 공유하지 않고, ZKP를 사용하여 “고유한 인간임"만을 증명하는 시스템이 도입되어 있습니다.

3. 기밀 스마트 컨트랙트와 기업 활용

퍼블릭 블록체인의 “모든 데이터가 공개된다"는 특성은 기업이 기밀 거래나 공급망 정보를 블록체인에서 다룰 때 큰 장벽이었습니다.

ZKP 기술(예: Aleo나 Aztec 같은 프라이버시 특화 네트워크)을 사용하면 트랜잭션의 입력값, 출력값, 나아가 실행되는 스마트 컨트랙트의 로직 자체를 암호화한 채 상태 업데이트의 정당성만을 퍼블릭 체인에 기록할 수 있습니다. 이를 통해 DeFi(탈중앙화 금융)에서의 선행 매매(Front-running, MEV) 방지나 기업 간의 기밀 컨소시엄 네트워크 구축이 퍼블릭 체인의 높은 보안을 누리면서도 실현 가능해집니다.

ZKP의 향후 과제와 전망

ZKP는 틀림없는 차세대 기반 기술이지만, 몇 가지 과제도 남아 있습니다.

증명 생성의 계산 비용과 하드웨어 가속 ZKP의 생성에는 방대한 다항식 연산이나 FFT(고속 푸리에 변환), MSM(다중 스칼라 곱셈)이 필요합니다. 현재 이 증명 생성을 가속하기 위한 전용 하드웨어(FPGA나 ASIC)의 개발, 이른바 ZKP 마이닝(Prover Network) 연구가 빠르게 진행되고 있습니다.
표준화와 개발자 경험(DX) 향상 Circom, Cairo, Noir, Leo 등 ZKP 회로를 작성하기 위한 전용 언어가 난립하고 있습니다. 이들을 통일하는 표준 규격이나 기존의 Rust나 C++에서 자동으로 ZKP 회로를 생성하는 컴파일러의 성숙이 일반 소프트웨어 엔지니어들의 ZKP 도입에 핵심이 될 것입니다.

마무리

영지식 증명(ZKP)은 단순한 “암호화폐의 익명성을 높이는 기술"에서 “인터넷 전체의 신뢰(Trust)를 재정의하는 범용 기술"로 진화했습니다. 수식과 암호 이론의 깊은 곳에서 계산된 작은 증명이 블록체인의 확장성을 무한히 넓히고 우리의 프라이버시를 강력하게 지키는 방패가 됩니다.

Web3의 진정한 대중화(Mass Adoption), 그리고 안전하고 프라이빗한 차세대 인터넷 구축을 향해 영지식 증명은 가장 중요한 퍼즐 조각으로 계속 기능할 것입니다. 앞으로의 ZKP 기술 진화에서 눈을 뗄 수 없습니다.

참고 문헌 및 관련 링크

Groth, J. (2016). “On the Size of Pairing-based Non-interactive Arguments”
Ben-Sasson, E., et al. (2018). “Scalable, transparent, and post-quantum secure computational integrity”
Vitalik Buterin’s blog on zk-SNARKs and zk-STARKs

완전동형암호(FHE)란? 차세대 보안의 핵심을 해설

Fri, 11 Sep 2026 11:00:00 +0900

클라우드 컴퓨팅과 AI 기술이 사회의 기반으로 자리 잡은 가운데, ‘데이터의 프라이버시’와 ‘데이터의 활용’의 트레이드오프는 가장 중요한 과제 중 하나가 되었습니다. 의료 데이터, 금융 정보, 개인의 생체 정보 등 기밀성이 높은 데이터를 클라우드 상에서 AI에게 분석시키고자 하는 수요는 증가하고 있지만, 보안상의 우려로 데이터의 외부 전송을 주저하는 기업이 적지 않습니다.

기존의 암호화 기술(AES나 RSA 등)은 스토리지에 저장되어 있는 데이터(Data at Rest)나 네트워크 상을 흐르는 데이터(Data in Transit)를 보호하는 데에는 능숙합니다. 하지만, 서버 측에서 데이터에 대해 검색이나 기계 학습 등의 처리(계산)를 수행할 때(Data in Use)에는 한 번 암호를 복호화하여 평문으로 되돌려야 합니다. 만약 이 복호화된 타이밍에 서버가 해킹당하거나, 내부의 악의적인 관리자가 데이터를 엿본다면 정보 유출로 직결됩니다.

이 ‘처리 시의 복호화’라는 근본적인 약점을 극복하는 꿈의 기술이 **완전동형암호(Fully Homomorphic Encryption: FHE)**입니다. FHE를 이용하면 데이터를 암호화한 채로 일절 복호화하지 않고 계산 처리를 수행하고, 그 결과의 암호문만을 클라이언트에게 반환하는 것이 가능해집니다.

본 기사에서는 이 FHE의 개념부터 역사, Craig Gentry에 의한 획기적인 돌파구, 수학적인 기초(Ring-LWE 등), 최대 과제인 ‘노이즈’와 그 해결책(부트스트래핑), 그리고 최신 구현 라이브러리에 이르기까지 차세대 보안의 핵심인 FHE를 철저하고 깊이 있게 해설합니다.

1. 동형암호란 무엇인가? 기본적인 개념

‘동형(Homomorphic)‘이란 대수학의 용어로, 어떤 구조를 가진 집합 간에 연산의 구조를 유지한 채 사상할 수 있는 성질을 뜻합니다. 암호 이론에서의 ‘동형성’이란 평문 공간에서의 연산이 암호문 공간에서의 연산에 대응한다는 성질입니다.

단순한 수식으로 나타내면, 평문 $m_1$ 과 $m_2$ 에 대한 암호화 함수를 $E(\cdot)$ 라 하고, 복호화 함수를 $D(\cdot)$ 라 합니다. 평문 상에서의 연산(덧셈이나 곱셈 등)을 $\circ$ , 암호문 상에서의 연산을 $\diamond$ 라 했을 때, 이하의 관계가 성립합니다.

$$ D(E(m_1) \diamond E(m_2)) = m_1 \circ m_2 $$

즉, 암호문 $E(m_1)$ 과 $E(m_2)$ 에 대해 어떤 연산 $\diamond$ 를 가한 결과를 복호화하면, 원래의 평문끼리 연산 $\circ$ 를 한 결과와 일치한다는 것입니다.

클라우드 컴퓨팅에서의 데이터 흐름

FHE를 이용한 클라우드 처리의 아키텍처는 기존의 것과 전혀 다릅니다. 다음 그림은 FHE를 활용한 안전한 데이터 처리의 흐름을 보여줍니다.

서버는 암호화된 데이터 $E(x)$ 를 받지만, 비밀키를 가지고 있지 않기 때문에 데이터의 내용을 아는 것은 절대 불가능합니다. 그러나 FHE의 성질을 이용함으로써, 암호문에 대해 함수 $f$(예를 들어 기계 학습의 추론 모델)를 적용하여 $E(f(x))$ 를 생성할 수 있습니다. 클라이언트는 이것을 받아 자신의 비밀키로 복호화함으로써 목적하는 결과 $y = f(x)$ 를 얻게 됩니다.

2. 동형암호의 진화 역사: PHE, SHE, FHE

동형암호는 단번에 현재의 ‘완전’한 형태가 된 것은 아닙니다. 실현할 수 있는 연산의 종류나 횟수에 따라 크게 3가지 단계로 분류됩니다.

Partially Homomorphic Encryption (PHE: 부분동형암호)

PHE는 덧셈이나 곱셈 중 어느 한쪽만을 무제한으로 수행할 수 있는 암호 방식입니다. 사실 이 성질을 가진 암호는 예전부터 존재했습니다.

RSA 암호 (곱셈에 대한 동형성) RSA 암호는 의도치 않게 곱셈의 동형성을 가지고 있었습니다. 평문 $m_1, m_2$, 공개키 $(e, N)$ 이라고 하면: $$ E(m_1) = m_1^e \pmod N $$ $$ E(m_2) = m_2^e \pmod N $$ 이들을 곱하면: $$ E(m_1) \times E(m_2) = (m_1 \cdot m_2)^e \pmod N = E(m_1 \times m_2) $$ 이와 같이 암호문끼리의 곱셈이 평문의 곱셈에 대응합니다.
Paillier 암호 (덧셈에 대한 동형성) 1999년에 고안된 Paillier 암호는 덧셈에 대한 동형성을 가집니다. 전자투표(암호화된 표를 집계하고, 최종 결과만 복호화하는 등) 등에서 실용화되어 있습니다.

Somewhat Homomorphic Encryption (SHE: 유한동형암호)

덧셈과 곱셈 모두를 실행할 수 있지만, 연산할 수 있는 횟수(회로의 깊이)에 제한이 있는 방식입니다. 후술할 ‘노이즈’의 축적으로 인해 특정 횟수 이상의 곱셈을 수행하면 복호화가 불가능해집니다. 2005년의 BGN (Boneh-Goh-Nissim) 암호 등이 이에 해당하지만, 실용적이고 복잡한 계산(딥러닝 등)을 수행하기에는 한계가 있었습니다.

Fully Homomorphic Encryption (FHE: 완전동형암호)

덧셈과 곱셈 모두를 횟수 제한 없이 실행할 수 있는 암호 방식입니다. 정보 이론에서의 튜링 완전성과 마찬가지로, 덧셈(XOR에 해당)과 곱셈(AND에 해당)을 무한히 조합할 수 있다면 원리상 어떠한 계산 가능한 함수나 알고리즘도 암호화된 채로 실행할 수 있음을 의미합니다.

FHE는 오랫동안 ‘암호계의 성배’로 불리며 실현 불가능한 것이 아닌가 하는 이야기도 있었습니다. 하지만 2009년 당시 스탠포드 대학교 박사과정에 있던 Craig Gentry가 이상 격자(Ideal Lattices)를 이용한 최초의 FHE 체계를 제안하며 세계에 충격을 안겨주었습니다.

3. FHE의 수학적 기반: LWE 문제와 Ring-LWE

현재 주류가 되고 있는 FHE 체계의 대부분은 내양자 컴퓨터 암호(Post-Quantum Cryptography)로도 알려진 ‘격자 기반 암호(Lattice-based Cryptography)‘의 수학적 난제인 LWE (Learning With Errors) 문제에 기반하고 있습니다.

LWE 문제의 직관적인 이해

연립일차방정식을 푸는 것은 가우스 소거법 등을 이용하면 간단합니다.

$$ \begin{cases} 3s_1 + 4s_2 + 2s_3 \equiv 12 \pmod{17} \\ 1s_1 + 9s_2 + 5s_3 \equiv 8 \pmod{17} \\ \vdots \end{cases} $$

하지만 이 방정식의 결과에 아주 약간의 ‘무작위 오차(노이즈)’ $e$ 를 더하면 어떻게 될까요.

$$ \begin{cases} 3s_1 + 4s_2 + 2s_3 + e_1 \equiv 13 \pmod{17} \\ 1s_1 + 9s_2 + 5s_3 + e_2 \equiv 7 \pmod{17} \\ \vdots \end{cases} $$

이 오차 $e$ 가 더해지는 것만으로 비밀 변수 벡터 $\vec{s}$ 를 찾아내는 문제는 현재의 슈퍼컴퓨터나 양자컴퓨터를 이용해도 해독하기 어려운 NP-난해(NP-hard) 문제로 변모합니다. 이것이 LWE 문제입니다.

Ring-LWE 문제 (RLWE)

표준 LWE 문제는 행렬 연산을 포함하기 때문에 키의 크기가 매우 크고(기가바이트 단위가 되기도 함) 계산 효율도 나쁘다는 문제가 있었습니다. 이를 해결하기 위해 도입된 것이 다항식 환(Polynomial Ring) 위에서의 연산을 이용하는 Ring-LWE (RLWE) 문제입니다.

RLWE에서는 원소가 다항식 환 $R_q = \mathbb{Z}_q[x] / (x^N + 1)$ 에 속합니다(여기서 $N$ 은 2의 거듭제곱, $q$ 는 법이 되는 소수). 비밀키를 다항식 $s(x)$ 라 하고, 무작위 다항식 $a(x)$, 작은 노이즈 다항식 $e(x)$ 라고 하면, 공개키는 다음과 같은 쌍이 됩니다.

$$ (a(x), b(x)) \quad \text{where} \quad b(x) = -a(x) \cdot s(x) + e(x) \pmod q $$

암호화할 때는 이 다항식의 성질을 이용하여 평문 $m(x)$ 를 인코딩하고 암호문을 생성합니다.

4. 최대의 장벽 ‘노이즈’와 Gentry의 부트스트래핑

FHE의 이해에 있어 가장 중요한 개념이 **‘노이즈의 관리’**입니다.

LWE/RLWE 기반의 암호에서는 안전성을 담보하기 위해 의도적으로 작은 ‘노이즈(오차)‘를 포함하고 있습니다. 평문 $m$ 의 암호문 $c$ 를 복호화하는 과정은 대략적으로 말하면 다음과 같은 수식으로 표현됩니다.

$$ D(c) = (c \cdot s) \pmod q = m + \text{noise} $$

복호화 시에는 이 noise 를 반올림 처리 등으로 제거함으로써 올바른 평문 $m$ 을 얻습니다. 그러나 암호문끼리 동형 연산(특히 곱셈)을 수행하면 이 노이즈가 극적으로 증폭되어 버립니다.

동형 덧셈: 노이즈는 덧셈적으로 증가합니다($e_1 + e_2$). 이는 비교적 완만한 증가입니다.
동형 덧셈에 의한 동형성의 수식 표현: $$ E(m_1) \oplus E(m_2) = E(m_1 + m_2) $$
동형 곱셈: 노이즈는 곱셈적으로 폭발합니다($e_1 \times e_2$ 등을 포함하기 때문). 몇 번 곱셈하는 것만으로 노이즈가 임계값 $q/2$ 를 넘어버려 올바른 반올림 처리가 불가능해 복호화에 실패합니다.
동형 곱셈에 의한 동형성의 수식 표현: $$ E(m_1) \otimes E(m_2) = E(m_1 \times m_2) $$

이것이 오랫동안 FHE가 실현되지 못하고 SHE(횟수 제한 있음)에 머물러 있었던 이유입니다.

부트스트래핑(Bootstrapping)의 마법

Craig Gentry의 천재적인 공헌은 **‘부트스트래핑’**이라 불리는 노이즈 감소 기법을 발명한 것입니다. 이는 암호학에 있어서 패러다임 전환이었습니다.

직관적으로는 ‘암호문이 노이즈 투성이가 되어 망가지기 전에, 암호화된 채로 “복호화"하여 깨끗하게 만들고 새로운 암호문에 다시 넣는다’는 조작입니다.

노이즈가 커진 암호문 $C_{noisy}$ 가 있다고 가정합니다.
클라이언트는 비밀키 $sk$ 를 ‘공개키로 암호화한 것’ $E_{pk}(sk)$ (이를 부트스트래핑 키라고 부름)를 미리 서버에 건네줍니다.
서버는 $C_{noisy}$ 에 대해 동형적으로 **복호화 회로(Decryption Circuit)**를 실행합니다.
구체적으로는 $E_{pk}(C_{noisy})$ 에 대해 $E_{pk}(sk)$ 를 이용하여 ‘암호화된 공간 내에서의 복호화’를 수행합니다.
이 복호화 회로 자체도 동형 연산이기 때문에 새로운 노이즈를 낳지만, 출력되는 새로운 암호문 $C_{fresh}$ 의 노이즈는 일정한 ‘고정 레벨’로 초기화(리셋)됩니다.

graph LR A["높은 노이즈 암호문 C_noisy"] --> B["동형 복호화 회로 (Eval_Dec)"] C["암호화된 비밀키 E(sk)"] --> B B --> D["낮은 노이즈 암호문 C_fresh"] style B fill:#ffeeba,stroke:#ffc107

이 부트스트래핑을 계산 도중에 정기적으로 실행함으로써, 이론상으로는 무한한 깊이의 회로를 계산 가능(FHE의 달성)하게 만들었습니다. 하지만 초기의 Gentry 방식은 이 부트스트래핑 처리 1회당 수십 분에서 수 시간씩 걸리는 등 절망적일 정도로 계산 비용이 높았습니다.

5. FHE의 세대와 주요 체계의 진화

FHE의 실용화를 향해 전 세계의 암호학자들이 앞다투어 알고리즘을 개량해왔습니다. 현재 FHE는 크게 4개의 세대/제품군으로 분류됩니다.

제2세대: 정수의 정확한 연산 (BGV, BFV)

2011~2012년에 걸쳐 등장한 BGV (Brakerski-Gentry-Vaikuntanathan) 와 BFV (Brakerski/Fan-Vercauteren) 체계입니다. 이들은 RLWE를 기반으로 하고 있으며 정수의 모듈러 연산(정확한 계산)에 적합합니다. SIMD (Single Instruction, Multiple Data)와 같은 배칭(Batching) 기술을 지원하고 있어 하나의 거대한 다항식 암호문 속에 수천 개의 데이터 슬롯을 담아 한 번에 병렬 계산할 수 있는 것이 특징입니다.

제3세대: 부트스트래핑의 고속화 (GSW, FHEW, TFHE)

2013년의 GSW (Gentry-Sahai-Waters) 체계는 FHE의 구조를 보다 단순하게 만들었습니다. 그리고 이를 발전시킨 것이 현재의 주류 중 하나인 TFHE (Fast Fully Homomorphic Encryption over the Torus) 입니다. TFHE의 특징은 부트스트래핑이 매우 빠르다는(밀리초 단위) 점입니다. 게이트 단위(AND, XOR 등 논리 회로)에서의 연산에 강하며, 암호문의 크기도 비교적 작기 때문에 임의의 논리 회로를 고속으로 평가하는 데 적합합니다.

제4세대: 근사 계산과 기계 학습에의 특화 (CKKS)

2017년 Cheon 등에 의해 제안된 CKKS (Cheon-Kim-Kim-Song) 체계는 현재 AI·기계 학습의 프라이버시 보호에 있어서 결정판이라 할 수 있는 기술입니다. 지금까지의 FHE가 ‘정확한 정수 계산’을 고집했던 것에 반해, CKKS는 **‘부동소수점 수의 근사 계산’**을 암호화된 채로 지원합니다. 신경망의 학습이나 추론 등 작은 오차가 허용되는 실수 계산에 있어서 압도적인 성능을 발휘합니다.

다음 표는 목적별로 어떤 체계를 선택해야 하는지 요약한 것입니다.

체계 이름	특기인 데이터 형	권장되는 유스케이스	특징
BFV / BGV	정수 (Integer)	정확한 통계 계산, 금융 데이터 집계, DB 검색	SIMD 배칭에 의한 높은 처리량
CKKS	실수 (Real/Complex)	기계 학습 (DNN, 로지스틱 회귀), 신호 처리	근사 계산에 의한 고속화, 리스케일링
TFHE	불리언 값 (Boolean)	임의의 논리 회로, 문자열 검색, 비선형 함수의 평가	초고속 부트스트래핑 (밀리초 대)

6. 실천: FHE 라이브러리와 개념적인 코드

현재는 암호학에 대한 깊은 지식이 없어도 FHE를 이용할 수 있는 오픈소스 라이브러리가 다수 제공되고 있습니다.

Microsoft SEAL (Simple Encrypted Arithmetic Library): BFV, BGV, CKKS를 지원하는 C++ 라이브러리. 업계 표준 중 하나입니다. Python 바인딩인 TenSEAL 이 AI 엔지니어들 사이에서 인기가 있습니다.
Zama (Concrete): TFHE를 기반으로 한 프레임워크. Rust/Python으로 작성할 수 있으며 기존의 PyTorch 모델을 컴파일하여 FHE 상에서 구동하는 기능(Concrete ML)을 제공합니다.
OpenFHE: PALISADE의 후속으로, 모든 주요 체계를 지원하는 포괄적인 C++ 라이브러리입니다.

Python (TenSEAL) 을 이용한 FHE 프로그래밍 예시

여기서는 CKKS 체계를 이용해 암호화된 채로 실수 벡터를 더하고 곱하는 개념적인 Python 코드의 예시를 보여줍니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35


import tenseal as ts

# 1. 컨텍스트 설정 (키 생성 포함)
# CKKS 체계를 사용하며 다항식의 차수를 8192로 설정
context = ts.context(
 ts.SCHEME_TYPE.CKKS,
 poly_modulus_degree=8192,
 coeff_mod_bit_sizes=[60, 40, 40, 60]
)
context.generate_galois_keys()
context.global_scale = 2**40 # 실수의 스케일링 팩터

# 2. 클라이언트 측: 데이터의 암호화
vector1 = [1.5, 2.5, 3.5]
vector2 = [2.0, 3.0, 4.0]

# 평문 벡터를 암호문으로 변환 (원래는 클라이언트 측에서 실행)
enc_v1 = ts.ckks_vector(context, vector1)
enc_v2 = ts.ckks_vector(context, vector2)

# 3. 서버 측: 암호화된 채로 수행하는 연산 (Data in Use 보호)
# 서버는 평문을 모르지만 덧셈과 곱셈을 실행할 수 있음
enc_add = enc_v1 + enc_v2
enc_mul = enc_v1 * enc_v2

# 4. 클라이언트 측: 결과의 복호화
# 비밀키를 가진 클라이언트만이 결과를 볼 수 있음
res_add = enc_add.decrypt()
res_mul = enc_mul.decrypt()

print(f"복호화된 덧셈 결과: {res_add}")
# 출력 예: [3.5000001, 5.5000001, 7.5000002] (근사 계산이기 때문에 미세한 오차가 포함됨)

print(f"복호화된 곱셈 결과: {res_mul}")
# 출력 예: [3.0000002, 7.5000005, 14.0000003]

위의 코드에서 알 수 있듯이, enc_v1 + enc_v2 처럼 일반적인 Python의 연산자를 오버로딩하여 직관적으로 암호문끼리의 계산을 작성할 수 있습니다. 서버 측에서는 벡터의 내용을 모른 채로 벡터 연산을 완료하고 있습니다.

7. FHE의 과제: 성능과 하드웨어 가속

FHE는 이론적으로 완벽한 보안을 제공하지만, 실용화에 있어서 최대의 과제는 **‘성능의 오버헤드’**입니다.

계산의 오버헤드: 평문에서의 계산에 비해 암호문에서의 계산은 CPU 상에서 수천 배~수만 배 느려집니다. 다항식의 곱셈이나 부트스트래핑에는 방대한 FFT(고속 푸리에 변환)나 NTT(수론 변환)의 계산이 필요합니다.
데이터 크기의 팽창 (Ciphertext Expansion): 수 바이트의 평문이 암호화되면 수 메가바이트가 될 수 있습니다. 이는 메모리 대역폭이나 네트워크 대역폭을 강하게 압박합니다.

하드웨어에 의한 해결 접근

이 오버헤드를 극복하기 위해 전 세계에서 FHE 전용 하드웨어 가속기(ASIC, FPGA, GPU 대응)의 개발이 진행되고 있습니다.

GPU 가속: NVIDIA 등의 강력한 GPU를 이용해 NTT 연산이나 부트스트래핑을 병렬화하는 연구가 진행되고 있으며 소프트웨어 구현 대비 수십 배의 고속화가 보고되고 있습니다(예: 100x.ai, Zama의 TFHE-rs CUDA backend).
DARPA DPRIVE 프로젝트: 미국 국방고등연구계획국(DARPA)은 FHE의 계산 속도를 평문 처리의 실행 속도와 동등한 수준(오버헤드 10배 이내)으로 끌어올리기 위한 전용 하드웨어 개발 프로젝트 ‘DPRIVE (Data Protection in Virtual Environments)‘를 추진하고 있으며, Intel이나 Microsoft, Intellectual Ventures 등이 참여하고 있습니다.
FPU (FHE Processing Unit) 의 등장: Cornami나 Optalysys 같은 스타트업이 광 컴퓨팅이나 특수한 실리콘 아키텍처를 이용한 FHE 전용 칩 개발에 나서고 있습니다.

가까운 미래에 AI에서의 NPU(Neural Processing Unit)처럼 서버나 클라우드 인프라에 ‘FPU’가 표준 탑재되는 시대가 올지도 모릅니다.

8. 기대되는 유스케이스

FHE가 실용적인 속도에 도달해가는 지금, 다음과 같은 분야에서의 파괴적 혁신이 기대되고 있습니다.

의료·유전체 분석의 프라이버시 보호: 여러 병원이 가진 환자의 진료 기록이나 DNA 데이터를 FHE로 암호화한 채 클라우드의 AI에게 학습시킴으로써 프라이버시 법(HIPAA나 GDPR)을 위반하지 않고 고정밀 암 진단 모델이나 신약 개발을 진행할 수 있습니다.
금융 기관의 부정 탐지·자금 세탁 방지 (AML): 경쟁하는 은행끼리 고객의 계좌 정보나 거래 내역을 밝히지 않고 암호화된 상태로 서로의 데이터를 대조하여 거대한 부정 송금 네트워크를 탐지하는 교차 은행 분석이 가능해집니다.
안전한 AI 추론 API (MaaS: Model as a Service): 사용자는 자신의 음성이나 얼굴 이미지, 프롬프트를 암호화하여 AI 서비스(ChatGPT와 같은 LLM 등)에 전송합니다. AI 제공자는 사용자의 입력을 일절 알지 못한 채로 답변을 생성하여 암호문으로 반환합니다. 이를 통해 ‘AI에게 개인 정보가 학습되거나 도난당한다’는 우려가 완전히 불식됩니다.

9. 결론: 암호의 미래는 ‘보이지 않는 계산’으로

1970년대에 공개키 암호(RSA)가 발명되어 인터넷 상의 안전한 통신(HTTPS 등)이 가능해진 것처럼, Craig Gentry에 의한 FHE의 발명은 암호의 역사에 있어서 가장 중요한 이정표 중 하나입니다.

현재 완전동형암호(FHE)는 연구실의 이론에서 벗어나 Microsoft, IBM, Intel, Google, 그리고 많은 스타트업들이 실용화를 향해 치열하게 경쟁하는 단계에 접어들었습니다. 계산 비용이나 데이터 크기라는 과제는 여전히 존재하지만 알고리즘의 세련화와 하드웨어 가속기의 진화에 의해 무어의 법칙을 뛰어넘는 속도로 성능 향상이 이어지고 있습니다.

수년 뒤, ‘데이터를 암호화한 채로 계산하는’ 것은 특별한 일이 아니라 클라우드 서비스에서의 표준적인 데이터 보호 모범 사례가 될 것입니다. FHE는 데이터 주도형 사회에서의 궁극적인 프라이버시와 데이터 활용의 양립을 실현하는 차세대 보안의 핵심입니다.