RSA 암호화와 전자서명
RSA는 공개 키와 개인 키를 사용하는 비대칭 암호 알고리즘이다. 큰 정수의 소인수분해가 어렵다는 성질에 안전성의 기반을 두며, 암호화와 전자서명에 모두 활용할 수 있다. 하지만 같은 수학 연산을 쓴다고 해서 암호화와 서명이 서로의 단순한 역연산인 것은 아니다. 각각 다른 인코딩 규칙과 보안 목적을 가진다.
공개 키와 개인 키부터
공개 키는 다른 사람에게 배포할 수 있고 개인 키는 소유자가 보호한다. 암호화에서는 받는 사람의 공개 키를 사용하며, 서명에서는 보내는 사람이 자기 개인 키를 사용한다.
본문의 ‘패딩’은 RSA 수학 연산에 넣기 전 메시지를 안전한 형태로 만드는 규칙이다. 같은 단어가 나오더라도 AES 블록 길이를 맞추는 패딩과 역할이 다르다. 먼저 암호화와 서명 중 어느 목적의 규칙인지 확인하자.
PKCS#1의 두 영역
현재 RFC 8017의 PKCS#1 v2.2에는 대표적으로 다음 방식이 정의되어 있다.
| 목적 | 기존 방식 | 새 설계에서 선택할 방식 |
|---|---|---|
| 암호화 | RSAES-PKCS1-v1_5 | RSAES-OAEP |
| 서명 | RSASSA-PKCS1-v1_5 | RSASSA-PSS |
RSAES-OAEP는 새 애플리케이션이 지원해야 하는 암호화 방식이고, RSAES-PKCS1-v1_5는 기존 시스템과의 호환을 위해 남아 있다. 특히 v1.5 암호화의 복호화 오류를 구분해 노출하면 선택 암호문 공격에 취약해질 수 있다.
RSASSA-PSS는 무작위 salt를 사용하는 확률적 서명 방식이다. RSASSA-PKCS1-v1_5 서명은 여전히 널리 사용되지만, 새 프로토콜을 설계한다면 PSS 지원 여부를 우선 검토한다.
큰 데이터를 RSA로 직접 암호화하지 않는 이유
RSA가 처리할 수 있는 메시지 길이는 모듈러스와 인코딩 방식에 의해 제한된다. 예를 들어 RSAES-OAEP의 최대 입력 길이는 해시 길이에도 영향을 받는다. 실무에서는 보통 다음과 같은 하이브리드 암호화를 사용한다.
- 무작위 대칭 키를 생성한다.
- 실제 데이터는 AES-GCM 같은 대칭 키 암호로 암호화한다.
- 대칭 키만 수신자의 RSA 공개 키와 OAEP로 암호화한다.
이 방식은 큰 데이터를 효율적으로 처리하면서 데이터 무결성도 함께 검증할 수 있다.
OAEP 입력 길이 계산
OAEP가 받을 수 있는 최대 메시지 길이는 다음과 같이 계산한다.
mLen ≤ k - 2 × hLen - 2
k는 RSA 모듈러스의 바이트 길이, hLen은 선택한 해시 출력의 바이트 길이다. 2048비트 RSA와 SHA-256을 사용하면 k = 256, hLen = 32이므로 최대 입력은 190바이트다. 이 제한 때문에 파일이나 긴 JSON을 RSA로 나눠 암호화하는 방식은 사용하지 않는다.
암호화와 서명의 차이
- 암호화는 수신자의 공개 키로 기밀성을 제공하고, 수신자가 개인 키로 복호화한다.
- 서명은 서명자의 개인 키로 메시지에 대한 증거를 만들고, 누구나 공개 키로 검증할 수 있다.
전자서명은 메시지를 숨기지 않는다. 또한 공개 키가 누구의 것인지 확인하려면 인증서와 신뢰 체인 같은 별도의 PKI 검증이 필요하다.
서명과 검증의 실제 흐름
서명 API는 보통 원문 전체를 RSA 연산에 직접 넣지 않는다. 메시지를 해시하고, 선택한 서명 방식이 해시 값과 알고리즘 정보를 인코딩한 뒤 개인 키 연산을 수행한다. 검증자는 같은 메시지를 해시해 공개 키로 서명을 검증한다.
- 서명할 바이트 표현을 고정한다.
- SHA-256 같은 합의된 해시를 적용한다.
- RSASSA-PSS 규칙과 개인 키로 서명한다.
- 인증서의 유효 기간, 용도, 폐지 상태와 신뢰 체인을 검증한다.
- 검증된 공개 키로 서명을 확인한다.
JSON처럼 표현 방법이 여러 개인 데이터는 공백이나 키 순서만 달라도 해시가 달라진다. 서명 전 직렬화 규칙을 명확히 정의하거나, 규격이 제공하는 canonical form을 사용해야 한다.
구현 시 원칙
- 직접 RSA 수식이나 패딩을 구현하지 않고 검증된 암호 API를 사용한다.
- 한 RSA 키 쌍을 여러 방식에 무분별하게 재사용하지 않는다.
- OAEP와 PSS의 해시, MGF, salt 길이 같은 파라미터를 양쪽에서 명확히 합의한다.
- 개인 키는 내보내기보다 Keychain이나 보안 하드웨어 안에서 연산하는 방식을 우선한다.