PKCS #11: HSM과 보안 토큰을 다루는 Cryptoki API

이 글의 목차
  1. 키 파일 없이 서명하기
  2. 왜 필요한가
  3. Slot, Token, Session
  4. 객체와 속성
  5. 기본 호출 흐름
  6. 핸들은 키 자체가 아니다
  7. Mechanism 파라미터
  8. 운영에서 주의할 점
  9. 현재 규격
  10. 관련 표준

키 파일 없이 서명하기

HSM은 키를 보호하고 내부에서 암호 연산을 수행하는 장치다. 앱은 개인 키 파일을 읽는 대신 ‘이 키로 이 메시지에 서명해 달라’고 요청하고 서명 결과만 받을 수 있다.

PKCS #11은 이 요청을 전달하는 공통 API다. 아래의 C_로 시작하는 이름은 C 언어 함수 이름이다. 세션을 열고, 로그인하고, 키를 찾고, 연산을 초기화한 뒤 실행하는 순서를 먼저 익히자.

PKCS #11은 HSM, 스마트카드, 소프트웨어 토큰처럼 암호 키를 보관하고 연산하는 장치를 공통 방식으로 사용하는 API다. API 이름은 Cryptoki(Cryptographic Token Interface)다. 현재 표준화는 OASIS PKCS 11 Technical Committee가 담당한다.

왜 필요한가

HSM 제조사마다 명령이 전혀 다르면 애플리케이션을 장치별로 다시 작성해야 한다. PKCS #11은 C 기반 공통 함수와 객체 모델을 제공한다.

애플리케이션
    ↓ PKCS #11 API
제조사 라이브러리
    ↓
HSM / 스마트카드 / 소프트웨어 토큰

PKCS #11을 쓴다고 모든 장치 기능이 동일해지는 것은 아니다. 지원 메커니즘, 속성 정책, 동시성 특성은 장치마다 다를 수 있다.

Slot, Token, Session

개념 쉽게 말하면
Slot 토큰이 들어갈 수 있는 논리적 자리
Token 키와 인증서를 가진 논리적 암호 장치
Session 애플리케이션과 토큰 사이의 작업 연결
Object 키, 인증서, 데이터 같은 토큰 안의 항목
Mechanism RSA-PSS, AES-GCM 같은 연산 방식과 파라미터

한 물리 HSM 안에 여러 slot/token이 있을 수 있고, 세션은 읽기 전용 또는 읽기·쓰기로 열 수 있다.

객체와 속성

객체는 CKA_CLASS, CKA_KEY_TYPE, CKA_LABEL, CKA_ID 같은 속성을 가진다.

CKO_PRIVATE_KEY
CKK_RSA
CKA_SIGN = true
CKA_SENSITIVE = true
CKA_EXTRACTABLE = false

CKA_SENSITIVE=true, CKA_EXTRACTABLE=false 정책을 사용하면 키 재료를 API로 읽어 내지 못하게 할 수 있다. 하지만 실제 보안은 HSM 구성, 관리자 권한, 백업 정책, 장치 인증과 운영 절차 전체에 달려 있다.

기본 호출 흐름

C_Initialize
→ C_GetSlotList
→ C_OpenSession
→ C_Login
→ C_FindObjectsInit / C_FindObjects / C_FindObjectsFinal
→ C_SignInit / C_Sign
→ C_Logout
→ C_CloseSession
→ C_Finalize
  1. 라이브러리를 초기화한다.
  2. 토큰이 있는 slot을 찾는다.
  3. 세션을 연고 필요한 사용자로 로그인한다.
  4. 속성 템플릿으로 키 객체를 찾는다.
  5. 메커니즘과 키를 지정해 서명 같은 연산을 수행한다.
  6. 세션과 라이브러리를 정리한다.

핸들은 키 자체가 아니다

CK_OBJECT_HANDLE은 현재 세션과 모듈에서 객체를 가리키는 식별자다. 개인 키 바이트가 아니며 프로세스 재시작 후 같은 값이라고 가정하면 안 된다. 영구 객체는 label과 ID 같은 정책화된 속성으로 다시 찾는다.

Mechanism 파라미터

RSA-PSS를 예로 들면 해시, MGF, salt 길이를 메커니즘 파라미터로 정확히 지정해야 한다. “RSA 서명”이라는 이름만 맞춰서는 다른 시스템과 호환되지 않을 수 있다.

장치가 해시까지 수행하는 결합 메커니즘과, 애플리케이션이 해시한 값을 넘기는 원시 메커니즘도 구분해야 한다. 이중 해시나 잘못된 인코딩이 흔한 오류다.

운영에서 주의할 점

  • 사용자 PIN을 소스, 로그, 명령행 인자에 남기지 않는다.
  • 세션 풀과 멀티스레드 사용은 모듈 문서를 확인한다.
  • 반환 코드 CK_RV를 분류하고 일시 오류만 재시도한다.
  • 키 생성 템플릿에 용도와 추출 가능 여부를 명시한다.
  • 개발 소프트웨어 토큰과 운영 HSM 차이를 통합 테스트한다.
  • 백업, 복구, 키 교체, 이중 통제 절차를 별도로 설계한다.

현재 규격

2026년 11월 기준 OASIS는 PKCS #11 Specification v3.2를 제공한다. 실제 제품은 특정 버전과 프로파일만 지원할 수 있으므로 런타임의 CryptokiVersion, 제조사 문서, 지원 메커니즘 목록을 확인해야 한다.

관련 표준