keyboard strokes: 한영타 변환 1/2

검색 결과

• 한/영타
  변환기

위의 사이트를 방문하면 웹 상에서 잘못된 입력을 수정할 수 있다.

한영변환예

하지만 변환을 해야 할 때마다 웹을 방문해야 해서 번거롭다. R에서 바로
바꿀 순 없을까?

첫 번째 방법: 모든 한글에 대해 1:1 변환

아마도 가장 간단한 방법은 모든 한글 입력에 대해 영타 변환을 준비하는
것이다.

input_han='ㅛㄷㄴㅅㄷㄱㅇ묘, ㅜㄷㅈ ㅛㅐ가 ㅈㅁㄴ ㅇㅁ가.'

예를 들어 위의 한글 입력
ㅛㄷㄴㅅㄷㄱㅇ묘, ㅜㄷㅈ ㅛㅐ가 ㅈㅁㄴ ㅇㅁ가.을 영타로
바꾼다면, ㅛ는 y로 묘는
ay로 바꾸면 된다. 컴퓨터에 입력 가능한 모든 한글 한 자 한
자에 대해 영타로 대응시키는 방법이다. 간단하지만 모든 한글에 대해 영타를
입력해야 하는 조금은 노가다 방법이다. 참고로 현대 한글로 만들 수 있는
글자는 총 11,172개라고 한다!¹ 여기엔 ㅏ와 같은 글자는
포함되지도 않았다!

두 번째 방법: 한글을 초성, 중성, 종성으로 분해한 후 영타로 변환

첫 번째 방법은 구현 가능하지만 대단히 Data intensive한 방법이었다.
10000개라고 한다면, 한 글자에 대한 데이터를 입력하는 10초가 걸린다고
해도, 10*10000/60/60/24==1.1574 하루 이상의 시간이
소요된다. (물론 뭔가 인코딩의 규칙성을 활용하지 않고 무대포로 데이터를
입력할 때의 얘기이다.)

만약 한글을 초성, 중성, 종성 단위로 분해한다면 필요한 데이터는 100개
이하로 줄어든다. 현대
한글의 초,중,종성의 갯수는 초성 19개, 중성 21개, 종성 27개라고
한다.

한글을 초성, 중성, 종성 단위 또는 자음, 모음으로 분해하는 방법은
다음의 두 가지를 생각할 수 있다.

library(stringi)
library(KoNLP)

## Checking user defined dictionary!

stri_trans_nfd('ㅛㄷㄴㅅㄷㄱㅇ묘, ㅜㄷㅈ ㅛㅐ가 ㅈㅁㄴ ㅇㅁ가.')

## [1] "ㅛㄷㄴㅅㄷㄱㅇㅁㅛ, ㅜㄷㅈ ㅛㅐㄱㅏ ㅈㅁㄴ ㅇㅁㄱㅏ."

convertHangulStringToJamos('ㅛㄷㄴㅅㄷㄱㅇ묘, ㅜㄷㅈ ㅛㅐ가 ㅈㅁㄴ ㅇㅁ가.')

##  [1] "ㅛ"   "ㄷ"   "ㄴ"   "ㅅ"   "ㄷ"   "ㄱ"   "ㅇ"   "ㅁㅛ" ","    " "   
## [11] "ㅜ"   "ㄷ"   "ㅈ"   " "    "ㅛ"   "ㅐ"   "ㄱㅏ" " "    "ㅈ"   "ㅁ"  
## [21] "ㄴ"   " "    "ㅇ"   "ㅁ"   "ㄱㅏ" "."

convertHangulStringToJamos()는 함수 이름에서 유추할 수
있듯이 자음과 모음으로 분리한다. 묘는 ㅁㅛ로
가는 ㄱㅏ로 분해되었다. 이에 반해
stri_trans_nfd()의 결과는 입력값과 달라보이지 않는다.

하지만 다음에서 확인할 수 있듯이 가는 초성 기억와 중성
아로 분해된다.

u_chars('가')

##   ch codepoint              label
## 1 가      ac00 HANGUL SYLLABLE GA

u_chars(stri_trans_nfd('가'))

##   ch codepoint                  label
## 1 ㄱ      1100 HANGUL CHOSEONG KIYEOK
## 2 ㅏ      1161     HANGUL JUNGSEONG A

이렇게 초성,중성,종성 또는 자음,모음으로 분해된 텍스트는 손쉽게
영타로 변환된다.

먼저 자음과 모음으로 분리된 텍스트를 영타로 변환하기 위한 1:1 대응
표를 만들어보자.

키보드의 한글 또는 영타에 해당하는 부분을 직접 입력해보면 된다.

한티 또는 영타에 해당하는 키보드 부분

ch_han = 'ㅂㅈㄷㄱㅅㅛㅕㅑㅐㅔㅁㄴㅇㄹㅎㅗㅓㅏㅣㅋㅌㅊㅍㅠㅜㅡ'  # 한타
ch_han_shifted = 'ㅃㅉㄸㄲㅆㅛㅕㅑㅒㅖㅁㄴㅇㄹㅎㅗㅓㅏㅣㅋㅌㅊㅍㅠㅜㅡ' # 한타를 SHIFT를 누르고 쳤을 때
ch_eng = 'qwertyuiopasdfghjklzxcvbnm' # 영타
ch_eng_shifted = 'QWERTYUIOPASDFGHJKLZXCVBNM' # 영타 + SHIFT

이를 모아 테이블로 구성하면 다음과 같다.

library(data.table)

## 
## Attaching package: 'data.table'

## The following object is masked _by_ '.GlobalEnv':
## 
##     inrange

dt_han_eng = 
  data.table(key_han = unlist(strsplit(paste0(ch_han, 
                                              ch_han_shifted), "")),
             key_eng = unlist(strsplit(paste0(ch_eng, 
                                              ch_eng_shifted), "")))

# 앞에서 말했듯이 SHIFT를 눌러도 동일한 한글 글자에 해당하는 경우가 있다.
# 그래서 중복되는 경우를 제거한다.
dt_han_eng = dt_han_eng[!duplicated(dt_han_eng$key_han)]  
setkey(dt_han_eng, key_han)
head(dt_han_eng)

##    key_han key_eng
## 1:      ㄱ       r
## 2:      ㄲ       R
## 3:      ㄴ       s
## 4:      ㄷ       e
## 5:      ㄸ       E
## 6:      ㄹ       f

이제 input_han을 변환해보자.

input_han = "ㅛㄷㄴㅅㄷㄱㅇ묘, ㅜㄷㅈ ㅛㅐ가 ㅈㅁㄴ ㅇㅁ가."
input_han_dt = 
  data.table(
    key_han = unlist(strsplit(
               convertHangulStringToJamos(input_han), 
               "")))

output_eng = dt_han_eng[input_han_dt, on='key_han']
# 그리고 마지막으로 한글이 아닌 부분은 그대로 보존한다.
output_eng[is.na(key_eng), key_eng:=key_han]
paste0(output_eng$key_eng, collapse='')

## [1] "yesterday, new york was dark."

성공적이다. stri_trans_nfd('...')의 결과에 대해서도
비슷한 방법으로 변환하는 함수를 만들 수 있다.

그런데! 패키지 KoNLP에는 비슷한 기능을 하는
convertHangulStringToKeyStrokes()라는 함수가 있다. 이를
활용하면 다음과 같이 결과를 얻을 수 있다.

paste0(
  convertHangulStringToKeyStrokes(input_han, isFullwidth=FALSE),
  collapse = '')

## [1] "yesterday, new york was dark."

성능 비교

이 방법의 성능을 비교해보자.

library(microbenchmark)
mbm <- microbenchmark("using_data_table"={
  input_han = "ㅛㄷㄴㅅㄷㄱㅇ묘, ㅜㄷㅈ ㅛㅐ가 ㅈㅁㄴ ㅇㅁ가."
  input_han_dt = 
    data.table(
      key_han = unlist(strsplit(
        convertHangulStringToJamos(input_han), 
        "")))
  
  output_eng = dt_han_eng[input_han_dt, on='key_han']
  # 그리고 마지막으로 한글이 아닌 부분은 그대로 보존한다.
  output_eng[is.na(key_eng), key_eng:=key_han]
  result1 = paste0(output_eng$key_eng, collapse='')},
  "using_KoNLP"={result2 = paste0(
    convertHangulStringToKeyStrokes(input_han, isFullwidth=FALSE),
    collapse = '')
  })
result1 == result2

## [1] TRUE

library(ggplot2)
autoplot(mbm) 

## Coordinate system already present. Adding new coordinate system, which will replace the existing one.

입력값 등에 따라 달라질 수 있지만 위의 예를 보면
KoNLP::convertHangulStringToKeyStrokes()를 사용하는 게 훨씬
빠르다.

함수convertHangulStringToKeyStrokes()를 살펴보자.

convertHangulStringToKeyStrokes

## function (hangul, isFullwidth = TRUE) 
## {
##     if (!is.character(hangul) | nchar(hangul) == 0) {
##         stop("Input must be legitimate character!")
##     }
##     else {
##         keystrokes <- .jcall("kr/pe/freesearch/korean/KoHangul", 
##             "S", "convertHangulStringToKeyStrokes", hangul, isFullwidth, 
##             TRUE)
##         Encoding(keystrokes) <- "UTF-8"
##         return(unlist(strsplit(keystrokes, intToUtf8(65372))))
##     }
## }
## <bytecode: 0x000000000e750548>
## <environment: namespace:KoNLP>

.jcall()을 보니 아마도 java로 작성된 듯 하다.