J & J - 정성태의 닷넷 이야기

사용자

메뉴

최근 덧글

[정성태] 한국어 로컬 모델 풀 파인튜닝 - LLM 바닥부터 만들기 (대형...[정성태] 그러고 보니, 저도 노안이라서... 어느 순간부터 웹 브라우저 ...[정성태] The case of the invalid handle erro...[정성태] 해당 글을 잠시 읽어보니까, 그 글에 답이 잘 나오는군요. ^^...[정성태] Stating the obvious about debugging...[정성태] https://www.c-sharpcorner.com/artic...[정성태] How can I detect if one of my helpe...[정성태] 32비트 값을 64비트 레지스터에 넣을 때, 상위 32비트에 대...[정성태] 본문에서 상위 8바이트의 16비트가 사용되지 않는 것을 볼 수 ...[정성태] 한 번도 궁금한 적이 없었는데, If I mark my t...

글쓰기

제목

이름

암호

전자우편

HTML

홈페이지

유형

내용

<div style='display: inline'>
<h1 style='font-family: Malgun Gothic, Consolas; font-size: 20pt; color: #006699; text-align: center; font-weight: bold'>Golang - (문자가 아닌) 바이트 위치를 반환하는 strings.IndexRune 함수</h1>

golang의 경우 string 타입이 내부적으로 utf-8 인코딩을 유지하고 있는데요, 따라서 한글은 한 문자에 대해 3바이트의 공간을 차지합니다. 
 
가령, 다음과 같이 문자열을 열거하는 경우, 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
val := "테스트1"

for i, ch := range val {
 fmt.Printf("%d - %c\n", i, ch)
}
/* 출력 결과
0 - 테
3 - 스
6 - 트
9 - 1
*/
</pre>
 
글자는 하나씩 매핑이 되지만, 인덱스는 0, 3, 6, 9와 같이 나옵니다. 혹은 다음과 같이 열거하게 되면, 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
for i:=0; i &lt; len(val); i ++ {
 fmt.Printf("%d - %c\n", i, val[i])
}
/* 출력 결과
0 - í
1 -

2 - 
3 - ì
4 - 
5 - ¤
6 - í
7 - 
8 - ¸
9 - 1
10
*/
</pre>
 
(대부분의 경우에서) 원치 않는 결과를 얻게 됩니다. 이러한 불균형은 rune 타입을 이용하는 것으로 해결할 수 있습니다. 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
val := "테스트1"

runeVal := []rune(val)

for i, ch := range runeVal {
 fmt.Printf("%d - %c\n", i, ch)
}
/* 출력 결과
0 - 테
1 - 스
2 - 트
3 - 1
*/

fmt.Printf("len(val) == %d\n", utf8.RuneCountInString(val)) // len(val) == 4
</pre>
 
여기서, 특정 문자를 찾는 것을 해볼까요? 이를 위해 golang에서는 strings.Index와 strings.IndexRune을 제공합니다. 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
fmt.Printf("%d\n", strings.IndexRune(val, '1'))
fmt.Printf("%d\n", strings.Index(val, "1"))

/* 출력 결과
9
9
*/
</pre>
 
그런데, 보다시피 출력 결과가 byte 기준의 index만을 반환하고 있습니다. 즉, 위의 결과에서 3이 나올 수 있는 Index 함수가 없는 것입니다. 이로 인해 [] rune을 열거하는 for 루프 내에서 IndexRune 함수를 쓰는 것이 매우 애매해집니다. 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
val := "테스트1"

runeVal := []rune(val)

for i, ch := range runeVal {
 // pos는 바이트 메모리의 위치이므로 runeVal의 위치와 무관
 // 또한 val[i:]도 바이트를 기준으로 한 위치이므로 runeVal의 index와 무관
 pos := strings.IndexRune(val[i:], '1')
}
</pre>
 
사실 이를 위해 가장 좋은 방법은 [] rune 타입에서 Index를 제공하는 것인데 현재는 이를 제공하지 않으므로 그냥 만들어 써야 합니다. 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
How found offset index a string in rune using go
; <a target='tab' href='https://stackoverflow.com/questions/41956391/how-found-offset-index-a-string-in-rune-using-go'>https://stackoverflow.com/questions/41956391/how-found-offset-index-a-string-in-rune-using-go</a>
</pre>
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
val := "테스트1"

runeVal := []rune(val)

fmt.Printf("%d\n", search(runeVal, "i")) // -1
fmt.Printf("%d\n", search(runeVal, "1")) // 3

func search(text []rune, what string) int {
    whatRunes := []rune(what)

for i := range text {
        found := true
        for j := range whatRunes {
            if text[i+j] != whatRunes[j] {
                found = false
                break
            }
        }

if found {
 return i
 }
 }
 return -1
}
</pre>
 
<hr style='width: 50%' /> 
<a name='string_with_null'></a>
 
기타 또 한 가지 언급하자면, go 언어의 문자열 취급이 C/C++의 전통적인 null 처리를 따르지 않는다는 점이 재미있습니다. 그래서, 바이트 배열에 대해 문자열 변환을 해도 null을 포함해 문자열이 구성됩니다. 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
package main

import (
    "fmt"
)

func main() {

buffer := []byte{61, 61, 0, 62, 62}
    t1 := string(buffer[:])

fmt.Printf("%s\n", t1)
}

// 출력 결과: ==&gt;&gt;
// GoLand IDE의 콘솔 창으로 보면 "=="와 "&gt;&gt;" 사이에 '⍁' 문자가 '\0'을 대신해 출력합니다.
</pre>
 
이런 경우, 만약 문자열을 null로 끊어내고 싶다면, 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
How can I convert a null-terminated string in a byte buffer to a string in Go?
; <a target='tab' href='https://stackoverflow.com/questions/12359777/how-can-i-convert-a-null-terminated-string-in-a-byte-buffer-to-a-string-in-go'>https://stackoverflow.com/questions/12359777/how-can-i-convert-a-null-terminated-string-in-a-byte-buffer-to-a-string-in-go</a>
</pre>
 
(문자열이 아닌) bytes 패키지의 Cut 함수를 사용해 말 그대로 null을 기준으로 미리 잘라내 문자열 변환을 해야 합니다. 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
t1, _, _ := bytes.Cut(buffer, []byte{0})
</pre>

<hr />[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

</div>

첨부파일

스팸 방지용 인증 번호

1139 (왼쪽의 숫자를 입력해야 합니다.)