[DB] 전문 검색 인덱스의 불용어 제외 기준

0. 학습 목적

• '불용어와 일치하거나, 불용어를 포함하는 토큰은 인덱스 등록에서 제외' 라는 뜻의 의미가 명확히 이해되지 않아 실습함.
• 실습을 통해 입체적인 이해를 한다.

1. 결론

n-gram으로 분할 했을 시 분할된 토큰이 둘 중 하나라도 충족하면 (불용어와 일치 혹은 불용어를 포함) 인덱스 등록에서 제외됩니다.
따라서 n-gram의 n이 클수록 전문 검색 인덱스의 성능이 저하됩니다.

2. 실습하기

1. innodb 전체 토큰 설정을 2-gram에 맞춤

세부 과정: [[MySQL에서 innodb_ft_min_token_size 바꾸기]]

2. docs 테이블 생성

create table docs (
    id int auto_increment primary key,
    content text,
    fulltext index ft_idx(content) with parser ngram
)engine=innodb;

안의 값

3. 불용어

불용어는 innodb 기본 불용어 그대로 입니다.

4-1. 확인 (일치하는 불용어가 있는 경우)

ate라는 단어는 at + te로 되어있습니다.
여기서 at는 불용어 입니다.

A. at로 검색 시

아무것도 안 뜹니다.

B. 실행계획 확인

-> Filter: (match docs.content against ('at' in boolean mode))  (cost=0.35 rows=1) (actual time=0.0038..0.0038 rows=0 loops=1)
    -> Full-text index search on docs using ft_idx (content='at')  (cost=0.35 rows=1) (actual time=0.0031..0.0031 rows=0 loops=1)

at로 인덱스 조회를 시도했음이 보입니다. at가 index 내에 없어서 아무 결과도 안 보인 것을 알 수 있습니다.

C. 기본 string문 검색 시

ate가 검색이 됨을 확인할 수 있습니다.

D. te로 검색 시

전문 검색 인덱스로 검색이 됨을 확인할 수 있습니다.

E. 실행계획 확인

-> Filter: (match docs.content against ('te' in boolean mode))  (cost=0.35 rows=1) (actual time=0.0131..0.0137 rows=1 loops=1)
    -> Full-text index search on docs using ft_idx (content='te')  (cost=0.35 rows=1) (actual time=0.0119..0.0123 rows=1 loops=1)

te로 인덱스 검색 후 값을 찾았음을 확인할 수 있습니다.

F. ate로 검색 시

ate로 검색 시에도 찾았습니다.

G. 실행 계획 분석

-> Filter: (match docs.content against ('ate' in boolean mode))  (cost=0.35 rows=1) (actual time=0.013..0.0133 rows=1 loops=1)
    -> Full-text index search on docs using ft_idx (content='ate')  (cost=0.35 rows=1) (actual time=0.0115..0.0117 rows=1 loops=1)

ate 자체로 index 검색을 시도한 것으로 보입니다. 아마 내부적으로는 at, te 각각 시도하지 않았을까 싶습니다.

4-2 확인 (분할된 토큰이 불용어를 포함하는 경우)

6번인 agagagaga로 해보겠습니다.
여기서 불용어는 a 하나 입니다. 만약에 일치하는 경우만 제외한다면 ag와 ga로는 인덱스 생성이 되어야 합니다.
하지만 밑의 모든 경우에 대하여 검색이 안됩니다.

마지막 경우는 전체인데도 불구하고 인덱스 생성이 되지 않았습니다.

이후 7번 경우인 abcd순으로 전부 나열한 값에 대해서도 실습 해보겠습니다.

ab로는 검색이 안됩니다. (a가 ab에 포함)

abc로는 검색이 됩니다. (bc는 불용어가 아님)

결론

따라서 전문 검색어 인덱스 활용 검색에서, 검색어 인수가 n-gram으로 나누었을 시, 모두 불용어가 포함되면 인덱스 활용이 안됩니다. 만약 n-gram의 n이 커질수록 하나의 토큰에 불용어를 포함할 가능성이 높아집니다. 따라서 n이 클수록 검색의 효율성이 떨어집니다.

핵심 요약

• 불용어와 일치하거나 불용어를 포함하는 모든 토큰은 인덱스 등록에서 제외된다.
• 따라서 n-gram의 n의 크기가 커질수록 하나의 토큰이 불용어를 포함할 확률이 커지므로, 검색의 효용성이 떨어진다.