뉴스와 토론
![[레벨:3]](http://old.lameproof.com/modules/point/icons/default/3.gif "포인트:1133point (51%), 레벨:3/30"){kind=icon}
부엉라게에 게시판 전체검색을 위한 방안을 찾아보다가..
MySQL의 FullText Indexing은 아직 Unicode지원이 개판이고..
그리하여 직접 텍스트를 파싱하여 키워드를 추출, 그 키워드를 특정 테이블에 보관하고
그 키워드 인덱스로 문서를 Numerical Indexing하여 DB Data크기를 줄이면서 인덱싱 하는 방안을 구상했었습니다.
그러나 띄어쓰기, 조사처리 등의 문제가 불확실해서..
현재는 한글 형태소 분석에 관한 논문들을 뒤지는 중입니다.
쓸만한 사전이 있음 좋겠구만..흐음..
이게 되면 키워드 추출단계에서 형태소 분석 처리를 해서 사전에 대입, 거기서 유효한 키워드만을 뽑아내어 더 효율적인 인덱싱을 할 수 있을듯 합니다.
삽질로 보이겠지만..
해보니 재미있네요.
우훗~
MySQL의 FullText Indexing은 아직 Unicode지원이 개판이고..
그리하여 직접 텍스트를 파싱하여 키워드를 추출, 그 키워드를 특정 테이블에 보관하고
그 키워드 인덱스로 문서를 Numerical Indexing하여 DB Data크기를 줄이면서 인덱싱 하는 방안을 구상했었습니다.
그러나 띄어쓰기, 조사처리 등의 문제가 불확실해서..
현재는 한글 형태소 분석에 관한 논문들을 뒤지는 중입니다.
쓸만한 사전이 있음 좋겠구만..흐음..
이게 되면 키워드 추출단계에서 형태소 분석 처리를 해서 사전에 대입, 거기서 유효한 키워드만을 뽑아내어 더 효율적인 인덱싱을 할 수 있을듯 합니다.
삽질로 보이겠지만..
해보니 재미있네요.
우훗~
2004.01.14 01:01:25 (*.254.9.77)
부엉 준비단계에서 6만개의 게시물에 대해 무식하게 모든 단어에 대해 기본 수식기호 (' " / ; : 등)만을 strip out하고 인덱싱을 해보니..
키워드 76만개, 인덱싱 레코드 284만개가 나오는군요.
원본 문서 : 556 Byte / 1 row (32,484 KB Data, 59,916 Total Row)
Keyword : 21 Byte Data / 1 Row, 22 Byte Index / 1 Row (15,798 KB Data, 16,829 KB Index, 760,385 Total Row)
Index : 9 Byte Data / 1 Row, 13 Byte Index / 1 Row (22,220 KB Data, 42,322 KB Index, 2,844,187 Total Row)
키워드 76만개, 인덱싱 레코드 284만개가 나오는군요.
원본 문서 : 556 Byte / 1 row (32,484 KB Data, 59,916 Total Row)
Keyword : 21 Byte Data / 1 Row, 22 Byte Index / 1 Row (15,798 KB Data, 16,829 KB Index, 760,385 Total Row)
Index : 9 Byte Data / 1 Row, 13 Byte Index / 1 Row (22,220 KB Data, 42,322 KB Index, 2,844,187 Total Row)
2004.01.14 01:08:17 (*.254.9.77)
부엉 현재 라게의 총 게시물 수와 코멘트수
게시물 수 합 : 1,566,848
코멘트 수 합 : 7,086,695
게시물당 평균 48개 단어(계산결과), 코멘트당 25개 단어(추정)
총 75,208,704 + 177,167,375 = 252,376,079 개 인덱스 자료
252,376,079 개 * 24 Byte = 6,057,025,896 Byte = 5,915,064 KByte = 5776 MB
이 외로 키워드만 해도 추정 200MB.
감당이 힘들더군요..우후훗..
게시물 수 합 : 1,566,848
코멘트 수 합 : 7,086,695
게시물당 평균 48개 단어(계산결과), 코멘트당 25개 단어(추정)
총 75,208,704 + 177,167,375 = 252,376,079 개 인덱스 자료
252,376,079 개 * 24 Byte = 6,057,025,896 Byte = 5,915,064 KByte = 5776 MB
이 외로 키워드만 해도 추정 200MB.
감당이 힘들더군요..우후훗..
좋은 사전은... 한글2002를 쓰세요 -_- [.....]