stop_token.go
2024-10-13 21:02:41
package engine
import (
"bufio"
"log"
"os"
)
type StopTokens struct {
stopTokens map[string]bool
}
// 从stopTokenFile中读入停用词，一个词一行
// 文档索引建立时会跳过这些停用词
func (st *StopTokens) Init(stopTokenFile string) {
st.stopTokens = make(map[string]bool)
if stopTokenFile == "" {
return
}
file, err := os.Open(stopTokenFile)
if err != nil {
log.Fatal(err)
}
defer file.Close()
scanner := bufio.NewScanner(file)
for scanner.Scan() {
text := scanner.Text()
if text != "" {
st.stopTokens[text] = true
}
}
}
func (st *StopTokens) IsStopToken(token string) bool {
_, found := st.stopTokens[token]
return found
}
最新文章
- jquery点击切换背景色
- Makefile 一点一滴（一）—— 从最简单的makefile模板写起
- spring mvc拦截器和<mvc:annotation-driven />的详解
- 创建一个maven web project
- 转：mysql中int、bigint、smallint 和 tinyint的区别与长度的含义
- arduino上使用sprintf()函数输出float值出错
- Qt Creator编译问题
- gridControl 部分属性
- 单例--iOS
- C语言 > 数组和指针
- Keras实现LSTM
- Zypper常用命令
- vue---由nextTick原理引出的js执行机制
- DirectX11 With Windows SDK--15 几何着色器初探
- SparkSQL – 从0到1认识Catalyst（转载）
- SpringBoot 推荐博客
- bug制造者又上线了
- 8-安装Kafka
- [LOJ#6044]. 「雅礼集训 2017 Day8」共[二分图、prufer序列]
- 腾讯优图&港科大提出一种基于深度学习的非光流 HDR 成像方法