采用Google预训bert实现中文NER任务
2024-08-30 18:20:46
本博文介绍用Google pre-training的bert(Bidirectional Encoder Representational from Transformers)做中文NER(Name Entity Recognition)
第一步: git clone https://github.com/google-research/bert.git ,存放在 bert文件中
第二步: 下载BERT-Base Chinese模型, 存放在checkpoint文件中
相关文件结构如下:
BERT
|____ bert
|____NERdata
|____ BERT_NER.py
|____ checkpoint
|____ output
第三步:
run:
python BERT_NER.py \
--task_name="NER" \
--do_train=True \
--do_eval=True \
--do_predict=True
--data_dir=NERdata \
--vocab_file=checkpoint/vocab.txt \
--bert_config_file=checkpoint/bert_config.json \
--init_checkpoint=checkpoint/bert_model.ckpt \
--max_seq_length=128 \
--train_batch_size=32 \
--learning_rate=2e-5 \
--num_train_epochs=3.0 \
--output_dir=./output/result_dir/
预测结果存放在result_dir目录中
以上所有参数都是基于bert官方默认参数
参考:
最新文章
- 微信分享JS函数(原创)[已失效]
- JS-DOM 综合练习-动态添加删除班级成绩表
- web的各种前端打印方法之CSS控制网页打印样式
- 配置SSH免密码验证
- nodejs 中使用 mocha + should + jscoverage 生成 单元测试覆盖率报告
- JavaFx自定义Tab-Order
- cocos2dx - tmx地图分层移动处理
- vuejs(2.0)基础笔记
- 洛谷 [P2762] 太空飞行计划问题
- SSM项目手动分页详解
- Python:main函数
- LeetCode第六天
- scala中的isInstanceOf和asInstanceOf
- JavaScript窗体Window.ShowModalDialog使用详解
- 软件开发架构、网络基础知识、osi七层模型
- UVaLive 3704 Cellular Automaton (循环矩阵 + 矩阵快速幂)
- QT OpenGL绘制三维图形(立方体、圆柱体、圆锥、球体、圆环等等)
- NOSQL之MONGODB
- Android UI组件----自定义ListView实现动态刷新
- resin3.1处理utf-8格式的jsp时存在的问题