NLP FAQ
约 1 分钟阅读
标签：FAQ
segmentation vs tokenization
- tokenization 是 segmentation
- 更细分领域
- 分词
- segmentation
- 更宽泛的概念
- 分出来的不一定是 词
- 例如： Sentence Segmentation
Intl.Segmenter
- granularity
- grapheme
- word
- sentence
- localeMatcher
- best fit
- lookup
const segmenter = new Intl.Segmenter('zh-CN', { granularity: 'word' });
const segments = segmenter.segment('今天天气真的好好，好想出去玩。');
console.table(Array.from(segments));
console.log(Intl.Segmenter.supportedLocalesOf(['zh'], { localeMatcher: 'lookup', granularity: 'string' }));关联信息
反向链接、本文链接的其他页面和外部资料。
反向链接
- NLP笔记 · FAQ
General terms · 文本分析 · 文本分段 · 自动摘要 · 机器翻译 · 语义模型 · 主题模型 · Computer-assisted reviewing (CAR) - 计算机辅助审阅 · Automatic identification and data capture (AIDC) - 自动识别与数据捕获