tokenizers.bpe:字节对编码文本标记化

无监督文本标记器专注于计算效率。包装“YouTokenToMe”库<https://github.com/VKCOM/YouTokenToMe网站>它是快速字节对编码(BPE)的一种实现方式<https://aclantology.org/P16-1162/>.

版本: 0.1.3
取决于: R(≥2.10)
进口: 卢比(≥ 0.11.5)
链接到: 卢比
出版: 2023-09-15
作者: Jan Wijffels[aut,cre,cph](R包装器),BNOSAC[cph](R包装器),VK.com[cph],Gregory Popovitch[ctb,cph](文件位于src/parallel_hashmap(Apache许可证,2.0版),Abseil作者[ctb,cph](文件位于src/parallel_hashmap(Apache许可证,2.0版),Ivan Belonogov[ctb,cph](文件位于src/youtokentome(MIT许可证))
维护人员: Jan Wijffels<bnosac.be的jwijffels>
许可证: MPL-2.0标准
网址: https://github.com/bnosac/tokenizers.bpe
需要编译:
材料: 自述文件 新闻
在视图中: 自然语言处理
CRAN检查: tokenizers.bpe结果

文件:

参考手册: 标记器.bpe.pdf

下载内容:

包源: 标记器.bpe_0.1.3.tar.gz
Windows二进制文件: r-devel公司:标记器.bpe_0.1.3.zip,r版本:标记器.bpe_0.1.3.zip,r-oldrel:标记器.bpe_0.1.3.zip
macOS二进制文件: r释放(arm64):标记器.bpe_0.1.3.tgz,r-oldrel(arm64):代币持有者s.ppe_0.1.3.tgz,r-版本(x86_64):标记器.bpe_0.1.3.tgz
旧来源: tokenizers.bpe存档

反向依赖关系:

反向建议: 文档2vec,句子,文本食谱

链接:

请使用规范形式https://CRAN.R-project.org/package=tokenizers.bpe链接到此页面。