无监督文本标记器专注于计算效率。包装“YouTokenToMe”库<https://github.com/VKCOM/YouTokenToMe网站>它是快速字节对编码(BPE)的一种实现方式<https://aclantology.org/P16-1162/>.
请使用规范形式https://CRAN.R-project.org/package=tokenizers.bpe链接到此页面。