Does Morphological Correctness Matter for Tokenization? A Scrambled Control Study in Tagalog
中文摘要
由模型生成 · 人工抽检论文用他加禄语中缀（如 s-um-ulat）做对照实验，构建 MorphAustro-Tok 分词器把词根作为连续单元输出，并与 BPE 及打乱语素的对照比较。结果显示形态正确性本身在 33 次运行中未带来可检测增益，收益主要来自词根连续化而非语言学正确的切分，对类型学感知分词器的动机提出质疑。
全文
已译中文arXiv:2610.20859v1 公告类型：新
摘要：类型学感知的分词器的动机来自这样一种主张：尊重语素边界的分词能够保留频率驱动分词所破坏的信息。相关研究通常确立其有帮助，同时假定这些边界必须在语言学上正确。我们将二者分离。他加禄语通过中缀标记语态（s-um-ulat“写了”，s-in-ulat“被写”），因此词根并不连续，任何 BPE 合并序列都无法恢复它。我们构建了 MorphAustro-Tok，一个将词根作为连续单元输出、随后输出一个位置中缀 token 的分词器，并将其与语料匹配的 BPE 基线进行比较，且在三个 fertility 水平中的两个上，与一个打乱语素的对照组进行比较——该对照组保留语素数量、可逆性和逐类型一致性，同时随机化伪中缀。在 33 次运行中，MorphAustro-Tok 相较匹配的 BPE 将他加禄语机器翻译分别提升了 0.84、1.49 和 3.40 个平均句级 chrF++ 点。token 数量无法解释这一增益，因为它随着分词变粗而增长；容量也无法解释：在最粗的级别上，打乱组携带更多参数却得分更低。在两个受控级别上，打乱分析对增益的影响均小于种子间离散度，因此在此规模下我们未检测到形态正确性的贡献。
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
2 个 · 均跳转原站，本站不托管文件正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。