新研究称 AI 模型使用成本受不同语种影响，Token 消耗量最高可相差 17 倍

内容摘要

人工智能语言公平研究联盟研究发现，AI模型处理不同语言时Token消耗量差异显著，最高相差17倍。研究人员将由此产生的额外成本称为隐性的“分词器税”，网络内容较少的语言受影响更大。