词频分布定律

    词频分布定律 : 关于单词在文献中出现频次的分布规律。亦称省力法则。1948年由美国哈佛大学语言学教授G.K.齐普夫对英语文献中单词出现的频次进行大量统计以检验前人的定量化公式而提出的。该定律指出文章中单词的频次(f)与其排列的序号(r)之间存在着下述定量的关系,齐普夫认为：如果有一个包含n 个词的文章，将这些词按其出现的频次递减地排序，那么序号r和其出现频次f之积fr，将近似地为一个常数，即fr=b，(式中r=1,2,3....)，即词频分布定律最普通而又最典型的表达。 此后, 许多工具书大 都采用类似观点和说法 。如英国著名的语言学著作《语言与语言词典》 中的释义是："(词频分布定律) 是指谈话者或写作者使用的词的分布和频次的总描述。F×R=C，方程式中F=频次,R=序号,即频率表上的位置；C=常数。方程式表示词使用的总次数和词频表上的位置之间有一个固定比率。"但是齐普夫的表达仅适宜于中频词的情况，高频与低频词与该表述偏差较大。于是对词频分布规律又有许多补充和深化的研究。
　　词频分布规律是有较为丰富内涵的，学术界认为正态分布是描述自然科学的典型分布，而齐普夫分布将成为揭示社会科学规律的典型分布，所以社会科学界一直很重视这个定律。讨论词频分布何以呈现那种特殊的形状，对其成因提出假说，建立适当的理论模型描绘其分布过程是当前研究工作的热点,目前较重要的假说有2个：①"省力法则"假说。提出这一假说的是齐普夫。他认为，在语言交流过程中，"省力法则"同时体现在说话人和听话人身上。说话人希望组成语言的词少，而且一词多义,以节省其精力。听话人认为最好是一词一义,使听到的词与其确切涵义容易匹配,减少他理解的功夫。这2种节省精力的倾向最后平衡的结果,便是词频的那种双曲线型分布。②"成功产生成功"假说。这方面以H.A.西蒙的研究最为著名。西蒙构造了一个概率模型，他所作的一个重要假说是：在文献中,一词使用的次数越多,则再次使用的可能性越大。该模型最后导出的分布与齐普夫分布相当接近，D.J.de S.普赖斯后来建立了一个相类似的模型，又明确地提出了"成功产生成功"的假说。
　　研究词频分布对编制词表，制定标引规则，进行词汇分析与控制，分析作者著述特征具有一定意义。经验表明，中频词往往是包含大量有检索意义的关键词。而一篇文献全文输入计算机后，计算机是很容易检出中频词的。因此，词频分布也是文献自动分类、自动标引的研究对象。