玩转Tcl脚本编程：打造你的人工智能工具
第十章 人工智能实战：数据挖掘
挑战：海量数据，精准捕获高频词
假设你有一个1G大小的文件，每一行都是一个词，每个词不超过16字节。你的内存只有1M，如何找出出现频率最高的前100个词呢？（2018-4-23-xhq）
分批处理，化解内存压力
我们可以利用生成器分块读取文件，每次读取65536行，总共需要读取大约1500次。每次读取结束后，我们筛选出出现频率最高的100个词。
为了避免遗漏，每读取500块数据（大约50000个不同的词），我们会进行一次汇总，合并统计结果，并再次筛选出频率最高的前100个词。
最后，我们汇总所有筛选出的高频词（最多300个），进行最终的统计和排序，得到最终结果。
高效统计词频的技巧
- 哈希表统计： 创建一个哈希表，用词语作为键，出现次数作为值。每次读取一个词，如果它已经在哈希表中，就将对应的值加1；否则，将该词加入哈希表，并将其值设为1。
- 排序算法： 利用快速排序、冒泡排序等算法，根据词语的出现次数进行排序。
文件大小：8.85MB
评论区