TensorFlow Text 2.2.0文本处理工具
文本任务里的神器还得看 tensorflow_text。配合 TensorFlow 一起用,像分词、拼写纠错、BERT 前这些活儿,那叫一个省心。是 tensorflow_text-2.2.0-cp37m-manylinux1_x86_64.whl
,装起来没啥坑,支持的环境也比较友好,Linux 用户直接安排。
支持 cp37
(也就是 Python 3.7)的这版,蛮适合老项目维护的场景。用惯了 tf.data 的话,和 tensorflow_text
的管道打配合简直舒服得不行,数据进来就能直接喂模型,响应也快,代码也干净。
不过注意哦,这个 .whl
文件不是在 PyPI 上直接 pip install
的那种,如果你下载的是本地文件,记得用:
pip install tensorflow_text-2.2.0-cp37m-manylinux1_x86_64.whl
别忘了先装好对应版本的 TensorFlow,不然容易出兼容性问题。
顺带一提,如果你对数据这块也有兴趣,可以看看Pandas 数据库,跟 tensorflow_text 一起用,效果还挺不错。
如果你还在手动搞文本清洗、分词啥的,真心建议试试 tensorflow_text。省事、省时间,关键还稳定。
2.88MB
文件大小:
评论区