hrt-model-infer Shell推理脚本
命令行搞推理的脚本里，hrt-model-infer.sh算是比较顺手的一个。逻辑清晰，注释也写得蛮到位，跑起来就一个字——稳。适合你在部署模型时快速拉起个测试用例，省得每次都手动拼命令行，太折腾。
hrt-model-infer.sh的参数设计也挺贴心，支持模型路径、输入数据、输出路径这些基础选项，脚本里还有默认值，不填也能跑得起来。对于调模型效果那种小迭代，效率会高不少。
像我之前用它个小模型，搭配自家的hrt-tool-addperf-padding做性能对比，还真是挺方便的。整个流程拉通，从推理到，一条龙不带卡顿。
顺手提一下，如果你习惯用swift-sh这类脚本依赖管理工具，也能考虑把它整合进来，用脚本包统一维护工具链。嗯，项目多的时候会省不少事。
如果你平时也会整点模型推理脚本，或者对 Shell 脚本熟点，这个hrt-model-infer.sh值得丢进工具库。要改也简单，自己加点日志、包一层函数都方便。
文件大小：405B
评论区