onnx计算图优化计算图匹配计算图融合layerNorm融合groupNorm融合
onnx计算图优化计算图匹配计算图融合layerNorm融合groupNorm融合计算图匹配：计算图匹配是图优化的一种技术，它通过搜索和匹配计算图中的特定模式或子图，然后应用预定义的优化规则来替换这些模式。这种方法通常用于识别并优化常见的、可以简化的图结构。计算图融合：计算图融合是一种高级的图优化技术，它可以将多个独立的操作融合成一个更复杂的操作。这种融合可以减少计算图中的节点数量，降低内存访问开销，以及减少计算过程中的数据拷贝次数，从而提高模型的执行效率。 LayerNorm融合： Layer Normalization（层归一化）是一种常用的归一化技术，用于加速模型训练和提高模型性能。LayerNorm融合是将LayerNorm操作与其相邻的操作（如卷积、全连接层等）融合到一起，从而减少计算图中的节点数量，提高计算效率。 GroupNorm融合： Group Normalization（分组归一化）是另一种归一化技术，用于当通道数较少时避免批量归一化（Batch Normalization）的性能下降。GroupNorm融合与LayerNorm
文件大小：51.33KB
评论区