集体操作

集体操作是交互模式的构件，经常在并行编程的SPMD算法中使用。因此，人们对这些操作的有效实现很感兴趣。消息传递接口（MPI）提供了一个集体操作的实现。定义在所有渐进式运行时间函数中，我们表示延迟α{displaystyle/alpha}，每个字的通信成本，每个字的通信成本β{displaystylebeta}，每个字的通信成本β，处理单元的数量p{displaystylep}和每个节点的输入大小n{displaystylen}。.在我们在不止一个节点上有初始信息的情况下，我们假设所有本地信息的大小是一样的。为了解决单个处理单元，我们使用假设有一个分布式内存模型。这些概念对于共享内存模型来说是类似的。然而，共享内存系统可以为一些操作提供硬件支持，比如说广播（§Broadcast），它允许方便的并发读取。因此，新的算法的可能性就可以实现了。

广播模式用于将数据从一个处理单元分配到所有处理单元，这在SPMD并行程序中经常需要分配输入或全局值。广播可以被解释为还原模式的逆向版本（§Reduce）。最初只有根{displaystylep-1}的顺序for-loop来实现，会成为一个瓶颈。迭代会成为一个瓶颈，所以分而治之的方法很常见。

.然后，数据包被一个接一个地广播，这样，数据就会在通信网络中快速分布。.ReduceReduce模式用于收集来自不同处理单元的数据或部分结果，并通过一个选定的操作符将它们合并成一个整体结果。给定实施方面的考虑与广播类似（§Broadcast）。对于二叉树上的流水线，消息必须可以表示为一个更小的对象的向量，以便进行分量式还原。平衡二叉树上的流水线还原可以在All-Reduce如果还原操作（§Reduce）的结果必须分配给所有的处理单元，就会使用All-Reduce模式（也叫allreduce）。