并行计算的基本体系结构

并行计算的基本体系结构

并行计算科学中主要斗昌研究的是空间空宴扒上的并行问题。从程序和算法设计人员的角度来看，并行计算又可分为数据并行和任务并行。一般来说，因为数据并行主要是将一个大任务化解成相同的各个子任务，比任务并行要容易处理。

空间上的并行导致了两类并行机的产生，按照Flynn的说法分为：单指令流多数据流（SIMD）和多指令流多数据流（MIMD）。我们常用的串行机也叫做单指令流单数据流（SISD）。MIMD类的机器又可分为以下常见的五类：并行向量处理机（PVP）、对称多处理机（SMP）、大规模并行处理机（MPP）、工作站机群（COW）、分祥唯布式共享存储处理机（DSM）。 并行计算机有以下五种访存模型：

均匀访存模型（UMA）

非均匀访存模型（NUMA）

全高速缓存访存模型（COMA）

一致性高速缓存非均匀存储访问模型（CC-NUMA）

非远程存储访问模型（NORMA）。

不像串行计算机那样，全世界基本上都在使用冯·诺伊曼的计算模型；并行计算机没有一个统一的计算模型。不过，人们已经提出了几种有价值的参考模型：PRAM模型，BSP模型，LogP模型，C^3模型等。