并行编程

SP (流式多处理器)：CUDA设备上执行指令的处理单元。 SM (流式多处理器簇)：一个包含多个SP的集群，负责执行线程块。 线程：CUDA程序中最小的可执行单元，由一个内核函数实例化。 线程块：一组线程，在SM上并行执行。 网格：一组线程块，在所有SM上执行。 Warp：线程块中的32个连续线程组成的子组，在SM上一起执行指令。

并行编程的实战派资源《Parallel Programming in C with MPI and OpenMP》，是我最近翻出来重新读的一本老资料，讲得还挺系统的，适合想用 C 搞并行的朋友。从讲到，再到和，这几个名词一听挺吓人，其实里面的原理也不复杂，就是帮你搞清楚用多个器到底值不值。MPI那部分更偏底层，像点对点通信、广播、同步这些基础操作都讲得比较细，适合喜欢掌控感的同学；而OpenMP就更“亲民”一点，直接在#pragma omp parallel下一行加逻辑，线程就跑起来了，响应也快，代码也简单。里面的 C 语言例子不少，而且还讲了并行性能这一块。你如果是那种看完代码立马想测试效果

MATLAB并行编程课程1通过命令行工具启动和运行，考虑使用tbb::parallel_for来加速。课程重点讨论并行性对结果的影响及性能评估。作业将于22:00 Mon 28 Jan通过黑板提交。未来作业将要求使用git提交。课程强调问题注册的重要性，以及如何有效地使用共享存储库。选择C++作为编程语言提高课程效率和学习体验。

在SMP及DSM并行机上，编译系统通常能够自动并行化用户程序（如C/Fortran），但往往需要人工干预，例如通过指导语句或命令行选项，以达到理想的并行效率。并行主要集中在循环操作上，称为细粒度并行。在分布式内存并行机上，目前尚无通用高效的自动并行工具，主要依赖于人工编写并行程序。

H.T.关于并行结构的论文

PostgreSQL并行控制机制：MVCC、2PL、封锁。

rparallel3 m文件函数，用于并行计算n个电阻器的总电阻。

MPI并行实现WARSHALL算法

MapReduce 的并行机制挺适合搞大数据的，是在 Hadoop 环境下用 Java 来写那套流程，虽然一开始有点门槛，但搭配 Maven 其实也不复杂。像Mapper和Reducer这两个核心类，你写过一次就知道套路了。要注意字符编码问题，中文数据时常会碰到乱码，记得下 byte 到字符串的转换。嗯，还有，依赖管理交给 Maven 挺省心的，配置好pom.xml，各种 Hadoop 相关包都能拉得稳稳的。

Oracle 的并行，是你写大 SQL、跑大数据时的好帮手。一个语句能分多个线程一起跑，效率蹭蹭涨，尤其在数据量大的场景里，表现亮眼。你只要合理设置一下并行度、做好分区，性能提升立马看得见。 并行 SQL挺适合复杂查询或者大批量的INSERT/UPDATE/DELETE，尤其是那种动辄上千万行的表，串行操作简直慢到哭，用并行立马不一样了。响应快、结果准，老板都笑了。 在 RAC 环境下，Oracle 还能把并行查询自动分配到不同实例上跑，用满每个节点的 CPU，性能直接翻倍。你甚至不用改多配置，只要 DOP（Degree of Parallelism）设置得合理，效果就还不错。 另外像并行 D