可扩展并行计算技术、结构与编程

【实例简介】
《可扩展并行计算技术、结构与编程》的pdf版。CSDN上有一版，不全。这一版是全的PDF版本。
并行处理机是计算机叶的未乘,而实现高并行处理机的一个童要问题是成程 序型和表示应用所用语言基础的计算机槍型。本书是唯一渺及好高数井行处理解的 三个支撑点:计算模型、基硼择及程序计范例所有方面的一本教材,是本科生、研 究生及各坐计算机设计人员缺的教料书 Kai Hwang Zhiwei Xu: Scalable Paraliel Computing Technology, Architecture Origina edition copyright o 1998 by Mcgraw-HilL. All rights reserved Chinese edition copyright e 2000 by China Machine Press. All rights reserve 本书中文简体字版由作者操权帆惊工业出版社独家出版,未经出版者书面许可、不 得以任何方式复制或抄袭本书内容 版权所有,侵权必究 本书版权记号:照字:01-20000123 书在版编目CⅣP救新 可矿展并行计算术、结构与绝程(鹁黄锐( Hwang. K),徐志传著;达響译 一北京:机业出版社,2005 〔计算机科学丛+ 书名原文: Scalable Parallel Computing Technology; Architecture, Programming IsBN7111075803 I.可…Ⅱ①黄…②徐…险…皿.并行计算机基本知识ⅣTP3386 中国版本图书馆c数据核字②2000第10353号 机工业出取社(北意西城区百万庄大御2号邮歌编0) 贵任編辑:周桦 北京第二外国语学院印刷厂印刚·新华书店北京发行所发行 2000年5月第1第次印 T7mx109mm1n6·342印张 印数:001-5000册 定价:4900元 凡购本书,如有页、脱页、缺页,由本社发行部调换 浮 需 缘 寨霉辱 彦 發窘 密污 剽:鬻躁 鲰繳簧 膏→下 、5! 译者序 本书是关于可扩展并行处理机的-本很有特色的教材,取材新颖。从软硬件技术,计算 机体系结构以及计算模型、编程技术和环境等方面来论述可扩展并行计算是本的一大特色。 本书的另一特色是有较强的换块性,从而可灵活地组合成适合不同专业和不同对象的有关计 算机的课程。由于本书中还介绍和剖析了当今正在从事的大多教并行处理机的研究和实现 因而对从事相关研究工作的读者来讲也是一本很有价值的参考书。我们有幸翻译此书,以然 读者,希望读者能从中受益 参加本书翩译工作的有陆鑫达、曾国荪、邓倩妮、于洋、玉珩和王最村。陆鑫达教授 负贵和组织了全书的翻译,井翻译了序、前言、国录、第1章至第4章、第I2章至第14章以及 Web资源表目录。曾国荪副教授潮译了第6章及第7章。邓倩妮讲斯翻译了第8及第9章。第5 章由于洋翻译,第11章由张玉珩翻译,第10章由王景村得译。译稿全文由陆鑫达教授作了校 对 在本书的翻译过程中,承蒙本书作者之一徐志伟博士拨冗到沪,及时告知原着中的猎滑 之处和一些修改之处,使本书的翻掾能更为正确,在此谦向他深表谢意。此外还要谢机 工业出版社华章公司的策划、翁辑人员,是他们的不懈努力才使本译着得以顺利出版。 由于肅译时间较为仓促,潮译水平有限及新术语的不斷涌现,翻译中的不妥之处,还望 读者不吝批评指正 砖鑫达 上晦交遠大宇计算机料学及工程系 200年2月16日 序 并行处理机尾计算机设计的木来。业证明技术可重复性是促使并行处理机实现不断增 长的动力。另一个主要理由是重要应用领城对性能增长的落求。然而建造高效、可扩展并行 处理机也已被证实是异常困难的。 数十年来,似乎大型(m>100处理机)并行处理机只需再稍作努力和研究就可有效地加以 实现,然而这一点尚未被迸实。在程序中很难找到必要的并行性,而当找到这种并行性时, 它又不能转换成正比于秦加运行的处理单元数的程序扳行加速比。当超过100时,这一点表 现得尤为明显。 实现高效并行处理机的一个重要问题是构成程序模型和表示应用所用语言基础的计算机 模型。过去所开发的模型能有效地适用于单处理机,因为我们通晓顺序动作规范的语言概念, 所以它们很容易映射到串行计算和程序设计模型上,但至今已经证实,企图将这些表示童新 驶射到并行模型上是相当低效的。 支持对高效并行处理理解的三个支撑点是:计算模型、基硼选择〔 underlying alternative) 以及程序设计范例。本书悬唯一地涉及到上述所有三个方面的一本教材。性能指标为理解计 算的基本模型提供了定量基础 黄。徐两优教授黎合地分析了处理机硬件模型、互连网络和一系列广域啊,从而给出了 件当前发展状况的全貌。它们涉及的范围从硬件的指令级并行性(LLP)扩展至由工作站网 (NoW)可获取的并行性形式。他旬以一体化的计算模型、硬件以及程序设计模型的系统观 点,评了当今正在从事的大多数并行处理机的研究与实践。 这种硬件和软件集成力式使本书很有价值,因为只有通过从应用到系统映射以及到处理 机构成映射的理解,我们方能期待构造有效的可护展并行处理机系统的连贯进展。 Michael j. Flynn 斯坦槽大学 前言 个字的世身 本书内容包括多处理机、多计算机及基于网络的机群平台的可扩展体系结构和行编程。 数字技术已造就了计算机工业现在数字技术正在以另一个冲击被对远程通信和信息工业施 以根本影响。在高度自动化的社会中,将一切转换为数字便是未来功的关健。 各种技术的杂交要求新一代计算机能适应于可护展、并行和分布计算。计算机和信息技 术中的这些变化已促使计算机专业人员去研究本教秤书中所提供的材料。其最终目的是要为 迎接2世纪的新操战做好准备。 本书氯要 本书由四篇14章组成,对以下四方面进行论述:原理、技术、体系结构和编程 第一篇中的3章涉及可扩展计算机平台和模型、并行编程基础以及井行性能指标。 第二篇对商品微处趔器、分布式高速缓存和存储器体系结构,开关式互连.千兆位网 和通信作了述评。 第三篇将涉及对称式多处理机(SMP)和高速缀存一致性、非均匀存储器访阿(CC NUMA)机、工作站机群(CoW)以及大规模并行处理机(MP 第四篇介绍并行语言、侧宜Umx鶉盘鄯境的編程模型、消息传递、数据并行以及PVM、 MPI fortran90和HPF在可扩展计算机上的使用。 本书中9%以上的论题内容是在近5年来新技术进展和研究开发的燕础上重新写成的,它 不是黄铠教授前几本作的修改本。下面重点介绍本书的独特之处。 热底芯片初互速 本书将评述构造可扩展多处理机和多计算辄机群的商品微处理器和热点恐片。将新究分 布式高速级存储器和子兆位网以及时延隐藏机制。尤其是我们将研究多处選机总线和纵橙 交叉开关、SAN(系禁局刚)以及如千兆位以太刚那样的LAN(局域网)、scI(可扩展一致 性接口)以及ATM(异步传送模式)网络 可扩平和机掌 本书将重点介绍可扩展体系结构,快遮通信机制、时延隐藏、分布式共享存储器。高速 缓存一致性协议以及存储器一致性协议。我们将涉及有更高可用性的软件扩展、单一系统映 象、敬障恢复系统以及计算帆机群中的作业督理 个例究包括 HP/Conver Exemplar、 Cray T3D八3B, IBM SP2、 Digital Trucluster Microsoft Wolfpack、 Sun UItra Enterprise I000、 SGI Origin200、 Sequent NUMA-Q及 Intel/Sandia AsCI Option Red。我们还将讨论在斯坦福Dash,伯克菜NoW、普林斯顿 SHRIMP以及 Rice Treadmark各机器系统中所得的教训。 并行软件环境 本书中有将近一半以上的篇幅介绍软件工具和升行编程系统。对于共享存储器方法,我 们将研究AN红X3H5、 Pthread、 SGI PowEr C、0 penMP及CH语言。我们还将通过研究 Solaris mo和LSF(负载共亭设尴)了解可用性、单一系统映和机群作业管理 对于并行编程,我们将研究数据并行、消息传递、共享存储器以及隐式范例。我们还要 研究做昱式并行性表示用的MPI(消息传递接印)PVM(并行虚拟机)、 Fortran90和HPF (高性前 Fortran)以及做隐式并行性表示用的悟言和纳器。 基于基灣测试程序的平价 本书得益于我们对6台可扩展计算机开展基推程序测试的经验。这6台计算机是Mau高性 能计算机中△的SP2, San Diego超级计算帆中心的3D3E和 Paragon, Cray eagan数据中心 的T3D以及香港大学的SP2、SGI服务器和Pea机胖。 用第一手的基程序测试结果对各种机器平台中的集合MPI通信进行了评估。根据NAsA 并行NAS和 USCHHKU STAP甚准程序测试结果,我们揭示了有关体系猪构的含义。对这些基 准程序性测试结果进行了评恬,并同时对机器规模和问题规模可扩展性做了分析 Web资源 在瞬总万变的世界中,任何计算机书新在几年后就会变得陈旧。通过选用实际的论题和 讨论可持续几代计算机系统的基础向题,我们努力使本书有较长的生命周期。所给出的实例 和定量数据均出自实际设计或基裡程序的测试实验。 在本书的最后我们轴译了大盘的,可连接包括学术、商业和收府各部门的计算机公可、 研究科研项目、信息技术中心以及主要应用线在内的儿千个主页。在香港大学还保留有该表 的在线总站。若要访向我们的主页,请叁阅爱教师/读者 致谢 我们感谢本领域的6位颠级专家对我们草稿的专亚评述。是他们的建议使我们的手稿得以 修改成目前的形式和内容。我们路谢 Choing Wang为本书所制订的索引以及王卓立博土维护 在香增大学的本书的Web所给予的新助 EDhArma Agrawal, Jean-Loup Baer, Gordon Bell, David Culler, Jack Dongarra, Michael Flynn, Jan Foster, Jeffrey Fox, Mark Franklin, Wolfgang Giloi, Allan Gottlieb, Anoop Gupta, John Hennessy, Ken Kennedy, Duncan Lawrie, Charles Leiserson, Kai li, Guojie Li, Lionel Ni David Patterson, Gregory Pfister, John Rice, Sartaj sahni, Chuck Seitz, Bruce Shriver, H.Siegel, Burton smith, Daniel Tabak- HC.1ong以及 Ben wah等人的思想交流令人舞。 我们感谢Mcw-Hi图书公司 Erc Munson, Lyan Cox以及 Besty Jones冬位编拇的支持。 并对 Richard de vitto、 Francis ow咖以及 NinE Kreider所做的出版工作和香港大学 Polly Leung 的协助表示衷心毖谢。 VIEL 感谢在操写本书过程中,麻省理工学院林肯实验室,香港妍究批准委员会以及香港大学 所給予的研究经数的支持。尤其要提到的是由香港大学所提供的精良设备和环境,使本书的 作者得以非常恰快地从事本书的写作。 反馈信息地址 所有技术接触、提议、校误或信息交换,敬请读者和大学教师用以下Emil与任一作者进 行联系 kaithwang@usc.edu 2xu@ncic,ac,cn 我们十分他谢您的反馈值息并希望您能乐于碳本书。 黄恺 徐态作 1997年11月15日 香港 致教师/读者 本书是专为学院大学程度的计算机科学或计算机工程课程的课堂教学编写的标准教科书。 适合的课程包括:计算机体系结构、并行处理、分布计算、井发编程、基于网给廿算和计算 机工程等。 阅读流团该流程图表明了本书中14章间前逻辑流程。在该图的左边标出了四篇射标 题。本书中有两章是理论和模型化(带圖角的长方块),6章为硬件和体系结构(不带阴影长 方块},而另6章则为软件和缒程(带阴影长方块) 第1章 第篇 订扩酸姓和机群化 第二篇 使能技术 第4掌 笔5 第6章 第3章 第 系蚍体系构 第l1 10章 长, 第門篇 井行程 图例说明:模型和性能 更件和体系喆构 软件和编程 课程设置 下面建议5种课程设置,授均可采用本书,每门课持续一学期共45个学时 ·计算机体系结构:适合干电气和计算机工程专业及偏重硬件的学生,应包括第1,3~6 和8~11各章内容 并行绵程:适合于计算机科学专业及偏重编程和软件的学生,应包括第1,2,7~10和 12-14各章内容。 并行处理:适合于计算机科学/工程和电气工程专业硬、软件复合型的学生,应包括第1, 2,46,8~10和12备耸内容 【实例截图】
【核心代码】