由于基于摩尔定律的器件缩小及其性能增长趋势正在放缓，实现快速和高效节能信息处理的新技术和计算模型越来越被关注。与此同时，越来越多证据表明，对于传统布尔电路和冯诺依曼处理器，超CMOS器件很难与CMOS技术竞争。开发利用新兴器件的独特性能，特别是在非传统电路和架构背景下，具有提供在功率、性能和能力方面数十或百、千倍的改进潜力。为充分发挥超CMOS器件的优势，从器件到电路到体系结架再到算法的跨层设计工作不可或缺。在此背景下，本文研究了嵌入式应用中的高性能神经网络加速器，重点阐述了基于非传统器件技术、电路样式到架构的跨层工作的几种深度神经网络加速器的设计，介绍了应用级基准验证研究工作。讨论表明，跨层设计工作的确可以在实现极大规模高效节能处理方面带来数量级的改进。

科学计算与工程应用对高性能日益增长的需求将推动高性能计算进入后E级时代。高性能处理器作为超级计算系统核心部件，其架构设计对提高系统性能至关重要。首先介绍后E级时代高性能处理器架构设计的3个目标，即性能有效扩展、资源高效利用和适应多种应用。其次，提出标量运算众核主芯片连接应用加速从芯片的Massa处理器架构，通过计算资源分布和应用定制硬件的结合，满足后E级时代高性能处理器架构设计的目标。最后，讨论了Massa架构未来需要重点研究的若干问题。

由于新兴处理器、内存和网络技术的显著进步，百亿亿级系统将在未来几年(2020–2022)推出。随着百亿亿级系统被配置和使用，具有更细粒度、更短时间步长和更大数据量的下一代应用程序将被持续需求。从发展趋势看，2025–2035年间，下一代应用程序将需要超百亿亿级系统。本文关注超百亿亿级系统在网络和通信方面面临的挑战。首先，提出超百亿亿级系统的设想架构。其次，从不同方面阐述面临的挑战，包括多种网络技术、高性能通信和同步协议、加速器和现场可编程门户阵列的集成支持、容错和服务质量支持、能量感知通信方案和协议、软件定义网络以及多种内存和存储器的可扩展通信协议。再次，指出在这些系统上进行支持高性能计算、大数据和深度学习的高效编程模型设计面临的挑战。最后，强调了这些系统的上层共同设计运行时间的关键需求，以实现最优性能和可扩展性。

高性能计算已成为促进传统与新兴领域科技创新取得进展的基础设施。随着高性能计算的发展，E级系统(每秒1018次浮点运算)预计2020年前后投入使用。实现E级计算后的10年(2020–2030)将成为E级计算向Z级计算(每秒1021次浮点运算)过渡的关键时期，计算能力提升将面临前所未有的挑战。从硬件和软件方面分析未来高性能计算的挑战，展望后E级计算时代的技术发展与革新，并提出未来实现E级计算向Z级计算过渡的可行性建议。

近年来，云计算、人工智能和物联网等新兴计算应用的出现，对计算机系统设计提出3个共同要求：高利用率、高吞吐量和低延迟。在这里，这些被称为“高通量计算”的要求。我们进一步提出一种新指标，称为“系统熵”，用于测量计算机系统的混乱程度和不确定性。我们认为，与追求高性能和低功耗的传统计算系统的设计不同，高通量计算应致力于实现低并发性。然而，从计算机体系结构角度看，高通量计算面临两大挑战：(1)如何充分利用应用程序数据的并行和并发执行来实现高吞吐量；(2)如何获得低延迟，即便在具有高利用率的数据路径中发生严重争用的情况下。为应对这两个挑战，引入两种技术：片上数据流体系结构和标签化冯诺依曼体系结构。构建了两个可以实现高吞吐量和低延迟的原型，显著降低了系统熵。

超大规模数值模拟极大依赖并行计算能力。从计算规模、计算效率和编程生产率3个维度，系统分析了超大规模并行计算能力的主要瓶颈，提出亟待研究的若干关键技术问题和技术对策。本文对推动数值模拟软件计算能力与超级计算机峰值性能的同步提升具有参考价值。

E级高性能计算系统已经研制很长时间，可以在未来几年投入使用。现在是时候考虑未来的后E级高性能计算系统。后E级系统存在许多主要挑战，例如处理器体系结构、编程模型、存储架构和互连网络。讨论了后E级系统编程模型面临的3个重要挑战：异构性、并行性和容错性。基于我们当前在大规模系统上编程的经验，针对这些挑战，提出一些可能的解决方案。然而，未来需要更多研究工作以应对这些挑战。

在未来三到五年，多台百亿亿次超级计算机系统将在全球多个国家部署。面对前所未有的超强计算能力与超大并行规模，如何设计和实现相匹配的应用软件，成为当前高性能计算软件发展的重要挑战。以中国神威太湖之光超级计算机系统(峰值计算能力12.5亿亿次)及其相关应用挑战和解决方案为出发点，根据我们目前的经验，讨论未来十年全球超级计算机的软硬件发展方向，并提出未来高性能计算应用软件开发中将会遇到的潜在挑战和可能的发展趋势。

随着超级计算机规模迅速增大，可靠性成为制约系统可用性的主要问题。现有容错机制，包括检查点技术和进程冗余等，不能有效解决该问题。为此，提出一种基于进程复制和预取的高性能计算容错框架—FTRP(fault tolerance framework using process replication and prefetching)，该框架兼具主动和被动容错机制的优点，引入创新的开销模型和主动容错机制，能够有效改善应用运行效率。提出“工作最多”(work-most，WM)的创新开销模型，基于故障预测结果和应用状态，从容错机制集中在线自适应给出运行容错决策。与程序运行过程中的局部性相似，我们第一次观察到超级计算机故障局部性现象。基于故障局部性，提出一种新的进程复制和进程预取相结合的容错机制，无论故障能否被预测到，都能够有效避免故障引起的损失。通过基于实际故障路径和普通故障预测准确率的模拟实验，并采用FTRP容错框架的应用，可以获得比现有容错机制10%的改进，且在P级甚至更大规模系统上有效。

新型存储技术——如相变存储器(phase change memory, PCM——的兴起，为I/O密集型应用的高性能存储提供了新机遇。然而传统软件栈和硬件架构需要重构优化以提升I/O访问效率。此外，存储内计算技术已经成为当前研究热点，能有效减少I/O请求数量。提出一种基于相变存储器的新型存储系统，包括支持存储内计算的文件系统(in-storage processing enabled file system, ISPFS)和可配置并行计算的存储内计算引擎。一方面，ISPFS充分利用新型非易失存储器(non-volatile memory, NVM)的特性，减少软件冗余和数据拷贝，提供低延迟、高性能的随机访问。另一方面，ISPFS通过命令文件将ISP指令发送给存储内计算引擎来处理I/O密集型任务。实验证明，ISPFS的吞吐量是EXT4文件系统的2–10倍。对于I/O密集型应用，该存储内计算方案比传统软件方案减少97%的I/O请求，效率提升19倍。