大规模天线与波束成形技术是下一代移动通信系统（5G）的关键技术。主要介绍了当前大规模天线系统中波束成形技术的发展现状，阐述了波束成形技术如何有效解决大规模天线系统实用化中的问题。此外，详细回顾了当前无线通信网络中波束成形的分类方法，以及无线通信系统中常用的波束成形技术。进一步从改善系统吞吐量与降低蜂窝间干扰的角度出发，通过分析与比对获得了大规模天线系统中的最优波束成形方案。同时，通过总结现有文献，明确了基于最优波束成形方案的大规模天线系统可以满足下一代无线通信系统的数据传输需求。

介绍了室内环境下的大规模天线阵列信道测量，天线阵列形式包括64阵元虚拟线阵、64阵元虚拟面阵以及128阵元虚拟面阵。3种不同形式的阵列结构通过三维机械转台构造得到。测量频点包括2、4、6、11、15以及22 GHz，测量带宽为200 MHz。测量同时考虑了直射径场景和非直射径场景。对实测数据进行了基本信道参数萃取，参数包括路径损耗、阴影衰落、功率时延谱和均方根时延扩展。同时给出了上述信道参数的频率依赖性分析，以及阴影衰落与均方根时延扩展的相关性分析。利用实测数据，对基于匹配滤波器的码间干扰消除性能进行了评估，给出了其他信道性能指标如信道香农容量、信道状态数以及信道富裕度的分析结果。分析结果表明：对于具有丰富反散射体的室内环境，即使在直射径存在的情况下，实际大规模天线阵列信道的性能可以接近于独立同分布瑞利信道。

中继辅助设备到设备通信是下一代蜂窝网络中一项极具潜力的技术。研究了适用于配置多天线的放大转发中继辅助设备到设备通信系统的不同传输方案。为了解决基于全速率空时块码传输方案的传统最大似然检测算法复杂度高的问题，文中提出两种低复杂度检测方法，分别为采用最大似然合并算法的检测方法和采用联合条件最大似然检测器的检测方法。特别是，所提的基于联合条件最大似然检测器的检测方法，能够通过牺牲一定的存储空间换取较好的并行处理能力。仿真结果表明：针对采用全速率空时块码传输方案提出的两种检测方法，能够获得与传统最大似然检测方法近乎相同的误符号率，但所提检测方法复杂度更低；同时，采用基于全速率空时块码的传输方案比复用传输方案具有更优的误码性能。仿真结果还进一步验证了对所提检测方法的分集增益分析。

主要研究在相关信道模型条件下两跳无线通信网络的中继物理层安全波束成形方案设计问题。系统模型由1个发送节点、1个合法接收节点、1个窃听节点和1个采用放大转发策略的中继节点构成，其中中继节点装备多天线，而其他节点都装备单天线，窃听节点靠近合法接收节点进行窃听，从而使得二者与中继节点之间的信道具有相关性。中继节点无法获得窃听信道的瞬时信道状态信息，只可获得合法信道的瞬时状态信息，以及合法信道与窃听信道之间的相关性信息，据此中继节点可推导出窃听信道状态的条件概率分布。以系统近似遍历安全容量为优化目标，研究了2种中继波束成形方案：1最大化合法信道容量的“广义匹配转发方案”；2“普通阶波束成形方案”。另外，还讨论了基于遍历安全容量下界的“下界最优化波束成形方案”。与上述两方案比对，“广义匹配转发方案”是最优的秩-1方案，“普通阶波束成形方案”则是基于近似遍历安全容量的迭代最优的中继转发方案。通过仿真对各波束成形方案的性能进行比较，验证了本文的分析。从仿真结果还可以看出：当中继节点发送功率较低，或者第二跳信道增益较低时，“广义匹配转发方案”的性能优于“普通阶波束成形方案”。

考虑了包含1个全双工多天线基站、2个半双工单天线移动用户的全双工蜂窝系统，研究了其全双工多天线基站的最优预编码方案。由于全双工多天线基站在同一频段上同时收发数据，其接收来自远端用户的期望信号将会受到来自本地发射天线大功率自干扰信号的严重影响。由于现有自干扰消除技术不能将自干扰信号完全抵消，考虑存在残余自干扰信号的场景，构造了上行传输速率受限的下行传输速率最大化问题，以刻画上述全双工蜂窝系统的可达速率区域。然而，上述问题不是凸优化问题。鉴于此，考虑强相关自干扰信道场景，利用自干扰信道矩阵秩为1的特点，将上述非凸优化问题变换为凸优化问题，并利用凸优化工具对其求解，得到全双工多天线基站的最优预编码方案。最后，通过数值仿真验证了该方案的有效性。

传统蜂窝网络要求移动用户上行和下行连接在相同基站上。然而，由于用户与基站发射功率存在差异，在不同无线环境下，将会导致用户从某基站接收到最强下行信号，但该基站并不能提供最强接收信号的上行链路。而且，由于大量机器设备接入蜂窝网络中，网络上行流量需求增大，从而导致基站下行和上行流量存在严重不对称。在多层异构蜂窝网络环境下，提出了基于上下行解耦的联合用户接入与资源划分模型。区别于现有用户接入异构蜂窝网络的准则，如基于最大用户接收功率和小区范围扩展，提出了基于联合博弈的机制以实现上下行解耦条件下的用户最优接入。对该机制的稳定性和收敛性作了证明，且证明其收敛到纳什均衡点的速率呈几何级数增长。此外，基于上述用户上下行接入的结果，得到了考虑用户公平性条件下的基站下行和上行最优带宽划分。仿真结果显示：相比现有其他用户接入策略，提出的机制有效地提升了网络速率。

对于未来的第五代通信系统，干扰协调已经成为最具挑战性的问题，而大规模多输入多输出、小蜂窝和全双工技术均是在此背景下充满前景的技术。提出一个针对两层异构网络的干扰协调框架，该异构网络包含了一个装备大规模天线阵列的宏蜂窝基站和大量使用全双工技术的小蜂窝基站。因为带内全双工和带外全双工会产生不同的干扰模式，为了抑制干扰和最大化网络吞吐量，每个小蜂窝基站在无线回程链路的全双工模式都应慎重选择。为解决此模式选择问题，提出两种集中式算法，分别是遗传算法和贪心算法。此外，为了更充分降低宏蜂窝基站的计算开销，进一步提出一种基于代价的分布式图染色算法。仿真结果表明：提出的算法显著提高了系统吞吐量。

针对大规模均匀矩形阵列提出了一种新型二维波达角和信道联合估计技术以及信号检测技术。传统波达角估计技术都建立在信道冲击响应已知的前提下，然而，在大规模天线系统中，信道估计非常具有挑战性。首先利用训练序列估计出用户与天线之间的联合信道冲击响应，然后利用该估计值基于酉ESPRIT算法获得二维角度估计，接下来可以获得不同路径的定向信道冲击响应估计。所提估计算法可以获得闭式解，避免了搜索和配对过程。与此同时，提出了一种简化的信号检测过程，该过程可以降低矩阵求逆的维度，从而降低检测复杂度。对多种情况进行了仿真验证，仿真结果证明了所提算法的有效性。

研究AF中继网络同时信息与能量传输的物理层安全技术，提出利用鲁棒协作波束成形和人工噪声提升系统的安全和能量传输性能。将能量接收机视作潜在窃听者，在中继功率及能量采集门限约束下，提出最大化源节点与合法接收机之间的最差安全速率优化问题。为求解该非凸问题，提出了双层优化方法，其中包括一维搜索与半正定松弛。证明了该半正定松弛为紧松弛。仿真结果表明本文算法比其他方案有更好的安全速率性能。