多智能体深度强化学习，用于利用分布式霍克蓄电池缓解低压住宅配电系统中不平衡的有源功率问题

单相屋顶光伏的高渗透性和负载需求分布不均，可能导致有源功率不平衡，进而对电力质量和系统可靠性产生不利影响。本文提出了一种基于多智能体深度强化学习的策略，通过采用分布在低压住宅配电系统中的单相电池系统，并由公用事业公司补贴，来补偿非平衡的有源功率问题。首先，不平衡的主动幂被表述为马尔可夫博弈。然后，马尔可夫博弈可以通过多智能体深度确定性策略梯度算法求解。该策略仅采用局部测量，并在培训期间集中共享代理的经验，以实现协作任务。电池系统的相位连接信息不再需要。所提策略可以从历史数据中学习，逐步掌握。四线住宅低压配电系统利用屋顶光伏的真实数据和验证需求。作为自适应智能体，电池系统能够通过充电/放电有源功率协同工作，从而最大限度地减少公共连接点的中性电流。
近年来，分布式能源资源（DERs），如光伏（PV）系统、固定式储能系统（ESS）和电动汽车（EV），已大量部署于低压（LV）配电系统中[1]。为实现净零排放目标，预计部署的DER数量将在不久的将来大幅增加[2]。由于大量分布式分布器和负载需求主要是单相，三相四线低压配电系统中电压和电流的不平衡状况更容易增加。根据[3]中的定义，三相四线电力网络中的不平衡状态发生在电压或电流的幅值和/或相位角在相量序列中不相等时。因此，三相之间的有功功率也存在不平衡，因为电压和/或电流不平衡。
不平衡条件会影响电力质量、可靠性和变压器过热，并降低配电线容量的利用率[4]， [5]。由于不平衡的赛道条件，出现了多项技术问题。在四线系统中，中性线设计为与三相导体的电容相同。如果出现不平衡条件，中性线会流过大电流，导致严重过载并增加中性线损耗[6]。不平衡条件还会在配电变压器（DT）中引入零序列谐波电流。该电流产生环流，产生热量损失，对绕组绝缘和变压器寿命产生负面影响[7]。此外，共模电压的问题是由不同的中性线和地线系统引起[8]。此外，电机的可靠性和寿命也受到该电压的影响，因为它会导致高轴承电流和电磁干扰。同样，相位不平衡直接影响电机，导致低阶扭矩脉动导致不稳定和机械损失[9]。
基于上述问题，配电系统运营商（DSO）正在寻找新颖的解决方案，以提升稳定性和电力质量，并最大限度地减少不平衡状态。一些传统或静态策略已被提出。例如，通过使用串联和并联的有源功率滤波器（APF）将负序列电压和电流成分注入网络，从而缓解了不平衡补偿问题[10]。此外，采用了静态同步补偿器（STATCOMs），通过控制无功功率的正负序列分量，以最小化不平衡条件[11]。尽管如此，上述策略对DSO来说涉及高昂的资本和维护成本。
作为辅助服务提供，并应对RES的高度波动和变异性，基于电力变换器的分布式发电（DGs）被广泛用于通过控制无功功率来补偿不平衡条件[12]。因为那种高感低压配电系统中的线路阻抗比，基于无功功率补偿的策略可能因产生较高的系统损耗而性能有限。在[13]中，三相DG被用来缓解不平衡电压，通过控制负序电流与栅极负序电流同相。单相光伏逆变器也被用于控制零序和负序电流，以集中方式最小化不平衡条件[14]。然而，两者的稳定性裕度[13]、[14]受到不同因素的影响阻抗比。此外，还提出了一种通常以集中方式依赖的监督控制器，用于获得为分布式逆变器提供参考信号所需的无功功率[15]。[16]的作者设计了一个单相和三相DG的集中控制器，用于通过调节有功和无功功率来调节电压和失衡。在[17]中，斯坦梅茨设计的分布式光伏逆变器被用来计算不平衡补偿所需的无功功率。该策略既可用于去中心化也可用于分布式。然而，效能取决于光伏逆变器的位置。光伏逆变器需要位于临界母线的下游。上述策略依赖于风能和太阳能DG逆变器的应用。另外，电池系统用于电力网络服务的应用也被广泛接受，这既有显著的价格下降，又有为有功和无功控制灵活，也有稳定的直流电压。观察到，使用电池系统进行不平衡补偿的研究较少。[4]中的作者提出了在低压配电系统中集中控制分布式三相PV/BESS逆变器，以补偿配电变压器低压侧的不平衡电压。通过利用智能电表的测量数据，计算负序分量并通过中央通信系统发送到每个分布式逆变器。此外，开发了一套集中控制社区储能（CES）系统，用于补偿多地低压系统中单相屋顶光伏和负载分配不均引起的中性电流和中性地电压（NGV）[18]。CES系统被控制为动态平衡三相间与电网交换的有源功率，同时最小化所需有功功率。拟议的控制器需要共用直流总线，并为每个单相家庭安装逆变器以提供所需的有功功率，因此经济吸引力不大。使用单相电池系统实现不平衡补偿的研究较少。单相电池系统比三相电池系统资本成本更低，因此适合补偿。作者在[19]中回顾了电网连接储能系统（ESS）的最新趋势和技术，这些系统预计将被广泛用于电力网络服务的提供。提出了一种单相电池系统的中央控制方案，通过控制有功和无功功率注入来补偿电压失衡[20]。然而，如果大量可再生和负载渗透到电力系统中，电池系统的容量可能不足以实现补偿。在[21]中，分配在电力系统中的单相插电混合动力充电器用于平衡相电流。只有无功电流在考虑初始充电状态和充电时间时被集中控制。在[22]中提出了对电力系统中单相电池系统的分布式控制，以平衡公共连接点（PCC）的有源功率。电池所有者可以根据需要决定参与平衡。除了分布式控制外，作者[23]还采用了集成的单相电池系统光伏系统分布在多接地配电系统中，通过控制电池系统的充放电有功功率，平衡每个母线的有功功率流。如果总线内置了更多电池系统，拟议的控制器可能无法正常工作。在四线电力网络中实现不平衡补偿时，需要了解家庭相位连接的信息。提出了多种策略，如集群化和识别电力系统中家庭的相位连接。[24]中的作者提出了基于混合整数线性规划（MILP）模型和谱聚类算法的用户相位识别方法;而在[25]中，提出了基于信息理论机器学习（ITML）的数据驱动方法，用于识别某些信息损失时的相位连接。在[26]中，使用分布式聚类算法将处于相同阶段连接的家庭分组到同一聚类中。每个集群的信息被用来补偿不平衡的主动功率。然而，在我们的研究中，LV住宅配电系统中家庭相位连接的信息已不再需要，从而降低了计算负担和复杂性。
迄今为止，尚无研究利用单相电池系统在三相四线住宅配电系统中进行多智能体深度强化学习（MADRL）算法来补偿不平衡条件。现有研究主要依赖于基于系统的优化和控制策略。基于控制系统的策略通常需要丰富的领域专业知识，如调优增益和设计控制参数。此外，控制设计需要完整且准确的动态模型，而这在实际系统中难以获得。此外，基于优化的方法有时会遇到收敛问题。MADRL算法作为一种无模型方法，可以在无需专家控制工程师干预的情况下实现如此复杂的控制器，并实现代理间的协作任务。因此，MADRL算法适合应用于缓解不平衡的有功功率问题。深度强化学习（DRL）技术可以为解决电力系统控制问题提供新颖思路[27]。确定性策略梯度（DPG）算法作为随机策略梯度定理的极限情况，已在[28]中以收敛性证明被引入。在该算法中，作用值函数通过线性函数近似器估计，但后来发现这些函数在处理大维观测和连续作用空间时不稳定。随后，作为DPG算法的一个变体，在[29]中开发了深度确定性策略梯度（DDPG），将DPG扩展到高维观察和连续动作空间，其中其策略和批判通过深度神经网络（DNN）的非线性函数近似器进行近似。然而，DDPG算法在多智能体环境中的主要局限性是非平稳性和高方差。因此，[30]中开发了多智能体深度确定性策略梯度（MADDPG），通过引入仅使用局部观察状态的集中训练和去中心化执行框架，来应对上述问题。换句话说，批评网络以集中方式培训，以实现竞争性或合作性任务。例如，成功应用MADRL算法解决电力系统问题的项目，可以被归结为利用并联反应补偿器提升电力系统弹性的案例[31]和基于控制的光伏逆变器在[32]、[33]中。受上述讨论启发，本文提出了一种多智能体深度强化学习策略，通过采用分布式单相电池系统，在三相四线家庭低压配电系统中，补偿公共连接点的不平衡有源功率。我们假设客户的单相电池系统由公用事业公司或第三方全部或部分补贴，以换取根据需要提供电力网络服务[34]。
本文的主要贡献总结如下：

• •
  基于马尔可夫博弈，开发了一个主动功率平衡框架。在该框架中，为多个智能体（分布式单相电池系统）定义了局部观察状态、全局奖励函数和作用。奖励函数在训练过程中以集中方式在各代理之间共享，以实现协作任务，只需局部观察状态。本文中，与传统方法如[24]、[25]、[26]相比，电池系统相位连接的信息不再被要求，从而降低了计算负担和复杂性。
• •
  提出的主动功率均衡框架通过采用多智能体深度确定性策略梯度（MADDPG）算法来解决，该算法在各大研究领域中广为人知且广泛应用。分布式单相电池系统能够协同工作，最大限度地减少PCC的中性电流，从而缓解不平衡状态。在三相四线住宅低压配电网络中，利用实际光伏发电量和负荷需求来验证所提框架的性能。