深度强化学习流动控制实验：等离子体作动器实现湍流边界层减阻新突破

大潜力。针对这一需求，该研究团队构建了一套基于现场可编程门阵列（FPGA）的实时深度强化学习控制框架，结合等离子体作动器与高速传感系统，在高雷诺数湍流边界层中实现了自适应、低延迟的智能控制。

研究在低速闭式风洞中进行，采用具有椭圆前缘与楔形后缘的平板模型以形成零压力梯度湍流边界层。核心作动器为横向排列的九个冲击式等离子体射流单元，其间距经过设计，与湍流条带的特征尺度相匹配。研究采用了高频率响应的热膜与热线传感器，配合大连航华CTA-04恒温式热线风速仪使用。其中两枚热膜传感器布置于作动器上游，作为系统的“眼睛”，实时感知即将抵达控制区域的湍流状态；两个特制的壁面热线传感器则布置于下游，作为“裁判”，用于评估等离子体作动对局部摩擦阻力的实时影响，其输出信号经校准后直接转化为奖励信号，驱动强化学习算法的优化。整个控制系统搭载于高性能FPGA平台上，实现了从信号采集、神经网络推理到作动器驱动的全流程微秒级延迟，确保了与高速湍流变化的实时同步。

研究采用深度Q网络作为强化学习算法，并创新性地使用径向基函数神经网络来参数化控制策略，在保证函数逼近能力的同时大幅减少了网络参数量与计算开销。奖励函数经过精心设计，引入时间延迟与滑动平均处理，以准确反映上游作动对下游摩擦阻力的对流效应。此外，研究还系统探讨了控制频率、奖励延迟、网络结构等超参数的影响，并进一步利用粒子群优化算法对多维参数空间进行自动搜索，以最大化减阻效益。

实验取得了多项重要结果。首先，在传统的开环周期控制模式下，通过精细调节电压幅值、调制频率与占空比，仅能实现最高2.3%的相对减阻效果，且寻优过程耗时耗力。相比之下，基于深度强化学习的闭环控制系统仅需30秒的在线学习，便能获得优于开环控制的控制策略，初步实现2.9%的减阻。更重要的是，通过对超参数的系统优化，最终获得了最佳控制设定，在放电电压5千伏、控制频率1750赫兹等条件下，实现了高达6.7%的平均相对减阻，这一效果近乎最优开环控制的3倍，充分彰显了闭环自适应控制的优越性。

流场测量结果揭示了控制背后的物理机制。粒子图像测速技术显示，等离子体作动诱导产生一对反向的壁面射流，进而形成大尺度流向涡结构。这些涡结构犹如“梳子”，有效地抑制了湍流条带的横向摆动，使其空间分布更加规则，条带间距的统计分布显著收窄并峰值出现在作动器间距附近。与开环控制相比，深度强化学习控制以更低的流动改性代价，获得了更高的减阻收益，体现了其“精准干预”的特点。

对学习得到的控制策略进行可解释性分析发现，在低维输入情况下，复杂的神经网络策略可简化为一个清晰的阈值控制律。而在经优化的高维策略中，通过SHAP值分析表明，智能体学会在特定流动事件组合下触发作动：即当上游一个传感器感知到湍流条带破裂事件，同时另一个传感器检测到持续高速条带通过时，才启动等离子体激励。这种基于流动事件触发控制逻辑的方式，与湍流生成与维持的物理认知吻合。系统动力学分析进一步表明，深度强化学习控制通过改变流动状态之间的转移概率，将系统更多地导向高奖励、低阻力的状态簇，同时减少了不利状态的停留时间与自持概率，从而从系统层面提升了平均奖励，即实现了更显著的减阻效果。

该研究的结论明确指出，将深度强化学习与高速硬件控制平台相结合，能够有效应对高雷诺数湍流实验的实时控制挑战，所提出的框架不仅控制效能显著超越传统方法，并且其学习得到的策略具备明确的物理可解释性。这项工作为智能流动控制从仿真走向真实实验环境提供了关键的技术验证与范例。此项研究不仅证实了深度强化学习在复杂实验流体系统中实现高效闭环控制的可行性，其构建的“感知-决策-作动”一体化智能框架也为解决其他具有强非线性、高维性与随机性的工程控制问题提供了宝贵的经验。该成果标志着自适应智能控制技术在湍流减阻这一经典难题上取得了从理论到实验的实质性突破，为下一代主动流动控制技术的发展奠定了基础。