分批补料发酵过程多目标优化的分布式强化学习策略

化工学报 ›› 2011, Vol. 62 ›› Issue (8): 2243-2247.

分批补料发酵过程多目标优化的分布式强化学习策略

李大字，宋天恒，靳其兵，谭天伟

北京化工大学信息科学与技术学院;北京化工大学生命科学与技术学院，北京 100029

出版日期:2011-08-05 发布日期:2011-08-05

Distributed reinforcement learning strategy for multi-objective optimization of fed-batch fermentation process

LI Dazi，SONG Tianheng,JIN Qibing,TAN Tianwei

Online:2011-08-05 Published:2011-08-05

摘要/Abstract

摘要：

发酵过程优化问题通常包含有互相冲突的多重优化目标，另外反应本身具有诸多复杂性。提出一种基于Pareto的分布式Q学习多目标策略，用以求解赖氨酸分批补料发酵过程流加速率轨迹的Pareto最优解。该策略中，Q学习算法和Pareto排序法将结合来产生非支配解集，并使之逼近真实的Pareto前沿，利用奖赏机制来描述多重目标之间的关系，并同时使用多组含有随机初始值的agent共同作用改善搜索能力。将所提出的方法应用于赖氨酸分批补料发酵过程的优化中，并与粒子群优化进行了对比，验证策略的性能。

Abstract:

Fermentation processes optimization involves multiple and conflicting objectives and the features of these processes contain many complexities.In this paper,a design of a Pareto-based distributed Q-learning(PDQL)optimization strategy was presented to solve Pareto optimal flow rate trajectories for the lysine fed-batch fermentation process.Q-learning algorithm and Pareto sorting method were combined to generate the nondominated solution set and to make it approximate the actual Pareto front.The strategy described the relation of multi-objectives with the help of rewards strategy.For enhancing searching capability,multiple randomly initialized groups of agents were used.The result of PDQL optimization was compared to PSO with the aggregated function method to test its performance.

中图分类号:

TP 183

李大字, 宋天恒, 靳其兵, 谭天伟. 分批补料发酵过程多目标优化的分布式强化学习策略 [J]. 化工学报, 2011, 62(8): 2243-2247.

LI Dazi, SONG Tianheng, JIN Qibing, TAN Tianwei. Distributed reinforcement learning strategy for multi-objective optimization of fed-batch fermentation process[J]. CIESC Journal, 2011, 62(8): 2243-2247.

[1]	任楠, 王涛, 吴玉庭, 马重芳. 混合碳酸盐的DSC测量与比热容分析 [J]. 化工学报, 2011, 62(S1): 197-202.
[2]	褚燕彬, 曹柳林, 王晶. 利用组合B样条神经网络实现对间歇反应过程的动态建模 [J]. 化工学报, 2011, 62(S1): 157-162.
[3]	吴海波, 方岩雄, 纪红兵. 助溶剂促进的β-环糊精与肉桂醛的包结性能 [J]. 化工学报, 2011, 62(S1): 168-173.
[4]	张艾萍, 谢立强, 徐志明. 超声空化对换热器协同场的影响 [J]. 化工学报, 2011, 62(S1): 130-133.
[5]	曾庆, 郭印诚, 牛振祺, 林文漪. 填料塔中氨水吸收二氧化碳的传质性能 [J]. 化工学报, 2011, 62(S1): 146-150.
[6]	王建立, 朱建军, 宋辰兴, 张兴. 3ω法测量纳米流体热导率 [J]. 化工学报, 2011, 62(S1): 42-47.
[7]	马维刚, 王海东, 张兴, 王玮. 多晶金薄膜电子-声子耦合的实验研究 [J]. 化工学报, 2011, 62(S1): 48-53.
[8]	崔福庆, 何雅玲, 程泽东, 李东, 陶于兵. 有压腔式吸热器内辐射传播过程的Monte Carlo模拟 [J]. 化工学报, 2011, 62(S1): 60-65.
[9]	何奎, 汪双凤, 黄间珍. 气液两相流在微小T型三通中的相分配特性 [J]. 化工学报, 2011, 62(S1): 92-96.
[10]	刘绩伟, 吴玉庭, 马重芳. 管肋式空间辐射器设计 [J]. 化工学报, 2011, 62(S1): 103-107.
[11]	李旺, 王情愿, 李瑞龙, 李超, 宇波, 张劲军, 代鹏飞. 大型浮顶油罐温度场数值模拟 [J]. 化工学报, 2011, 62(S1): 108-112.
[12]	胡朝发, 贾力. 脉动热管气液塞振荡运动模型 [J]. 化工学报, 2011, 62(S1): 113-117.
[13]	马有福，袁益超，陈昱，刘海磊，康明. 翅片螺距对锯齿螺旋翅片换热管特性的影响 [J]. CIESC Journal, 2011, 62(9): 2484-2489.
[14]	刘戈，解茂昭，贾明. 基于互动小火焰模型的内燃机燃烧过程大涡模拟 [J]. CIESC Journal, 2011, 62(9): 2490-2498.
[15]	刘娇，孟范平，王震宇，刘启元. 亚甲基蓝光度法研究基于CaO₂的Fenton反应条件 [J]. CIESC Journal, 2011, 62(9): 2520-2526.