基于双路Transformer多分支网络的稀土萃取流程仿真方法

doi:10.11949/0438-1157.20250985

摘要/Abstract

摘要：

稀土萃取过程具有多变量、非线性、强耦合等特点，传统机理分析方法难以准确仿真稀土萃取流程。因此，提出一种双路Transformer多分支网络的稀土萃取流程仿真方法。首先，针对多级萃取槽串接而成的流程特点，选取基础的多分支深层网络，通过不同的分支输出每级萃取槽的组分含量；其次，为进一步捕捉稀土萃取流程的复杂特性，在多分支网络的基础上引入多尺度特征提取模块以及双路Transformer模块，特征提取模块通过对输入数据应用不同核大小的一维卷积，提取不同层次的特征，双路Transformer模块通过并行多头注意力和时间卷积网络，同时处理长距离依赖与短期动态变化，之后利用跨分支注意力以及门控融合机制对并行特征进行整合。最后设计匹配网络深度的差异化分支层结构，采用贝叶斯优化算法自动迭代优化模型超参数，并针对模型结构特点提出一种分阶段动态加权策略，逐步解冻分支训练，后续分支继承前序阶段学习到的网络参数。仿真结果表明了所提方法的有效性。

关键词: 稀土萃取, 多分支网络, 双路Transformer, 多尺度特征提取, 流程仿真

Abstract:

The rare earth extraction process is characterized by multi-variable, nonlinear, and strong coupling properties, making it difficult for traditional mechanistic analysis methods to accurately simulate the process. Therefore, a dual-path Transformer multi-branch network is proposed for simulating the rare earth extraction process. First, based on the series-connected structure of multi-stage extraction tanks, a basic multi-branch deep network is selected to output the component content of each extraction tank through different branches. Second, to further capture the complex characteristics of the rare earth extraction process, a multi-scale feature extraction module and a dual-path Transformer module are introduced into the multi-branch network. The feature extraction module applies one-dimensional convolutions with different kernel sizes to the input data to extract features at different levels. The dual-path Transformer module simultaneously processes long-range dependencies and short-term dynamic changes through parallel multi-head attention and temporal convolutional networks. Subsequently, cross-branch attention and a gated fusion mechanism are used to integrate the parallel features. Finally, a differentiated branch layer structure is designed to match the varying network depths. The Bayesian optimization algorithm is employed to automatically iterate and optimize the model hyperparameters. Additionally, a phased dynamic weighting strategy is proposed based on the model's structural characteristics, where branches are gradually unfrozen during training, and subsequent branches inherit the network parameters learned in prior stages. Simulation results demonstrate the effectiveness of the proposed method.

Key words: rare earth extraction, multi-branch network, dual-path transformer, multi-scale feature extraction, process simulation

中图分类号:

TF 845

朱建勇, 杨飞, 李中美, 杨辉. 基于双路Transformer多分支网络的稀土萃取流程仿真方法[J]. 化工学报, DOI: 10.11949/0438-1157.20250985.

Jianyong ZHU, Fei YANG, Zhongmei LI, Hui YANG. A simulation method for rare earth extraction process based on dual-path transformer multi-branch network[J]. CIESC Journal, DOI: 10.11949/0438-1157.20250985.

图/表 24

图1 稀土萃取分离工艺图

Fig. 1 Rare earth extraction and separation process flow diagram

图2 MB-DNN结构图

Figure 2 Structure diagram of MB-DNN

图3 DPT-MBN总体结构图

Figure 3 Overall structure of the DPT-MBN

图4 TCN模块结构图

Figure 4 Architecture diagram of the TCN module

图5 多头注意力模块示意图

Figure 5 Schematic diagram of the multi-head attention module

表1 分支网络结构设置

Table 1 Configuration of branch network structure

分支	对应萃取级	网络深度	残差连接	正则化	神经元数
1	15级	单层	无	无	[54]
2	25级	单层	无	无	[108]
3	30级	两层	多尺度特征融合	单层dropout(0.05)	[108,54]
4	35级	三层	多尺度特征融合+内部残差	双层Dropout(0.08, 0.12)	[130,162,108]
5	45级	三层	多尺度特征融合+内部残差	双层Dropout(0.10, 0.15)	[162,216,108]

表2 贝叶斯优化模型超参数步骤

Table 2 Bayesian optimization steps for model hyperparameter tuning

模型超参数优化步骤

1)定义目标函数与搜索空间

--目标函数：验证集均方误差损失 $L (θ) = M S E v a l (θ)$

--超参数搜索空间： $θ ∈ Θ$ (见表5)；

2)初始化采样：随机采样M组超参数组合 ${θ 1, θ 2, …, θ M}$ (M=10)，利用每组参数训练模型并计算 $L (θ i)$ ；

3)构建代理模型：基于采样结果

{θ i, L (θ i)}

拟合高斯过程代理模型，建立目标函数的后验分布

P (L | θ)

；

4)主循环(迭代N=40)

--While $i ≤ N$ ，repeat：

--采集函数选点：采用GP-UCB策略选择新采样点： $θ n + 1 = a r g m a x θ [μ (θ) + κ δ (θ)]$

--评估新参数点即训练模型并计算损失 $L (θ n + 1)$

--更新代理模型：将新数据 $(θ n + 1, L (θ n + 1))$ 加入数据集，更新GP后验分布

-- $n ← n + 1$

5)输出最优解：从所有评估点中选择最优超参数：

$θ o p t = a r g m i n θ ∈ Θ L (θ)$

6)终止条件：达到最大迭代次数N或损失收敛

表2 贝叶斯优化模型超参数步骤

Table 2 Bayesian optimization steps for model hyperparameter tuning

模型超参数优化步骤

1)定义目标函数与搜索空间

--目标函数：验证集均方误差损失 $L (θ) = M S E v a l (θ)$

--超参数搜索空间： $θ ∈ Θ$ (见表5)；

2)初始化采样：随机采样M组超参数组合 ${θ 1, θ 2, …, θ M}$ (M=10)，利用每组参数训练模型并计算 $L (θ i)$ ；

3)构建代理模型：基于采样结果

{θ i, L (θ i)}

拟合高斯过程代理模型，建立目标函数的后验分布

P (L | θ)

；

4)主循环(迭代N=40)

--While $i ≤ N$ ，repeat：

--采集函数选点：采用GP-UCB策略选择新采样点： $θ n + 1 = a r g m a x θ [μ (θ) + κ δ (θ)]$

--评估新参数点即训练模型并计算损失 $L (θ n + 1)$

--更新代理模型：将新数据 $(θ n + 1, L (θ n + 1))$ 加入数据集，更新GP后验分布

-- $n ← n + 1$

5)输出最优解：从所有评估点中选择最优超参数：

$θ o p t = a r g m i n θ ∈ Θ L (θ)$

6)终止条件：达到最大迭代次数N或损失收敛

表3 PDWTS具体设置

Table 3 Configuration details of PDWTS

阶段	萃取级	分支权重配置	动态批次	训练轮次
1	15级	[1,0,0,0,0]	56-64	40轮+早停10
2	+25级	[0.6,1.2,0,0,0]	48-56	50轮+早停12
3	+30级	[0.4,0.8,1.3,0,0]	40-48	60轮+早停15
4	+35级	[0.3,0.6,0.9,1.2,0]	32-40	70轮+早停18
5	+45级	[0.2,0.4,0.6,0.8,1.8]	28-32	100轮+早停25

表4 模型具体训练步骤

Table 4 Detailed model training procedure

DPT-MBN训练步骤
1)根据工艺流程以及监测级数确定主网络Transformer模块数I以及分支数T，同时配置每个训练阶段参数例如分支权重配置 $ω i$ 、动态批次范围 $[b s m i n, b s m a x]$ 等；
2)利用贝叶斯优化通过 $n_i t e r < J ?$ 条件不断迭代优化确定神经元数目等模型超参数，构建DPT-MBN模型;
3)前向计算： $Y ̂ = D P T - M B N (X)$ ，之后通过误差反向传播，利用Adam优化器训练第1阶段分支及其对应的Transformer模块参数，保存最佳权重用于下一阶段;
4)设置 $i = 2$ ；
5)主循环： While $i < T$ ，repeat： --继承前一阶段模型参数根据配置的不同训练阶段参数及有监督学习方式最小化目标损失函数 $L t o t a l = ∑ i = 1 T ω i × 1 N ∑ j = 1 N (Y i, j t r u e - Y i, j p r e d) 2$ --Adam算法反向传播更新参数 --验证集评估，检查早停条件 -- $i = i + 1$
6) 通过PDWTS迭代更新网络参数：先固定深层分支权重为0，仅训练当前阶段所激活分支；阶段收敛后，加载最优权重作为下一阶段的初始参数，并逐级放大新增分支的权重贡献，直至所有分支参与训练且验证损失收敛或达到预设最大迭代轮次停止训练。

表4 模型具体训练步骤

Table 4 Detailed model training procedure

DPT-MBN训练步骤
1)根据工艺流程以及监测级数确定主网络Transformer模块数I以及分支数T，同时配置每个训练阶段参数例如分支权重配置 $ω i$ 、动态批次范围 $[b s m i n, b s m a x]$ 等；
2)利用贝叶斯优化通过 $n_i t e r < J ?$ 条件不断迭代优化确定神经元数目等模型超参数，构建DPT-MBN模型;
3)前向计算： $Y ̂ = D P T - M B N (X)$ ，之后通过误差反向传播，利用Adam优化器训练第1阶段分支及其对应的Transformer模块参数，保存最佳权重用于下一阶段;
4)设置 $i = 2$ ；
5)主循环： While $i < T$ ，repeat： --继承前一阶段模型参数根据配置的不同训练阶段参数及有监督学习方式最小化目标损失函数 $L t o t a l = ∑ i = 1 T ω i × 1 N ∑ j = 1 N (Y i, j t r u e - Y i, j p r e d) 2$ --Adam算法反向传播更新参数 --验证集评估，检查早停条件 -- $i = i + 1$
6) 通过PDWTS迭代更新网络参数：先固定深层分支权重为0，仅训练当前阶段所激活分支；阶段收敛后，加载最优权重作为下一阶段的初始参数，并逐级放大新增分支的权重贡献，直至所有分支参与训练且验证损失收敛或达到预设最大迭代轮次停止训练。

表5 模型输入特征描述

Table 5 Description of model input features

输入特征	物理意义描述
$X 1$	料液中镧(La)元素组分含量
$X 2$	料液中镧(Ce)元素组分含量
$X 3$	料液中镨(Pr)元素组分含量
$X 4$	料液中钕(Nd)元素组分含量
$X 5$	Ce/La元素间分离系数
$X 6$	Pr/Ce元素间分离系数
$X 7$	Nd/Pr元素间分离系数
$X 8$	主产品出口模式
$X 9$	进料模式
$X 10$	萃取剂用量
$X 11$	洗涤剂用量
$X 12$	料液进料级数
$X 13$	有机相出口分数
$X 14$	水相出口分数

表5 模型输入特征描述

Table 5 Description of model input features

输入特征	物理意义描述
$X 1$	料液中镧(La)元素组分含量
$X 2$	料液中镧(Ce)元素组分含量
$X 3$	料液中镨(Pr)元素组分含量
$X 4$	料液中钕(Nd)元素组分含量
$X 5$	Ce/La元素间分离系数
$X 6$	Pr/Ce元素间分离系数
$X 7$	Nd/Pr元素间分离系数
$X 8$	主产品出口模式
$X 9$	进料模式
$X 10$	萃取剂用量
$X 11$	洗涤剂用量
$X 12$	料液进料级数
$X 13$	有机相出口分数
$X 14$	水相出口分数

图6 测试集输入特征与标签y301数据变化图

Figure 6 Variation of input features and label y301 in the test set

表6 贝叶斯优化模型超参数设置

Table 6 Hyperparameter configuration of the model optimized with bayesian optimization

参数类别	参数名称	设置范围
卷积参数	conv1_kernel	(3-7)
	conv2_kernel	(5-9)
	conv_filters	(64-128)
注意力机制参数	num_heads	(4-8)
注意力机制参数	key_dim	(32-128)+动态约束机制
TCN参数	tcn_units	(128-256)
分支层参数	dense_units	(48-128)

图7 贝叶斯优化过程模型验证损失变化图

Figure 7 Bayesian optimization process for model validation loss

图8 贝叶斯优化模型超参数与验证损失关系图

Figure 8 Relationship between Bayesian-optimized hyperparameters and validation loss

图9 不同模型的MAE指标对比

Figure 9 Comparison of MAE metrics across different models

图10 不同模型的RMSE指标对比

Figure 10 Comparison of RMSE metrics across different models

图11 不同模型的R2指标对比

Figure 11 Comparison of R2metrics across different models

表7 模型平均评价指标对比

Table 7 Comparison of average evaluation metrics across models

模型	组分	平均MAE	平均RMSE	平均R²
Bi-LSTM	有机相	0.0397	0.0548	0.9102
Bi-LSTM	水相	0.0306	0.0431	0.9148
TCN	有机相	0.0506	0.0730	0.8491
TCN	水相	0.0400	0.0562	0.8551
Single-Transformer	有机相	0.0208	0.0337	0.9502
Single-Transformer	水相	0.0252	0.0424	0.9461
MB-DNN	有机相	0.0232	0.0347	0.9494
MB-DNN	水相	0.0312	0.0480	0.9347
MB-RDN	有机相	0.0196	0.0299	0.9639
MB-RDN	水相	0.0246	0.0382	0.9564
MB-LSTM	有机相	0.0166	0.0268	0.9656
MB-LSTM	水相	0.0207	0.0355	0.9604
DPT-MBN	有机相	0.0126	0.0205	0.9796
DPT-MBN	水相	0.0158	0.0248	0.9812

图12 所选5种模型在第30萃取级上预测值与实际值对比

Figure 12 Comparison of predicted vs. actual values at the 30th extraction stage for five selected models

表8 消融实验平均评价指标对比

Table 8 Comparison of average evaluation metrics in ablation study

模型	组分	平均MAE	平均RMSE	平均R²
Original Transformer	有机相	0.0190	0.0304	0.9598
Original Transformer	水相	0.0236	0.0382	0.9562
w/o Multi-scale convolution	有机相	0.0153	0.0280	0.9531
w/o Multi-scale convolution	水相	0.0195	0.0346	0.9607
w/o TCN	有机相	0.0175	0.0278	0.9673
w/o TCN	水相	0.0219	0.0363	0.9612
w/o Gated fusion	有机相	0.0159	0.0258	0.9713
w/o Gated fusion	水相	0.0199	0.0328	0.9676
w/o Branching attention	有机相	0.0151	0.0254	0.9655
w/o Branching attention	水相	0.0201	0.0337	0.9649
Ours	有机相	0.0126	0.0205	0.9796
Ours	水相	0.0158	0.0248	0.9812

图13 消融实验第30级萃取级组分含量预测绝对误差

Figure 13 Absolute prediction errors of component content at the 30th extraction stage in ablation experiments

表9 模型复杂度与推理效率对比

Table 9 Comparison of model complexity and inference efficiency

模型	参数量/M	FLOPs/M	总训练时间/min	平均单样本推理时间/ms
Bi-LSTM	0.05	0.05	1.38	0.48
TCN	0.14	0.28	2.43	0.58
Single-Transformer	1.12	2.23	3.56	1.15
MB-DNN	0.03	0.07	1.64	0.71
MB-RDN	0.04	0.08	1.75	0.74
MB-LSTM	0.64	1.28	5.06	0.81
DPT-MBN	4.01	8.02	15.79	1.98

图14 不同训练样本下模型性能(MAE)变化趋势

Figure 14 Variation of model performance (MAE) with different training sample

图15 模型对6个测试集样本的流程仿真结果

Figure 15 Process simulation results of the model for six test set samples

参考文献 31

[1]	徐光宪. 稀土-上[M]. 第2版. 北京: 冶金工业出版社, 1995: 45-98.
	Xu G X. = rare earths[M]. Beijing: Metallurgical Industry Press, 1995: 45-98.
[2]	陆荣秀, 刘晓霞, 杨辉, 等. 含未建模动态补偿的稀土萃取过程预测控制[J/OL]. 控制工程, 2024: 1-9. (2024-02-28). .
	Lu R X, Liu X X, Yang H, et al. Predictive control of rare earth extraction process with unmodeled dynamic compensation[J/OL]. Control Engineering of China, 2024: 1-9. (2024-02-28). .
[3]	朱建勇, 杨辉, 陆荣秀, 等. 基于静态设定和动态补偿的铈镨/钕萃取过程药剂量优化控制[J]. 自动化学报, 2019, 45(6): 1186-1197.
	Zhu J Y, Yang H, Lu R X, et al. Static setting and dynamic compensation based optimal control for the flow rate of the reagent in CePr/Nd extraction process[J]. Acta Automatica Sinica, 2019, 45(6): 1186-1197.
[4]	桂卫华, 阳春华, 陈晓方, 等. 有色冶金过程建模与优化的若干问题及挑战[J]. 自动化学报, 2013, 39(3): 197-207.
	Gui W H, Yang C H, Chen X F, et al. Modeling and optimization problems and challenges arising in nonferrous metallurgical processes[J]. Acta Automatica Sinica, 2013, 39(3): 197-207.
[5]	吴声, 廖春生, 贾江涛, 等. 多组分多出口稀土串级萃取静态优化设计研究 (I)静态设计算法[J]. 中国稀土学报, 2004, 22(1): 17-21.
	Wu S, Liao C S, Jia J T, et al. Static design for multiple components and multiple outlets rare earth countercurrent extraction (I): algorithm of static design[J]. Journal of the Chinese Society of Rare Earths, 2004, 22(1): 17-21.
[6]	Ryu K H, Lee C, Lee G G, et al. Modeling and simulation of solvent extraction processes for purifying rare earth metals with PC88A[J]. Korean Journal of Chemical Engineering, 2013, 30(10): 1946-1953.
[7]	Yun C Y, Lee C, Lee G G, et al. Modeling and simulation of multicomponent solvent extraction processes to purify rare earth metals[J]. Hydrometallurgy, 2016, 159: 40-45.
[8]	丁永权, 衷路生, 杨辉. 任意组分两出口体系串级萃取静态优化设计研究[J]. 中国稀土学报, 2010, 28(1): 53-59.
	Ding Y Q, Zhong L S, Yang H. Static optimization design study of two outlets cascade extraction for any component[J]. Journal of the Chinese Rare Earth Society, 2010, 28(1): 53-59.
[9]	丁永权, 喻民, 刘正平, 等. 多组份稀土体系串级萃取分离理论级数计算公式[J]. 稀土, 2003, 24(3): 8-10, 30.
	Ding Y Q, Yu M, Liu Z P, et al. Formulae for calculating the number of stages in multi-component rare earth elements cascade extraction[J]. Chinese Rare Earths, 2003, 24(3): 8-10, 30.
[10]	贾文君, 柴天佑. 稀土串级萃取分离过程元素组分含量的多模型软测量[J]. 控制理论与应用, 2007, 24(4): 569-573, 580.
	Jia W J, Chai T Y. Soft-sensor of element component content based on multiple models for the rare earth cascade extraction process[J]. Control Theory & Applications, 2007, 24(4): 569-573, 580.
[11]	Yuan X F, Zhou J, Huang B, et al. Hierarchical quality-relevant feature representation for soft sensor modeling: a novel deep learning strategy[J]. IEEE Transactions on Industrial Informatics, 2020, 16(6): 3721-3730.
[12]	Giles A E, Aldrich C, Van J S J. Modelling of rare earth solvent extraction with artificial neural nets[J]. Hydrometallurgy, 1996, 43(1/2/3): 241-255.
[13]	陆荣秀, 何权恒, 杨辉, 等. 基于GA-ELM的稀土混合溶液多组分含量预测[J]. 计算机工程, 2021, 47(1): 284-290, 297.
	Lu R X, He Q H, Yang H, et al. Multi-component content prediction of rare earth mixed solution based on GA-ELM[J]. Computer Engineering, 2021, 47(1): 284-290, 297.
[14]	Ma Y Q, Stopic S, Gronen L, et al. Neural network modeling for the extraction of rare earth elements from eudialyte concentrate by dry digestion and leaching[J]. Metals, 2018, 8(4): 267.
[15]	Anitha M, Singh H. Artificial neural network simulation of rare earths solvent extraction equilibrium data[J]. Desalination, 2008, 232(1/2/3): 59-70.
[16]	Teerapittayanon S, McDanel B, Kung H T. BranchyNet: Fast inference via early exiting from deep neural networks[C]//2016 23rd International Conference on Pattern Recognition (ICPR). December 4-8, 2016, Cancun, Mexico. IEEE, 2017: 2464-2469.
[17]	Wang Q Z, Wang K, Li Q, et al. MBNN: a multi-branch neural network capable of utilizing industrial sample unbalance for fast inference[J]. IEEE Sensors Journal, 2021, 21(2): 1809-1819.
[18]	Wang Z D, Lou S Q, Wang X, et al. Multi-branch long short-time memory convolution neural network for event identification in fiber-optic distributed disturbance sensor based on φ-OTDR[J]. Infrared Physics & Technology, 2020, 109: 103414.
[19]	Liu L S, Guo K Q, Chen J, et al. A photovoltaic power prediction approach based on data decomposition and stacked deep learning model[J]. Electronics, 2023, 12(13): 2764.
[20]	Ziyabari S, Zhao Z Y, Du L, et al. Multi-branch ResNet-transformer for short-term spatio-temporal solar irradiance forecasting[J]. IEEE Transactions on Industry Applications, 2023, 59(5): 5293-5303.
[21]	Xu D, Shi Y X, Tsang I W, et al. Survey on multi-output learning[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020, 31(7): 2409-2429.
[22]	朱建勇, 王伟, 杨辉, 等. 基于多分支残差深层网络的稀土萃取流程模拟[J]. 控制理论与应用, 2022, 39(12): 2242-2253.
	Zhu J Y, Wang W, Yang H, et al. Process simulation of rare earth extraction based on multi-branch residual deep network[J]. Control Theory & Applications, 2022, 39(12): 2242-2253.
[23]	Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[EB/OL]. 2017: arXiv: 1706.03762.
[24]	Gong R, Li J, Wang C. Remaining useful life prediction based on multisensor fusion and attention TCN-BiGRU model[J]. IEEE Sensors Journal, 2022, 22(21): 21101-21110.
[25]	Cao W, Meng Z, Li J, et al. A remaining useful life prediction method for rolling bearing based on TCN-Transformer[J]. IEEE Transactions on Instrumentation and Measurement, 2025, 74: 1-9.
[26]	Liu M, Qin H, Cao R, et al. Short-term load forecasting based on improved TCN and DenseNet[J]. IEEE Access, 2022, 10: 115945-115957.
[27]	Yuan Z W, Wang R. Multi-scale and multi-branch transformer network for remaining useful life prediction in ion mill etching process[J]. IEEE Transactions on Semiconductor Manufacturing, 2024, 37(1): 67-75.
[28]	Vargas-Hernández R A. Bayesian optimization for calibrating and selecting hybrid-density functional models[J]. The Journal of Physical Chemistry A, 2020, 124(20): 4053-4061.
[29]	赵振武, 李雪琴, 贾朋霖. 融合贝叶斯优化随机森林的机场旅客风险评估研究[J]. 安全与环境学报, 2024, 24(9): 3487-3495.
	Zhao Z W, Li X Q, Jia P L. Research on airport passenger risk assessment by fusing Bayesian Optimized Random Forest[J]. Journal of Safety and Environment, 2024, 24(9): 3487-3495.
[30]	李超, 涂腾, 彭勋辉, 等. 融合DT-BO-GRU的中长期光伏功率滚动预测模型[J]. 太阳能学报, 2025, 46(5): 275-284.
	Li C, Tu T, Peng X H, et al. Medium-and long-term rolling prediction model of pv power fused with dt-bo-gu[J]. Acta Energiae Solaris Sinica, 2025, 46(5): 275-284.
[31]	吴永洪, 张智斌. 基于贝叶斯优化的CNN-GRU短期电力负荷预测[J]. 现代电子技术, 2023, 46(20): 125-129.
	Wu Y H, Zhang Z B. CNN-GRU short-term power load forecasting based on Bayesian optimization[J]. Modern Electronics Technique, 2023, 46(20): 125-129.