一、背景介绍
基于片段的药物发现是药学研究与制药行业的主流设计策略，凭借高效、精准的优势广泛应用于新型化合物研发。当前深度生成模型可实现片段拼接成候选化合物，但精准生成具备特定理化、生物属性的连接子仍是行业技术难题，传统模型存在属性调控能力弱、分子创新性不足、适配场景有限等缺陷。
针对以上瓶颈，2022年11月20日，中山大学计算机学院杨跃东教授团队联合广州国家实验室陈红明研究员团队，在《Journal of Chemical Information and Modeling》发表相关研究，创新性提出DRlinker深度强化学习优化框架，用于片段连接设计优化。该模型融合Transformer与深度强化学习技术，可按需调控连接子与化合物属性，有效弥补传统方法短板，在基于片段的药物设计领域具备优异的适用性与应用潜力。
二、实验方法和材料
1.模型整体工作流程
DRlinker构建端到端的分子生成体系，将片段连接任务转化为SMILES句子补全任务，以带切割点的片段SMILES为输入，完整分子SMILES为输出，依托强化学习实现化合物属性精准优化。整体工作分为两大阶段，流程如图1所示。
图1 (a) 片段化和学习过程的流程图 (b) DRlinker的训练过程
研究数据源自ChEMBL数据库，先后通过RO5、PAINS、SA分数等多重规则过滤，结合分子对匹配切割算法构建FMQ数据集，再经RO3、连接子键距离等约束二次筛选，最终筛选出718652组有效片段-分子三元组数据。数据集包含数万组多样化连接子，涵盖固定的原子数量、环结构等拓扑特征，为模型训练提供充足支撑。模型先基于数据集训练Prior预训练模型，再以其为参数初始化智能体，通过采样、打分、参数迭代更新，完成强化学习训练。
图S1 ChEMBL数据集中连接子的拓扑结构和物理化学直方图
2.Transformer基础框架与强化学习策略
DRlinker以经典Transformer神经网络为基础特征提取框架，依托注意力机制挖掘片段分子的结构关联特征，保障分子生成的完整性与合理性，模型框架如图2所示。
图2 DRlinker的Transformer框架用于片段连接优化
研究将分子生成过程转化为马尔可夫决策过程，以预训练模型的概率分布为初始策略，针对连接子长度、生物活性、理化性质等不同任务，定制专属打分函数。通过强化学习引导模型迭代优化，精准调控生成分子的各项属性，规避传统模型盲目生成、后期筛选成本高的问题。
三、实验结果分析
研究设置8类药物设计任务，从有效性、新颖性、唯一性等六大核心指标完成全面测试，模型综合性能表现优异。在单一属性优化任务中，DRlinker可精准控制连接子长度、LogP值等关键参数，各靶标任务成功率领先传统模型，结果如图3所示。
图3 连接子长度和LogP的结果。（a）不同模型在连接子长度任务中针对不同靶标生成样本的分布。（b）不同模型在LogP任务中针对不同靶标生成样本的分布。括号中的百分比表示成功率。（c）在优化LogP任务时使用相同终端片段生成的示例。突出显示的部分是输入片段。
在多目标优化场景中，模型可同步优化QED类药性与SA合成可及性，生成的化合物综合理化性质更优（图4）。骨架跳跃实验显示，模型可生成近30%低2D相似度、高3D相似度的新型分子，突破传统模型的结构局限（图5）。
图4 多目标任务中用于优化QED和SA指标的连接化合物的分布
图5 在低2D相似度（Tanimoto similarity < 0.6）的约束下优化3D相似度（SC评分）的性能：（a）连接化合物的2D和3D相似度，（b）Pts靶标的排名前4的候选化合物的结合模式和MM/GBSA结合自由能，以及与先导化合物FG6 (Ref)的比较。化合物FG6是着青色，而候选化合物着绿色。
t-SNE可视化结果证实，DRlinker可突破训练数据空间限制，生成大量全新连接子，分子创新能力显著优于传统模型。
图S8 训练连接子和生成的连接子的t-SNE图，在所有强化学习任务中使用默认设置
四、讨论和展望
该研究创新性融合Transformer与深度强化学习，搭建了灵活高效的片段连接优化框架，无需大规模重训数据集，即可实现单目标、多目标化合物精准生成，相较于SyntaLinker、DeLinker等传统模型，效率与实用性大幅提升，为新型药物分子设计提供了全新技术方案。
同时研究仍存在一定局限：模型依赖精准预定义打分函数，蛋白-化合物相互作用评分存在瓶颈；短连接子优化时易出现侧链亲水基团冗余问题；3D相似度计算耗时久，模型采样效率有待提升。
未来可通过扩充蛋白-化合物相互作用数据、优化基团调控算法、融合混合并行计算等方式迭代升级模型，进一步拓展其在创新药物研发、先导化合物优化等场景的应用价值。
图S3 限制连接子长度优化LogP的生成示例。突出显示的部分是输入片段。
