要点速达👈
- IBM发布SMI-TED模型，突破化学分子预测领域🚀
- 利用Transformer架构和SMILES字符串，支持量子属性预测等复杂任务🔬
- SMI-TED通过掩蔽语言模型加速训练，提升模型性能⚙️
- 引入“专家网络”机制，优化计算效率与任务适应性🔧
- 应用前景广泛，有望推动药物研发和材料科学进展💊🧬
数智朋克报道，IBM最近发布的SMI-TED（SMILES-based Transformer Encoder-Decoder）模型，标志着化学分子预测领域的一项重要技术进展。SMI-TED作为一个大规模预训练编码器-解码器模型，专门针对SMILES字符串（化学分子简化表示法）进行优化，其核心创新在于应用了Transformer架构，赋予其强大的分子表示学习与预测能力。经过处理来自PubChem的91百万个SMILES样本后，SMI-TED成功完成了量子属性预测等高复杂度任务，在多个基准数据集上均表现出色。
SMI-TED的训练过程分为两个阶段。初期，模型采用掩蔽语言模型（Masked Language Model, MLM）策略训练编码器部分，掩蔽部分token，并利用95%的数据集来优化token编码器，5%用于解码器训练。这一策略加速了训练进程，同时避免了初期阶段编码器与解码器收敛不一致的问题。随着token嵌入的逐步收敛，训练规模扩大，最终100%的数据集被用来进行编码器与解码器的联合训练，显著提升了模型的整体表现。
在功能应用方面，SMI-TED支持分子分类、回归和量子力学属性预测等多种化学任务。IBM在多个标准化化学数据集上进行评估，结果表明该模型在分类和回归任务中均达到最前沿的性能。尤其在量子属性的预测方面，SMI-TED凭借深度学习的优势，展现出比传统方法更加精确的预测能力，为化学领域的深入研究提供了强有力的支持。
进一步提升计算效率和精度的SMI-TED变种（如SMI-TED8x289M）也随之推出，这些变种引入了“专家网络”机制。该策略通过稀疏激活专家模型，在处理特定任务时动态调整计算资源的分配，从而提高了模型的灵活性和泛化能力，尤其在面对不同化学任务时，能够更好地适应多样化需求。
SMI-TED的广泛应用前景令人期待，特别是在药物研发和材料科学领域。其强大的分子生成与预测能力，将极大地推动新分子设计和化学反应的发现。借助SMI-TED，研究人员不仅能够更准确地模拟分子的物理化学性质，还可以在未探索的分子空间中寻找潜在候选物质，从而为科学研究提供了更加高效、可扩展的工具。
粤公网安备44030002001270号