石在

教育经历

信息与电子工程学系

工作经历

朝晖特聘副研究员 @ 浙江工业大学

2025年2月至今

高级技术研究专员 @ 阿里云集团

2022年2月至2025年2月

以一作共发表CCF-A论文5篇，CCF-B论文1篇，顶尖机器学习会议论文2篇。

阿里期间

回顾我在博士期间和阿里期间的科研工作，主要的研究主题是在各种应用场景下的随机优化。一般而言，随机优化的目标是 minx Eξ[f(x; ξ)]，其中 ξ 为随机变量。我们往往借助离线或者在线的数据样本{ξ}去优化我们的目标函数。当数据点分散在分布式系统中，问题变成了分布式优化；当目标函数为机器学习中的各种损失函数，那么就是机器学习的优化。随机优化之所以在如今受到越来越多的重视，是因为在这个大数据时代，大部分优化的场景是数据驱动的，随机优化就是通过目标函数去挖掘数据最大的价值。

随机优化算法的本质在于回答两个问题：1）离线或者在线的数据点能提供目标函数的哪些信息；2）怎样利用这些信息去一步步优化目标函数。如果我们能够通过数据样本获取目标函数的随机梯度甚至是Hessian 矩阵，那么我们就获得了目标函数带噪声的下降方向，这就是以 SGD 为代表的梯度算法；如果目标函数是黑盒且符合某些特定的条件那么我们可以赋予目标函数一个先验概率，数据点提供的信息就是不断更新的后验概率，从而获取最优值，这就是贝叶斯优化；而在分布式系统中，子系统只有目标函数的部分信息，因而需要子系统通过网络通信达成一致，最终获得全局最优解，这就是分布式优化。这些构成了我之前研究的主要内容。

当前，大模型（LLM）在各行各业得到了广泛应用，也为随机优化问题带来了更多的挑战与机遇。首先，大模型的练和微调中出现了更复杂、更多样的随机优化问题（Optimization for LLM）；同时，大模型强大的泛化能力也为一些类型的随机优化问题带来了新的解决方案（LLM for Optimization）。前者的研究将聚焦在上一节中的问题 2），即如何高效利用庞大的数据量去优化包含巨大参数量的大模型本身，后者的研究将聚焦在上一节中的问题 1），即如何利用大模型的能力去挖掘目标函数更多、更准确的信息。具体如下：

1）Optimization for LLM：大模型训练和微调为随机优化问题带来了新的挑战。具体而言，

2）LLM for Optimization: 大模型对于复杂数据分布的建模能力又为随机优化带来了新的可能。