新闻详情

新闻详情

首页 / 资讯中心 / 详情

Finetuning Large Language Model as an Effective Symbolic Regressor

发布时间:2026/9/30 2:19:50来源:尧图网络
Finetuning Large Language Model as an Effective Symbolic Regressor
论文总结与翻译:《Finetuning Large Language Model as an Effective Symbolic Regressor》一、论文主要内容该论文聚焦于符号回归(SR)任务——从观测数据中推导支配方程,这是科学发现的核心环节。当前基于大型语言模型(LLMs)的符号回归方法存在局限性,如依赖直接推理或提示工程,需大量推理迭代才能收敛到正确公式,且难以处理复杂方程,根源在于预训练LLMs的近似推理能力与SR任务高精度需求之间的固有矛盾。为解决此问题,论文提出以下核心内容:构建SymbArena基准数据集:包含148,102个多样方程,形成18.3亿token的语料库,覆盖广泛数学结构与复杂度,且按方程框架划分训练集(11,000个方程)与测试集(512个方程),避免结构层面信息泄露;同时设计兼顾数值精度((R^2)、(Acc_{\tau}))与形式一致性(LLM基于语义的度量、启发式字符串相似性度量)的评估方案,弥补传统数值导向评估的不足。提出SymbolicChat基线模型:通过三阶段训练优化LLM的符号回归能力。第一阶段利用90%数据进行指令微调,将数据矩阵转化为包含任务定义、操作说明与输入输出对的提示,采用交叉熵损失与LoRA实现参数高效微调;第二阶段基于剩余10%数据,通过Form-GRPO强化微调,设计形式正确性、形式相似性、数值拟合、等价性四种奖励,引导模型生成结
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

企业级RAG落地:从Demo到生产的工程化重构指南 2026/9/30 9:16:41

企业级RAG落地:从Demo到生产的工程化重构指南

我先问你一个很直接的问题:你手里的RAG知识库,敢不敢把Demo现场用的那套方案,原封不动地直接挪到生产环境? 我最近两年做了3个企业级RAG落地项目,分别涉及制造业设备手册问答、金融行业合规条款检索、以及企业内部政策…

阅读更多 →
Java仓库管理系统毕设实战:Spring Boot+Vue全栈开发与避坑指南 2026/9/30 9:16:34

Java仓库管理系统毕设实战:Spring Boot+Vue全栈开发与避坑指南

简介:这份资源是一篇基于Java的仓库管理系统毕业设计论文文档,面向计算机相关专业学生及需要完成课程设计或毕业设计的开发者。论文围绕电子商务背景下传统仓储人工操作效率低、错误率高的痛点,采用Spring Boot后端、Vue前端与MySQL数据库&am…

阅读更多 →
AnythingLLM本地优先AI智能体搭建实战:从部署到制度问答助手 2026/9/30 9:16:34

AnythingLLM本地优先AI智能体搭建实战:从部署到制度问答助手

最近有不少朋友在问,本地优先的 AI 智能体工具到底怎么选,尤其是想把企业内部的制度文档、技术手册变成能“听懂人话”的问答机器人时,市面上的 SaaS 产品往往卡在数据隐私和定制成本上。我自己在对比了多家方案之后,长期留下的就…

阅读更多 →
Agent/LLM技术日报:知识库建设、框架选型与落地排障实践 2026/9/30 9:16:34

Agent/LLM技术日报:知识库建设、框架选型与落地排障实践

今天这份Agent/LLM技术日报,我给自己定的选题标准只有一条:能让你下一个项目少踩坑、多落地的内容才进日报。搜了一圈这两天的热词,发现几个信号非常集中:llm wiki知识库、本体RAG、Agent框架与编排、Agent记忆与安全、本地ERP结合…

阅读更多 →
从零构建生产级记忆型 AI Agent:AgentScope 架构、记忆机制与 SSE 实战 2026/9/30 9:16:27

从零构建生产级记忆型 AI Agent:AgentScope 架构、记忆机制与 SSE 实战

记忆型 AI Agent 这个词这两年快被用烂了,但真正落到生产环境里,能稳定跑起来、能记住上下文、能在多轮对话里不丢状态的,其实没几个。大部分 demo 级别的 Agent 聊上三五轮就开始胡言乱语,要么把用户十分钟前说的话忘得一干二净&…

阅读更多 →
TensorFlow 2.16 LTS工业部署实战:从安装到端侧推理的全链路解析 2026/9/30 9:16:27

TensorFlow 2.16 LTS工业部署实战:从安装到端侧推理的全链路解析

1. 这不是“又一个深度学习框架”——TensorFlow的本质定位与它被误读十年的真相 很多人第一次听说TensorFlow,是在2015年谷歌开源那天;更多人真正接触它,是在2018年Kaggle比赛里看到别人用tf.keras写模型;而到了2024年&#xff…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉