新闻详情

新闻详情

首页 / 资讯中心 / 详情

Assessing the Reliability and Validity of Large Language Models for Automated Assessment of Stude...

发布时间:2026/10/1 2:33:31来源:尧图网络
Assessing the Reliability and Validity of Large Language Models for Automated Assessment of Stude...
文章主要内容和创新点主要内容本文研究了5个先进大型语言模型(LLMs)——Claude 3.5、DeepSeek v2、Gemini 2.5、GPT-4和Mistral 24B在高等教育真实场景中自动评估学生论文的可靠性和有效性。研究以67篇意大利语的大学心理学课程学生论文为样本,采用包含“相关性(Pertinence)、连贯性(Coherence)、原创性(Originality)、可行性(Feasibility)”四个维度的评分标准,每个模型对每篇论文进行三次重复评分以评估模型内稳定性。结果显示:人机评分一致性极低且不显著(通过加权二次Kappa系数衡量);模型内三次重复评分的可靠性较弱(Kendall’s W中位数0.30);存在系统性评分偏差,例如模型普遍高估“连贯性”分数,且对依赖语境的维度(如相关性、可行性)处理不一致;模型间一致性分析显示,在“连贯性”和“原创性”上有中等一致性,但在“相关性”和“可行性”上几乎无一致性。研究认为,当前LLMs难以复制人类在需要学科洞察力和语境敏感性的任务中的判断,评估开放式学术作品时,人类监督仍至关重要。创新点真实教育场景验证:聚焦高等教育真实课堂的学生论文(心理学领域、意大利语),而非标准化数据集或人工设计任务,更贴近实际教学评估需求。多维度与多模型对比:采用四维度评分标准(涵盖内容、结构、
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

Java大乱斗闯关游戏源码解析:从主循环到对象池的实战指南 2026/10/1 19:07:50

Java大乱斗闯关游戏源码解析:从主循环到对象池的实战指南

简介:基于Java开发的大乱斗闯关游戏源码,面向具备基础Java语法、希望深入了解游戏开发流程的学习者与爱好者。项目演示了如何利用Swing/JavaFX构建图形界面,通过线程实现游戏循环,并处理角色移动、攻击、碰撞检测等核心逻辑&#…

阅读更多 →
main.py不是屎山,而是深度代理系统的指挥中枢 2026/10/1 19:07:50

main.py不是屎山,而是深度代理系统的指挥中枢

1. 为什么6000行的main.py不是“代码屎山”,而是藏宝图的索引页? 你打开一个叫 Deep Agents Code 的开源项目, main.py 文件右下角显示:6247 行。光标往下滚三秒还没到底,函数名像地铁站名一样密集—— run_agent…

阅读更多 →
6000行main.py解构:CLI状态中枢与Textual响应式架构 2026/10/1 19:07:50

6000行main.py解构:CLI状态中枢与Textual响应式架构

1. 项目概述:当6000行main.py成为你的“代码迷宫”你有没有过这种体验:打开一个开源项目的根目录,第一眼就看到那个刺眼的main.py——文件名朴素得像刚学Python时写的第一个脚本,但点开之后,光是滚动条滑到底部都需要三…

阅读更多 →
Agent Hooks与Checkpointer:让Agent从全自动变为可掌控的工程实践 2026/10/1 19:07:50

Agent Hooks与Checkpointer:让Agent从全自动变为可掌控的工程实践

1. 为什么说Agent需要“人为可掌控” 做了五年React业务开发后转Agent开发,我第一感觉其实是有点恍惚的:以前写前端,数据流完全掌握在自己手里,状态一变页面变,逻辑清清楚楚;写Agent之后倒好,给…

阅读更多 →
Shell多行注释详解:冒号+here-doc的三种方案与避坑指南 2026/10/1 19:07:43

Shell多行注释详解:冒号+here-doc的三种方案与避坑指南

1. 为什么Shell没有原生块注释:先看清这门语言的脾气1.1 从C、Python转过来的人,几乎都会在注释上卡一次很多从C、Java或者Python转过来写Shell脚本的人,第一周都会问同一个问题:Shell里到底怎么给一段代码加多行注释?…

阅读更多 →
bzip2实战指南:压缩率、参数选型与备份场景对比 2026/10/1 19:07:36

bzip2实战指南:压缩率、参数选型与备份场景对比

去年处理一批线上数据库备份任务,我在日志服务器上对着三种压缩命令犹豫了半天:gzip快但是压不狠,xz压得狠但是慢得让人抓狂,轮到bzip2的时候,我发现自己其实已经很久没正儿八经用它干过活了。后来整理服务器清理计划&…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉