工联院大模型工业应用测评:创新奇智综合排名第6, 文档生成能力第1
近日,中国工业互联网研究院发布新一轮的《人工智能大模型工业应用准确性测评》报告。该项研究由中国工业互联网研究院联合香港科技大学,跟踪近一年来大模型技术进展,结合工业企业大模型应用情况调研,总结八类典型应用场景,针对国内外具有代表性的大模型开展测试。
创新奇智AInno-75B工业大模型在所有参测的国内外大模型中,取得综合排名第6的佳绩。在场景测评中,AInno-75B的文档生成能力名列第1,在工业知识问答、工程建模、数据分析、代码理解能力等方面亦有优异表现。

如下展示部分场景测评样例:
文档生成评测样例
问题示例:
阅读以下观点,回答你是否同意,如果你不同意,请说明哪种情况会削弱下面的观点:
过去的一年, QM的工伤事故比邻近的工厂多 $30 \%$, 邻近工厂每班工作时间比我们公司短 1 小时。专家称许多工伤事故的主要原因是疲劳和睡眠不足。因此, 为减少QM的工伤事故数量, 从而提高生产效率, 我们需要把 3 个班次的工作时间缩短 1 小时, 这样我们的员工可以获得充足的睡眠。
评分标准:
总结提炼后,评分标准如下:
(1) 两家公司是否具有可比性, 没有给出具体的分析...
(2) 去年的情况今年是否依然持续...
(3) 倒班时间缩短一小时,不能保证员工获得充足的睡眠;
(4) 即便缩短倒班时间能够保证员工获得充足的睡眠,员工的工伤数量也并不一定会下降...
对于以上四点,每个分论点在作文中有所体现得1分,共计4分。

工业知识问答评测样例
问题示例:
你知道哪些常用逻辑电平?TTL与CMOS电平可以直接互连吗?
评分标准:
(1) 常用逻辑电平包括:12V,5V,3.3V。(1分,给出标准中同样或近似的回答则得1分,否则不得分。)
(2) TTL和CMOS电平是否可以直接互连:不可以直接互连。(1分,给出标准中同样或近似的回答则得1分,否则不得分。)
(3) TTL和CMOS电平互连的条件:CMOS输出可以直接接到TTL,而TTL接到CMOS需要在输出端口加一上拉电阻接到5V或者12V。(1分)
本题共3小项,每个小项1分,满分3分。对于每个小项,如果描述有差距,或者详细程度不足,酌情给0.3或者0.5分或者0.8分。

工程建模测评样例
问题示例:
某公司在2018年年初预订x万产量的目标,2018年6月已完成计划的60%,此后按照上半年月均产量生产,则2018年超出计划产量300万。那么该公司2018年年初预订的产量为多少万元?
评分标准:
1. 如果能正确列出完成计划的60%即为 $0.6x$ 万的关系,得1分;
2. 如果能正确列出下半年产量也为 $0.6x$ 万的关系,得1分;
3. 如果能正确列出并解方程 $0.6x + 0.6x - x = 300$,得1分;
4. 如果能正确解出 $x=1500$,得1分;
本题共四个得分点,满分为4分,得分情况为(得分/满分)。
数据分析测评样例
问题示例:
您需要撰写一份简短的报告,介绍下面的图表/表格/图形的主要特征。您应该执行以下任务:概括数据,描述过程的各个阶段等等,请使用中文进行撰写。下表为2001—2010年几种型号电话年产量。

评分标准:
(1). 文章对比了2001年至2010年几种电话的年均产量变化。(1分,如果有相关的全局性描述,则得1分,否则不得分。)
(2). 在这10年期间,B电话稳步下降,而A电话支出迅速增长。(1分必须有B稳步下降的描述,且有A电话迅速增长的描述性语言,只给出数据不进行对比描述不得分。)
(3). 2007年是A产量超过B电话产量的转折点。(1分,必须指出2007年A电话超过B的关键节点,只给出数据不描述不得分)(4)... (5)...
本题共5小项,对于每个小项,如果学生的回答中有和该项一致的语句,则得1分,如果描述有差距,或者详细程度不足,酌情给0.3或者0.5分或者0.8分。
代码理解测评样例
问题示例:
回答下列选择题,并给出解析。下列代码中存在什么安全问题?
public void doPost(HttpServletRequest request, HttpServletResponse response)
throws ServletException, IOException {javax.servlet.http.Cookie[] theCookies = request.getCookies();
...
java.util.Properties benchmarkprops = new java.util.Properties();
String algorithm = "MD5";
java.security.MessageDigest.getInstance(algorithm);
byte[] input = {(byte) '?'};
Object inputParam = param;
if (inputParam instanceof String) input = ((String) inputParam).getBytes();}
评分标准:
代码中使用已知的弱哈希算法MD5,代码如下:
String algorithm = "MD5";
java.security.MessageDigest md = java.security.MessageDigest.getInstance(algorithm);
弱哈希算法有MD5、SHA-1 和 SHA-2 等哈希函数。
(回答中如果能指出安全问题是弱哈希算法得1分,否则不得分)

文档生成测评样例文档生成评测样例
工联院大模型工业应用测评:创新奇智综合排名第6, 文档生成能力第1
近日,中国工业互联网研究院发布新一轮的《人工智能大模型工业应用准确性测评》报告。该项研究由中国工业互联网研究院联合香港科技大学,跟踪近一年来大模型技术进展,结合工业企业大模型应用情况调研,总结八类典型应用场景,针对国内外具有代表性的大模型开展测试。
创新奇智AInno-75B工业大模型在所有参测的国内外大模型中,取得综合排名第6的佳绩。在场景测评中,AInno-75B的文档生成能力名列第1,在工业知识问答、工程建模、数据分析、代码理解能力等方面亦有优异表现。

如下展示部分场景测评样例:
文档生成评测样例
问题示例:
阅读以下观点,回答你是否同意,如果你不同意,请说明哪种情况会削弱下面的观点:
过去的一年, QM的工伤事故比邻近的工厂多 $30 \%$, 邻近工厂每班工作时间比我们公司短 1 小时。专家称许多工伤事故的主要原因是疲劳和睡眠不足。因此, 为减少QM的工伤事故数量, 从而提高生产效率, 我们需要把 3 个班次的工作时间缩短 1 小时, 这样我们的员工可以获得充足的睡眠。
评分标准:
总结提炼后,评分标准如下:
(1) 两家公司是否具有可比性, 没有给出具体的分析...
(2) 去年的情况今年是否依然持续...
(3) 倒班时间缩短一小时,不能保证员工获得充足的睡眠;
(4) 即便缩短倒班时间能够保证员工获得充足的睡眠,员工的工伤数量也并不一定会下降...
对于以上四点,每个分论点在作文中有所体现得1分,共计4分。

工业知识问答评测样例
问题示例:
你知道哪些常用逻辑电平?TTL与CMOS电平可以直接互连吗?
评分标准:
(1) 常用逻辑电平包括:12V,5V,3.3V。(1分,给出标准中同样或近似的回答则得1分,否则不得分。)
(2) TTL和CMOS电平是否可以直接互连:不可以直接互连。(1分,给出标准中同样或近似的回答则得1分,否则不得分。)
(3) TTL和CMOS电平互连的条件:CMOS输出可以直接接到TTL,而TTL接到CMOS需要在输出端口加一上拉电阻接到5V或者12V。(1分)
本题共3小项,每个小项1分,满分3分。对于每个小项,如果描述有差距,或者详细程度不足,酌情给0.3或者0.5分或者0.8分。

工程建模测评样例
问题示例:
某公司在2018年年初预订x万产量的目标,2018年6月已完成计划的60%,此后按照上半年月均产量生产,则2018年超出计划产量300万。那么该公司2018年年初预订的产量为多少万元?
评分标准:
1. 如果能正确列出完成计划的60%即为 $0.6x$ 万的关系,得1分;
2. 如果能正确列出下半年产量也为 $0.6x$ 万的关系,得1分;
3. 如果能正确列出并解方程 $0.6x + 0.6x - x = 300$,得1分;
4. 如果能正确解出 $x=1500$,得1分;
本题共四个得分点,满分为4分,得分情况为(得分/满分)。
数据分析测评样例
问题示例:
您需要撰写一份简短的报告,介绍下面的图表/表格/图形的主要特征。您应该执行以下任务:概括数据,描述过程的各个阶段等等,请使用中文进行撰写。下表为2001—2010年几种型号电话年产量。

评分标准:
(1). 文章对比了2001年至2010年几种电话的年均产量变化。(1分,如果有相关的全局性描述,则得1分,否则不得分。)
(2). 在这10年期间,B电话稳步下降,而A电话支出迅速增长。(1分必须有B稳步下降的描述,且有A电话迅速增长的描述性语言,只给出数据不进行对比描述不得分。)
(3). 2007年是A产量超过B电话产量的转折点。(1分,必须指出2007年A电话超过B的关键节点,只给出数据不描述不得分)(4)... (5)...
本题共5小项,对于每个小项,如果学生的回答中有和该项一致的语句,则得1分,如果描述有差距,或者详细程度不足,酌情给0.3或者0.5分或者0.8分。
代码理解测评样例
问题示例:
回答下列选择题,并给出解析。下列代码中存在什么安全问题?
public void doPost(HttpServletRequest request, HttpServletResponse response)
throws ServletException, IOException {javax.servlet.http.Cookie[] theCookies = request.getCookies();
...
java.util.Properties benchmarkprops = new java.util.Properties();
String algorithm = "MD5";
java.security.MessageDigest.getInstance(algorithm);
byte[] input = {(byte) '?'};
Object inputParam = param;
if (inputParam instanceof String) input = ((String) inputParam).getBytes();}
评分标准:
代码中使用已知的弱哈希算法MD5,代码如下:
String algorithm = "MD5";
java.security.MessageDigest md = java.security.MessageDigest.getInstance(algorithm);
弱哈希算法有MD5、SHA-1 和 SHA-2 等哈希函数。
(回答中如果能指出安全问题是弱哈希算法得1分,否则不得分)

文档生成测评样例文档生成评测样例