介绍
HiBug与GPT-4仍然有很大差距,但在国产化编程模型里,HiBug已经是综合实力排名第一了
欢迎大家多多使用提意见,随时热烈期待!!!
现在HiBug仍然早期,服务器承受量可能有限,希望大家理解支持!
HiBug保证周更新1-2次,保证进步最快的团队!
下面是 HiBug 的综合评分数值:
chat-C-Eval中文数据集(2023/08/12)
Model |
Average |
STEM |
Social Sciences |
Humanities |
ChatGLM-6B |
41.0 |
33.3 |
48.3 |
41.3 |
ChatGLM2-6B (base) |
53.5 |
48.6 |
60.5 |
51.3 |
ChatGLM2-6B |
52.5 |
46.4 |
60.4 |
50.6 |
HiBug-6B |
54.9 |
48.2 |
62.3 |
54.1 |
HiBug-13B |
60.7 |
54.1 |
66.4 |
61.5 |
Code-HumanEval-X(Pass@1)
Model |
Python |
C++ |
Java |
JavaScript |
Go |
Overall |
CodeGen- 16B-multi |
19.2 |
18.1 |
15.0 |
18.4 |
13.0 |
16.7 |
CodeGeeX-13B |
22.9 |
17.1 |
20.0 |
17.6 |
14.4 |
18.4 |
RepIit-code-v1-3B |
22.0 |
20.1 |
20.1 |
20.1 |
12.2 |
18.9 |
CodeGen2.5-7B-multi |
30.6 |
24.3 |
29.0 |
27.5 |
18.9 |
26.1 |
StarCoder- 15 B |
35.5 |
28.2 |
31.5 |
33.2 |
21.3 |
29.9 |
CodeGeeX2-6B |
35.9 |
29.3 |
30.8 |
32.2 |
22.5 |
30.1 |
HiBug-6B |
36.9 |
35.7 |
30.9 |
22.3 |
25.4 |
30.2 |
大模型会有通病幻觉问题,我们会逐步完善和调整。
HiBug支持私有化部署,如有需要,欢迎访问www.hibug.com并联系客服微信,欢迎您的试用和反馈!
HiBug备案号:京ICP备2021031205号-7,京公网安备 11010802040993号。
请您遵守国家法律法规,一经发现有违法违规行为将严查追究。
| |