SuperCLUE 最新評測發布,山海大模型穩居全球大模型第一梯隊
7月9日,SuperCLUE發布《中文大模型基準測評2024上半年報告》,報告選取國內外有代表性的33個大模型在6月份的版本,通過多維度綜合性測評,對國內外大模型發展現狀進行觀察與思考。
報告顯示,云知聲山海大模型在本次半年度評測中取得總分72的優異成績,與360gpt2-pro、字節跳動豆包、月之暗面Kimi、百川智能Baichuan4并列國內大模型第四,穩居全球大模型第一梯隊。
SuperCLUE作為國內權威通用大模型綜合性測評基準,其前身可追溯至第三方中文語言理解評估基準CLUE(The Chinese Language Understanding Evaluation)。自2019年成立以來,CLUE基準一直致力于提供科學、客觀、中立的語言模型評測,其先后推出了CLUE、FewCLUE、KgCLUE、DataCLUE等多個被廣泛認可的評估標準。根據CLUE多年測評經驗,SuperCLUE基于通用大模型在學術、產業與用戶側的廣泛應用,構建了多層次、多維度的綜合性測評基準。
作為一個完全獨立的第三方評測機構,SuperCLUE采用自動化評測技術,有效消除人為因素帶來的不確定性,確保提供無偏倚的客觀評測結果。不同于傳統測評通過選擇題形式的測評,SuperCLUE納入開放主觀問題的測評,通過多維度多視角多層次的評測體系以及對話的形式,模擬大模型的應用場景,真實有效考察模型生成能力。與此同時,SuperCLUE根據全球的大模型技術發展趨勢,不斷升級迭代測評體系、測評維度和方法,以保證盡可能精準量化大模型的技術演進程度。
為進一步真實反映大模型能力,本次通用測評采用多維度、多層次的綜合性測評方案,由理科、文科和Hard三大維度構成:理科任務分為計算、邏輯推理、代碼測評集;文科任務分為知識百科、語言理解、長文本、角色扮演、生成與創作、安全和工具使用七大測評集;Hard任務聚焦精確指令遵循測評集,未來將陸續推出復雜多步推理和高難度問題解決等評測。
從代表通用能力的一級總分來看,山海大模型得分72,與360gpt2-pro、字節跳動豆包、月之暗面Kimi、百川智能Baichuan4并列國內大模型第四,位居全球大模型第一梯隊。
具體到二級維度得分,山海大模型在理科和文科領域均表現優異——在理科能力方面,山海大模型以76分的高分緊隨GPT-4o、GPT-4-Turbo-0409之后,力壓一眾國內大模型,并列排名國內第一;文科能力以75分的成績并列國內第二,實力同樣不容小覷。
在SuperCLUE基于基礎能力和應用能力兩個維度構建的模型象限圖中,山海大模型被定位為“卓越領導者”。這一分類反映了山海大模型在基礎和場景應用能力上均達到了領先水平,持續引領國內大模型技術發展和創新。
此外,與GPT4-Turbo-0409的對戰勝率統計數據顯示,山海勝率為17.67%,和率為65.37%,位列國內大模型第五,整體實力依舊不俗。
自2023年5月問世以來,山海大模型已相繼在C-Eval全球大模型綜合性評測、OpenCompass大模型評測、MedBench評測等多個權威評測中屢創佳績,充分展現出業界一流的通用能力和領先于世界的行業大模型能力。
正如報告所言,隨著技術進步和應用場景拓展,2024年下半年國內外大模型市場競爭將持續加劇,推動技術創新和產業升級。接下來,云知聲將繼續保持大模型能力穩步提升,以山海為抓手,在產業側實現加速落地,致力成為真正助力各行各業的“新質生產力”。
關鍵詞:
責任編輯:孫知兵
免責聲明:本文僅代表作者個人觀點,與太平洋財富網無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。
如有問題,請聯系我們!
- SuperCLUE 最新評測發布,山海大模型穩居2024-07-12
- 五彩龍巖 亮相成都2024-07-12
- 斷奶參考嬰兒奶粉十大名牌排行榜選合生元奶2024-07-12
- 16歲小將亞馬爾閃耀全場,阿迪達斯祝賀西班2024-07-12
- 打造零碳港口新標桿 遠程X7E純電牽引車批2024-07-12
- 尚牌“龍頭套”火爆出圈,蒼井空為其復出創2024-07-12
- ELASUN尚牌銷量破10億,蒼井空現身復出創“2024-07-12
- 80后老板一擲萬金 蒼井空聯動ELASUN尚牌送福利2024-07-12
- 腋下脫毛的最佳方法:薇婷Pure凈純系列脫毛2024-07-12
- 80后老板萬元買尚牌龍頭套 喜提蒼老師親筆2024-07-12
- 無人機配送:低空經濟新引擎,重塑未來生活2024-07-12
- vivo自研藍河操作系統面向全行業開發者尋找2024-07-12
- 恒潔閃裝3.0解決"煥新"難題,提振品質衛浴2024-07-12
- 有客瑤來,健康無添加龍牙百合專家 供應商2024-07-12
- “以客戶為先” 京東快遞小哥在阿那亞戲劇2024-07-12
- 和也好聲音丨聆聽嘉興退休醫務工作者與和也2024-07-12
- 海底撈換帥,將開啟多元發展模式2024-07-12
- 老赤坊榮耀41年再出發 ,多系列爆款回饋客戶2024-07-12
- 蒼井空親筆題詞送祝福,ELASUN尚牌獲消費者2024-07-12
- 科學防治激素臉 薈敏堂中醫治則有絕招2024-07-12
- 購買尚牌避孕套附贈蒼井空字畫,尚牌產品熱2024-07-12
- 全網票據流量主入口深度數科:挖掘票據數字2024-07-12
- 優鏈學堂-姜宏鋒:采購降本的5項障礙2024-07-12
- 注重創新與產業布局,新恒匯具備較強市場競2024-07-12
- 尼爾森IQ(NIQ) 2024首屆商業新銳計劃大2024-07-12
- 票據行業服務代表深度數科企服平臺 點亮中2024-07-12
- 行業首批!箭牌家居電子坐便器全機種獲國家2024-07-12
- 共探AGI之路,云知聲出席“通用人工智能:2024-07-12
- 你我貸科普:揭秘時下互聯網金融平臺的運作2024-07-12
- FlyDeliver獲數千萬融資,加速IPO步伐2024-07-11
精彩推薦
- 8月末社會融資規模存量為368.61萬億元,...
- 貸款平穩增長,“組合拳”持續發力——8...
- Mysteel早讀:黑色期貨夜盤飄紅,寶武10...
- 招商蛇口更換掌舵人:“老將”蔣鐵峰升任...
- 搭檔超20年合伙人反目,董事長把副董事長...
- 中國探月工程首任首席科學家:下一步我...
- 好消息!奉賢4座口袋公園改造提升工程即...
- cf體驗服資格是永久的嗎(cf體驗版)
- 李家超昨日下午視察災情,稱香港特區政...
- 存內控獨立性不足等問題,證監會對華西...
- 美網決賽對陣出爐!2號種子拒絕爆冷,2-...
- 千里走單騎的內容概括100字(千里走單騎...
- 洋錢罐借款怎么樣容易下款嗎?看看你就...
- Mysteel晚餐:唐山鋼坯下調40,高爐電爐...
- 9月8日:“農產品批發價格200指數”比昨...