发布日期:2025-04-20 07:54 点击次数:68
当今的大模子无独有偶,LLaMA、Qwen、Bert等等,根底学不外来,致使有的卷王还看Transform源码18+动漫,这关于一般东说念主来说学习弧线太长了。
图片
如若不是搞底层算法设备,仅仅学习诳骗的话,我建议径直上手国产开源推理大模子,比如DeepSeek R1,以及GLM-Z1-Air,是智谱AI这两天才发布的全新开源模子,推理速率荒谬快,高出R1,后头会详备讲到。
由于R1的火爆,本年推理模子澈底占据了用户商场,创造了“哇哦”本领。大家知说念,传统的对话模子枯竭深度念念考,专科才调较差,而况荒谬执行用户的教唆语才调,推理模子则只需要疏漏的广大对话,就不错输出逻辑性严谨的专科讲演,像是数十个不同限制“大师”在随时候命。
而况推理模子大约设备多样垂直诳骗,比如企业学问库、代码助手、医疗会诊、合同审查等,诱惑RAG、Agent、LangChain作念设备,可玩性荒谬高。
全新开源推理模子 GLM-Z1-AirX,速率飞起在国内广大大模子厂商里,有一家面面俱圆,握续在发布新的模子,我荒谬看好,就是智谱AI。 智谱AI有一个大模子盛开平台BigModel,内部提供了GLM系列和多模态等几十种大模子,GLM-4不竭名列多样排名榜前方。
BigModel平台提供了相识的API接口,以及详备的阐扬文档,不错使用Python SDK、HTTP肯求进行调用,荒谬浅陋,最主要的是相识且速率快,关于企业诳骗来说荒谬首要。
图片
就在这两天,智谱开源了 32B/9B 系列 GLM 模子,涵盖基座、推理、千里念念模子,均撤职 MIT 许可条约。该系列模子现已通过全新平台 Z.ai 免费盛开体验,并已同步上线智谱 BigModel盛开平台。
其中,推理模子 GLM-Z1-32B-0414 性能忘形 DeepSeek-R1 等顶尖模子,实测推理速率可达 200 Tokens/秒(bigmodel.cn),咫尺国内营业模子中速率最快。此外,其价钱仅为 DeepSeek-R1 的 1/30。
除模子开源外,基座、推理两类模子也已同步上线智谱盛开平台(bigmodel.cn),面向企业与设备者提供API干事。
上线的推理模子分为三个版块,分离知足不同场景需求:
GLM-Z1-AirX(极速版):定位国内最快推理模子,推理速率可达 200 tokens/秒,比惯例快8倍;GLM-Z1-Air(高性价比版):价钱仅为 DeepSeek-R1 的 1/30,适当高频调用场景;GLM-Z1-Flash(免费版):接济 免费使用,旨在进一步裁减模子使用门槛。GLM-Z1-AirX到底有多快,咱们用常见的Python编程问题测试下GLM-Z1-AirX和DeepSeek-R1的推理速率和效果。
教唆如下:
使用Python模拟200行电商用户行径数据,然后对用户进行价值分类,分为高价值用户、后劲用户、一般价值用户,终末对数据进行可视化,能明晰看到三类用户的散播特征。径直输出代码即可,不需要其他描摹,要保证代码无差错可扩充。
❞
GLM-Z1-AirX推理期间10秒阁下,DeepSeek用了29秒。
图片
图片
两个模子王人完成了设定的任务,输出了准确的Python代码,底下望望生成的可视化效果奈何。
当先是GLM-Z1-AirX生成的可视化图表,比拟知晓的展示了用户的散播情况。
图片
接下来是DeepSeek生成的可视化图表,UI疏漏,也相通展示了用户散播。
图片
这阐扬GLM-Z1-AirX在保证性能的同期,在编程推理速率上有大幅擢升,还是比拟弯曲。
使用GLM-Z1-AirX设备“SQL代码自动化审核和生成器具”我是作念数据设备责任的,不竭会碰到业务部门提分析需求,是以小组里会有大批的SQL代码编写和审核责任,既费时忙活,还可能存在审核不标准、代码不准确的情况。
有了推理大模子,这一情况获取很快的改善,咱们尝试基于GLM-Z1-AirX设备“SQL代码自动化审核和生成器具” ,接济自动化审核SQL代码,并复返审核闭幕,以及凭据用户当然言语生成SQL查询代码。
这个器具即不错在末端和web诳骗中使用,还能部署到企业内网中,结束SQL提交、生成、审核、分享等干事。
大约的责任缱绻经过如下:
图片
接下来启动进行API准备和代码设备责任。
注册Bigmodel平台,接入GLM-Z1-AirX API先注册并登陆Bigmodel平台,然后找到key界面,生成专属的key,后头接入API需要用到。
智谱AI盛开平台
图片
接下来在模子中心里找到GLM-Z1-AirX模子,点开文档,内部有详备的API接口阐扬,包括接口信息、肯求参数、反应参数等。
图片
图片
然后找到Python的SDK示例代码,智谱有挑升的第三方库zhipuai,持重调用模子,你不错参照示例代码来缱绻接口模块。
图片
有几个首要参数阐扬下,model要填写GLM-Z1-AirX,max_tokens凭据需求自界说,temperature不错配置为0.5,因为是代码推理任务,不需要太具有创造性。
我的接口模块缱绻如下:
图片
SQL代码审查模块缱绻这个功能是通盘诳骗的中枢功能,方便用户提交SQL代码后,触发审查逻辑并调用GLM-Z1-AirX API分析SQL代码的语法问题、注入风险、性能问题等,终末明白复返闭幕。
是以prompt的缱绻比拟要津,我是这么写的:
手脚数据库大师,审查以下SQL代码,重心查验:SQL语法、注入风险、性能、代码标准、索引缺失、权限问题。按圭表复返:[问题类型] [风险等第] [配置建议]。代码如下:\n\n{sql_code}
❞
代码审核的功能函数如下:
图片
SQL当然言语生成模块缱绻该诳骗接济的另一个中枢功能是凭据用户输入的当然言语自动生成SQL代码,而况接济用户提交表结构。
这么就能方便公司里那些对SQL不老成的共事,也能我方跑数据分析。
这个prompt相对疏漏:
请凭据以下描摹生成 SQL 查询语句,接济postgresql言语:\n\n{description}
❞
代码生成的功能函数如下:
图片
Web诳骗搭建缱绻好接口模块、代码审核模块、代码生成模块后,接下来就是使用flask将其封装为Web诳骗,并缱绻疏漏的交互式界面和接口,方便可视化径直使用。
这里波及到网页肯求、反应、表单处理、UI缱绻等任务,就不逐一磨真金不怕火了。
最终结束的效果如下:
翻开web诳骗,出现SQL代码审查、SQL代码生成两个功能选项。
图片
点击代码审查,会出当代码审核窗口,接济提交SQL代码。
图片
点击审查,该诳骗会将代码提交给GLM-Z1-AirX API接口,模子推理完成复返审查闭幕。
图片
前边是推理念念考的过程,你不错看到SQL代码审查的细节,终末会有结构化的审查闭幕。
图片
该闭幕包括了问题转头,以及报警等第和矫正建议。
不错看到这个审查的闭幕还是比拟准确着实的,能减少东说念主工审核的期间。
接下来再测试下SQL代码生收效力效果奈何,你只需要凭据查询需求当然言语发问即可,如若想更精确的话,需附上表结构。
图片
草榴社区邀请码该诳骗复返的闭幕如下:
图片
图片
按照咱们提的查询需求,GLM-Z1-AirX复返的代码是十足可用的,而况反应速率极快。
转头如若要学习开源大模子,不错尝试用GLM-Z1-AirX这类的推理模子设备一些小诳骗,既能治理业务中的痛点,还是挖掘大模子更多的可能性。GLM-Z1-AirX兼具性能、速率、老本等上风,适当个东说念主设备者和中小公司,或者是免费版GLM-Z1-Flash也很香,能无扬弃调用,飞快试试。
智谱当今的AI研发和居品才调弗成小觑,看新闻说OpenAl在刚刚发布的GPT-4.1系列模子中评测其函数调用才调时取舍了智谱建议的ComplexFuncBench18+动漫,这是专用于评估大模子复杂函数调用才调的测试基准,说理智谱的探究效果受到外洋认同,十分弯曲。
本站仅提供存储干事,悉数实质均由用户发布,如发现存害或侵权实质,请点击举报。