一、配置环境

    Pythongit clone https://github.com/QwenLM/Qwen-Agent.gitconda create --name qwen-agent python=3.12 conda activate qwen-agentcd Qwen-Agentpip install -e ./"[rag,code_interpreter,python_executor]"

    二、模型部署

        Qwen-Agent 既能够对接阿里云 DashScope服务所提供的 Qwen 模型服务,也支持借助 OpenAI API 的方式接入开源的 Qwen 模型服务。

        鉴于我们的业务恰好是基于 Qwen 大模型开展润色工作,因此这里选择调用本地模型服务。 以下是我们在 GPU 机器上部署的两个 Qwen 大模型:

      # 文本模型:Qwen2.5-14B-Instructllm_cfg = {    'model''Qwen/Qwen2.5-14B-Instruct',    'model_server''http://127.0.0.1:9995/v1',    'api_key''EMPTY',
          'generate_cfg': {        'top_p': 0.9    }}
      # 多模态模型:Qwen2-VL-7B-Instructllm_cfg_vl = {    'model''Qwen/Qwen2-VL-7B-Instruct',    'model_server''http://127.0.0.1:9993/v1',    'api_key''EMPTY',
          'generate_cfg': {        'top_p': 0.9    }}

      三、应用开发

      RAG

      代码示例:

        from qwen_agent.agents import Assistant# 文本模型:Qwen2.5-14B-Instructllm_cfg = {    'model''Qwen/Qwen2.5-14B-Instruct',    'model_server''http://127.0.0.1:9995/v1',    'api_key''EMPTY',    'generate_cfg': {        'top_p'0.9    }}def test():    bot = Assistant(llm=llm_cfg)    messages = [{'role''user''content': [{'text''介绍图一'}, {'file''/home/work/lixiang29/agent/Qwen-Agent/examples/Making_Retrieval-Augmented_Language_Models_Robust_to_Irrelevant_Context.pdf'}]}]    for rsp in bot.run(messages):        print(rsp)if __name__ == '__main__':    test()

        运行结果:

        用户输入

        模型输出

        介绍图一

        (下图为论文中的图1及其上下文)

        图1展示了一个例子,说明检索增强如何导致Llama-2-13B模型出错。当检索到与问题无关的上下文时,模型会给出错误的答案(右图),而没有检索的情况下,模型能够正确回答问题(左图)。具体来说,当被问及“谁在《General Hospital》中扮演Jason?”时,虽然模型正确答案是Steve Burton,但检索到的关于扮演Cooper的演员的信息导致模型被“分散注意力”,给出了错误的答案。

        四、工具调用

          import osfrom typing import Optionalfrom qwen_agent.agents import Assistantfrom qwen_agent.gui import WebUIos.environ['AMAP_TOKEN'] = '***'  # 需要去高德开放平台申请key# 文本模型:Qwen2.5-14B-Instructllm_cfg = {    'model''Qwen/Qwen2.5-14B-Instruct',    'model_server''http://127.0.0.1:9995/v1',    'api_key''EMPTY',    'generate_cfg': {        'top_p'0.9    }}def init_agent_service():    system = ('你扮演一个天气预报助手,你具有查询天气和画图能力。'              '你需要查询相应地区的天气,然后调用给你的画图工具绘制一张城市的图。')

          运行结果:

          用户输入

          模型输出

          今天武汉市的天气怎么样?根据天气情况帮我绘制一张黄鹤楼的图

          今天武汉市的天气是多云,29度,我绘制的图如下

          Generated image

          五、多Agent路由

            import osfrom typing import Optionalfrom qwen_agent.agents import Assistant, ReActChat, Routerfrom qwen_agent.gui import WebUI# 文本模型:Qwen2.5-14B-Instructllm_cfg = {    'model''Qwen/Qwen2.5-14B-Instruct',    'model_server''http://127.0.0.1:9995/v1',    'api_key''EMPTY',    'generate_cfg': {        'top_p'0.9    }}# 多模态模型:Qwen2-VL-7B-Instructllm_cfg_vl = {    'model''Qwen/Qwen2-VL-7B-Instruct',    'model_server''http://127.0.0.1:9993/v1',    'api_key''EMPTY',    'generate_cfg': {        'top_p'0.9    }}def init_agent_service():    tools = ['image_gen''code_interpreter']    bot_vl = Assistant(llm=llm_cfg_vl, name='多模态助手', description='可以理解图像内容。', function_list=tools)    bot_tool = ReActChat(        llm=llm_cfg,        name='工具助手',        description='可以使用画图工具和运行代码来解决问题',        function_list=tools,    )    bot = Router(        llm=llm_cfg,        agents=[bot_vl, bot_tool],    )    return botdef app_tui():    bot = init_agent_service()    messages = []    while True:        query = input('user question: ')        image = input('image url (press enter if no image): ')        if not query:            print('user question cannot be empty!')            continue        messages.append({'role''user''content': [{'text': query}]})        if image:            messages[-1]['content'].append({'image': image})        response = []        for response in bot.run(messages):            print('bot response:', response)        messages.extend(response)if __name__ == '__main__':    app_tui()

            用户输入

            模型输出

            告诉我这张图在描绘什么?请根据描绘编写一首诗,然后根据诗的内容重新绘制一幅抽象风格的艺术画。

            路由到多模态助手

            第一步借助code_interpreter工具,将图片加载进来

            {'role': 'assistant', 'content': '', 'name': '多模态助手', 'function_call': {'name': 'code_interpreter', 'arguments': "py\nfrom PIL import Image\nimg = Image.open('dog_and_girl.jpeg')\nimg.show()\n"}}, 

            第二步借助多模态模型描绘图片内容,并作一首诗

            {'role': 'assistant', 'content': '这张图片描绘了一位身穿白衣的女子骑在马背上,背景是碧蓝的海洋和晴朗的天空。她高举着一顶草帽,脸上带着自信与欢快的笑容,整幅画面洋溢着自由、勇气与夏日的浪漫气息。诗歌:《海风上的骑士》海蓝如镜云如绒,烈日铺金照碧空。赤马踏沙轻似梦,白衣女子笑从容。草帽高扬迎风舞,心随潮起向天冲。一骑奔腾天地阔,自在人间最英雄。\n让我们再次描绘这张图片,但这次我希望风格是抽象艺术的。', 'name': '多模态助手'}, 

            第三步借助image_gen工具,根据多模态生成的描述重新绘画

            {'role': 'assistant', 'content': '', 'name': '多模态助手', 'function_call': {'name': 'image_gen', 'arguments': '{"prompt":"a girl and a dog in a abstract style", "resolution":"1024*1024"}'}}, {'role': 'function', 'content': '{"image_url": "https://xxx"}', 'name': 'image_gen'}

            六、如何学习大模型 AI ?

            由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

            但是具体到个人,只能说是:

            “最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

            这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

            我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

            我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

            这份完整版的大模型 AI 学习和面试资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

            01.大模型风口已至:月薪30K+的AI岗正在批量诞生

            在这里插入图片描述

            2025年大模型应用呈现爆发式增长,根据工信部最新数据:

            国内大模型相关岗位缺口达47万

            初级工程师平均薪资28K(数据来源:BOSS直聘报告)

            70%企业存在"能用模型不会调优"的痛点

            真实案例:某二本机械专业学员,通过4个月系统学习,成功拿到某AI医疗公司大模型优化岗offer,薪资直接翻3倍!

            02.如何学习大模型 AI ?

            🔥AI取代的不是人类,而是不会用AI的人!麦肯锡最新报告显示:掌握AI工具的从业者生产效率提升47%,薪资溢价达34%!🚀

            由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

            但是具体到个人,只能说是:

            “最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

            这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

            我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

            我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

            1️⃣ 提示词工程:把ChatGPT从玩具变成生产工具
            2️⃣ RAG系统:让大模型精准输出行业知识
            3️⃣ 智能体开发:用AutoGPT打造24小时数字员工

            📦熬了三个大夜整理的《AI进化工具包》送你:
            ✔️ 大厂内部LLM落地手册(含58个真实案例)
            ✔️ 提示词设计模板库(覆盖12大应用场景)
            ✔️ 私藏学习路径图(0基础到项目实战仅需90天)

            在这里插入图片描述
            在这里插入图片描述
            在这里插入图片描述

            在这里插入图片描述
            在这里插入图片描述
            在这里插入图片描述

            第一阶段(10天):初阶应用

            该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

            • 大模型 AI 能干什么?
            • 大模型是怎样获得「智能」的?
            • 用好 AI 的核心心法
            • 大模型应用业务架构
            • 大模型应用技术架构
            • 代码示例:向 GPT-3.5 灌入新知识
            • 提示工程的意义和核心思想
            • Prompt 典型构成
            • 指令调优方法论
            • 思维链和思维树
            • Prompt 攻击和防范

            第二阶段(30天):高阶应用

            该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

            • 为什么要做 RAG
            • 搭建一个简单的 ChatPDF
            • 检索的基础概念
            • 什么是向量表示(Embeddings)
            • 向量数据库与向量检索
            • 基于向量检索的 RAG
            • 搭建 RAG 系统的扩展知识
            • 混合检索与 RAG-Fusion 简介
            • 向量模型本地部署

            第三阶段(30天):模型训练

            恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

            到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

            • 为什么要做 RAG
            • 什么是模型
            • 什么是模型训练
            • 求解器 & 损失函数简介
            • 小实验2:手写一个简单的神经网络并训练它
            • 什么是训练/预训练/微调/轻量化微调
            • Transformer结构简介
            • 轻量化微调
            • 实验数据集的构建

            第四阶段(20天):商业闭环

            对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

            • 硬件选型
            • 带你了解全球大模型
            • 使用国产大模型服务
            • 搭建 OpenAI 代理
            • 热身:基于阿里云 PAI 部署 Stable Diffusion
            • 在本地计算机运行大模型
            • 大模型的私有化部署
            • 基于 vLLM 部署大模型
            • 案例:如何优雅地在阿里云私有部署开源大模型
            • 部署一套开源 LLM 项目
            • 内容安全
            • 互联网信息服务算法备案

            学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

            如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

            这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

            在这里插入图片描述

            Logo

            火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

            更多推荐