大模型技术培训

第一天：基础篇与技术概览
· 上午（3小时）
o 大模型技术基础与最新进展
大模型的定义与关键技术概览
生成式人工智能(AIGC)概念
ChatGPT历史与发展
一些关键技术
人工智能实验环境的搭建
机器学习环境与深度学习环境
Python编程与数据科学工具库介绍
GPU与cuda
深度学习框架：PyTorch
ChatGPT模型背后的NLP基础知识
深度学习算法基础
MLP与CNN、RNN
特殊字符、分词与停用词处理技术
词向量与Embedding
介绍大模型前沿应用
文心一言、通义千问等
Midjourney等

o 企业应用场景案例分析
金融机构中的智能风险评估系统案例
教育机构的个性化学习路径推荐系统案例

· 下午（3小时）
o 大模型的核心技术深入
Transformer架构的深入解析与优化
Transformer中的block
自注意力机制与多头注意力
位置编码（为什么可以抛弃RNN）
Batch Norm与Layer Norm
解码器的构造
chatGPT的原理介绍
指示学习与InstructGPT
相关数据集
有监督微调（SFT）
从人类反馈中RL的思路
奖励建模（RM）
运用PPO改进
o 企业应用场景案例分析
法律行业的法条自动生成案例
法律行业的智能合同审核与咨询案例
o 实战演练：基础模型的使用与体验
演示如何使用最新的开源大模型ChatGLM3
学员动手操作，体验模型的基本功能及最新特性

第二天：进阶篇与实战应用
· 上午（3小时）
o 大模型的微调和优化
ChatGLM部署
ChatGLM3-6B介绍
ChatGLM3搭建流程
应用场景（工具调用、代码执行）
权重量化
ChatGLM3原理
Code Interpreter
多模态CogVLM
WebGLM搜索增强
大模型训练的高效算法与优化技术
LoRA
Prefix Tuning
P-Tuning
Prompt Tuning
freeze

o 企业应用场景案例分析
金融科技中的自动化报告生成与分析案例
医疗研究中的文献检索与知识提取案例
教育技术中的智能教学辅助工具案例
· 下午（3小时）
o 实战演练：大模型的微调实践
演示ChatGLM3微调过程
数据准备
模型调整
结果评估
学习LangChain所需的知识储备
词嵌入与语义空间
高维向量的快速模糊匹配
局部敏感哈希（LSH）
向量数据库
建立企业级对话系统
LangChain的原理
大模型利用的难点与痛点
Langchain的基本思路
关键组件

o 大模型的部署与运维
模型部署的最佳实践，包括容器化、云服务等
ChatGLM.cpp等
Docker简介
K8s简介
运维中的监控、调优与安全性管理

o 企业应用场景案例分析
企业内部的知识管理系统与智能助手案例
卫生行业的智能助手

大模型技术培训