李宏毅学习笔记——2024春《GENERATIVE AI》篇（已完结）_李宏毅 人工智能

0 李宏毅介绍：

学习本门课程之前，有必要简单了解一下授课老师的生平。

1）简介：

李宏毅（1985年或1986年－），台湾计算机科学家，国立台湾大学电机工程学系教授，研究领域包括语意理解、语音辨识、机器学习、深度学习等。

2）早年生活：

李宏毅在大学二年级时，因对电机系许多课程感到困惑，曾一度非常沮丧迷惘，甚至萌生了退学的念头。他当时选了一门“数字通信处理”课程，发现自己难以听懂，但他并未放弃，不弃选不退修，最终豁然开朗，“原来用手机拨电话给别人时，中间发生的事就是这些信号处理。”找到学习的兴趣后，李宏毅开始跟随中央研究院李琳山院士做项目，随后于2010年从国立台湾大学取得硕士学位，2012年取得博士学位。2012年9月至2013年8月间，李宏毅于中央研究院资讯科技创新研究中心担任博士后研究员。2013年9月以客座科学家身份前往麻省理工学院计算机科学暨人工智能实验室。2014年返台，担任台湾大学电机工程学系教师至今。

3）开设课程：

2015年，李宏毅开始在台湾大学讲授机器学习课程，选课人数通常爆满，有400多人来修。于是，李宏毅将学生分在两间教室，一间现场看老师上课，另一间同步看直播。由于直播上课的诸多限制，李宏毅养成了录制课程影片的习惯。一开始李宏毅将影片上传至个人主页，后来由于萤幕侧录软件的序号过期，无法导出MP4，但有导出至YouTube的选项，于是李宏毅开始将课程影片上传至YouTube。此举不仅帮助了台湾大学的学生，还意外嘉惠台湾大学以外的学生。在其影片下方，还有中国大陆的学生留言感谢，表示已经听完全部课程，并留下笔记连结。截至2021年9月30日，李宏毅的YouTube频道有超过20万位订阅者，最热门的影片有61万次观看 （页面存档备份，存于互联网档案馆）。

李宏毅擅长用浅显易懂的语言，以学生喜爱的精灵宝可梦、凉宫春日等动漫来讲解复杂的机器学习技术，因此被亲切地称为“精灵宝可梦大师”。中华民国电脑学会称李宏毅为“第一个公开有系统地完整深入讲解深度学习技术的学者，使得华文的深度学习教学与英文世界并驾齐驱。”

注：上述资料来源于李宏毅 (计算机科学家) - 维基百科 

1 前言：

本人在学习本门课程之前系统学习了吴恩达老师的机器学习和深度学习课程，并记录了较为详细的笔记，有需要的小伙伴可以参见：

深度学习入门指南——2022吴恩达学习笔记Coursera《Machine Learning》篇（已完结，超详细）

深度学习入门指南——2021吴恩达学习笔记deeplearning.ai《深度学习专项课程》篇（已完结）

2 李宏毅所有课程思维导图：

​

本次课程我们学习的是2024最新开设的课程——《GENERATIVE AI》

3 课程视频：

官网：Introduction to Generative AI 2024 Spring​

Youtube：【生成式AI導論 2024】第0講：課程說明 (17:15 有芙莉蓮雷)

BiliBili：李宏毅2024春《生成式人工智能导论》

4 参考笔记及资源：

笔记：

[note] 2024生成式AI導論_李宏毅 - HackMD

学习笔记：《生成式AI导论2024》 李宏毅 - 飞书云文档

李宏毅2024《生成式人工智能导论》笔记 - 知乎

李宏毅2024生成式人工智能导论 中文镜像版指导与作业

资源：

1）PPT/PDF

李宏毅生成式人工智能教程LeeGenAI-Tutorial

Introduction to Generative AI 2024 Spring

2）课后作业（HomeWork）

Introduction to Generative AI 2024 Spring

3）代码

AI-Guide-and-Demos-zh_CN

我（上述链接中的作者）制作了这门课程作业的大陆镜像版，替换了作业中需要翻墙才能获取的API，并：

1. - 将其中的行为使用 OpenAI 库进行替换
2. - 使用 ipywidgets 模拟 Colab 的交互
3. - 以中文进行作业引导 现在你可以在不翻墙的情况下完成课程的所有作业

所有代码文件已经开放：https://github.com/Hoper-J/LLM-Guide-and-Demos-zh_CN

（中文镜像版的制作与分享已经获得李宏毅老师的授权）

5 学习笔记：

注：以下作业中的大部分内容均来自AI-Guide-and-Demos-zh_CN，非常感谢这位前辈的无私奉献

除了“补充：API的创建和调用”外，其余补充内容均为选修，有选择性浏览学习即可

日期 内容 笔记链接 作业链接 拓展内容 2/23 课程内容说明 第0讲+第1讲 补充：API的创建和调用 80分钟快速全面了解大型语言模型 3/1 提示工程 & AI 代理人 第2讲+第3讲 补充：API的创建和调用 提示工程指南 3/8 生成策略 & 从专才到通才 第4讲 HW3：使用API快速搭建AI应用 语言模型如何学习使用工具 3/22 深度学习 & Transformer 第5讲 + 第6讲 HW4：自定义 Prompt 提升大模型解题能力 让 AI 村民组成虚拟村庄会发生什么事？ 补充1：认识 LoRA 补充2：理解 HF 的 AutoModel 系列 补充3：部署你的第一个语言模型——本地或云端 机器学习模型的可解释性 补充4：模型参数与显存的关系，以及不同精度的影响 3/29 深度学习 & Transformer 第7讲 HW5：尝试微调 LLM：让它会写唐诗 Llama 2 论文链接 补充1：深入理解 Beam Search原理, 示例与代码实现 Llama2论文精读——参考1 补充2：||Top-K vs Top-P||—生成式模型中的采样策略与 Temperature 的影响 Llama2论文精读——参考2 4/12 评估生成式AI & 道德议题 第8讲 + 第9讲 HW6：DPO 微调示例——根据人类偏好优化LLM大语言模型 大型语言模型驱动的智能体的崛起与潜力：一项调查 5/03 Transformer & 生成式AI的可解释性 第10讲 + 第11讲 HW7：Inseq 特征归因——可视化解释 LLM 的输出 Transformer架构讲解 用AI来解释AI 5/10 评估生成式AI & 道德议题 第12讲 + 第13讲 HW8：了解人工智能可能存在的偏见 大型语言模型可以替代人类评估吗？ 补充1：在大模型中快速应用 LoRA 使用MT-Bench和Chatbot Arena评估大语言模型作为“评审”的能力 大型语言模型中的偏见与公平性研究 5/17 生成策略 第14讲 +  第15讲 + 第16讲 HW9：使用大模型 API 对视频进行快速摘要（音频处理） SpecInfer：通过基于树的推测推理与验证加速生成式大语言模型的服务 5/31 影像的生成式AI 第17讲+第18讲 HW10：尝试使用 LoRA 微调 Stable Diffusion 模型（文生图） 视觉语言模型简介 视频扩散模型综述 VAE的讲解 GAN的讲解 Flow的讲解 Diffusion的讲解 Extra lesson GPT-4o Extra lesson N/A

6 参考文献：

1. 李宏毅 (计算机科学家) - 维基百科，自由的百科全书