自然语言处理导论 ¶

学习内容 ¶

2024 年自然语言处理导论内容如下（参考汤斯亮老师课程大纲）

• Lec 1 Introduction

• Lec 2 Deep Learning Basics

• Lec 3 Word Embedding

• Lec 4 卷积神经网络与循环神经网络

• Lec 5 机器翻译

• Lec 6-8 Transformers and Bert

• Lec 9 Quantization, Pruning, and Distillation

• Lec 10 Prompting and Fine-tuning

• Lec 11 Deep Reinforcement Learning

• Lec 12-13 大模型介绍

• Lec 14-15 大模型工具使用和 AI Agent

大模型出来以后 NLP 的变化很大，按照汤老师的说法，每年的课程内容都会有很大调整。

授课老师 ¶

这门课的授课老师是汤斯亮老师，老师讲课幽默风趣，也会每年根据新的 NLP 热点进行内容的迭代，非常建议大家去上课，会有不少收获。

分数构成 ¶

• 课程签到（8%）

  • 汤老师从 2024 年开始增加了课程签到，一共会有 4 次雷达点名。

• 实验（52%）

  • Lab 1 Word Embedding & Text Classification
  • Lab 2 Machine Translation
  • Lab 3 Prompt Tuning
  • Lab 4 Chain of Thought

• 大作业（35%）

  • 5 人组队，24 年的两个选题分别是基于大模型的视觉推理（ Caption、VQA 等）和基于大模型的思维链推理。

• 华为云反馈（5%）

  • MindSpore、ModelArts 意见反馈

学习建议 ¶

这门课程在学习过机器学习和计算机视觉导论之后相对而言难度和工作量不大，也可以学到很多 NLP 的知识。如果对自然语言处理方向比较感兴趣，可以考虑在大二下抢修这门课程。

实验会提供华为云的代金券（初始一人 200 元，可以后期再用代金券续费），理论上不太需要担心实验和大作业的算力资源问题。但是华为云平台对比 colab 建设还有很大的提升空间，使用华为云也要求用 mindspore 框架，相比 PyTorch 这个框架还是相对难用的，在大作业中还是更推荐到算力平台租用实例更为方便。