什么是自然语言处理
2017年，谷歌提出一种新的学习模型叫做“Transformer”，该模型是一种基于注意力机制的神经网络模型，可以有效地处理序列数据。许一格说：“它有点像对人类思考方式的模仿。人们在看一段话时，不会给每一个字相同的注意力，而是会快速筛选关键词，忽略一些非关键词。Transformer模型最重要的就是给予关键词更高的权重。”
作为ChatGPT母公司OpenAI的用户，许一格说：“2022年11月，ChatGPT推出的第一天，我就收到了邮件。我作为相关领域的研究者，确实能够比普通人更快感受到技术的变革。”
这是因为ChatGPT引入了一个非常重要的训练方式，叫做人工反馈的强化学习 （reinforcement learning from human feedback）。“比如说，让ChatGPT针对同一个问题生成不同的回答，再由真人来告诉它，哪一个回答更好，或者说更像‘人’说的，促使模型可以生成更像人类的回答。”许一格解释道。
基于这一模型，2018年OpenAI推出了第一代GPT。许一格说，“预训练模型发展非常快，2019年开始，我每天都要看至少10篇论文，因为你不紧跟学术前沿信息，就会突然发现它怎么又变成这样子了。”
2023年2月ChatGPT给了人类一点小小的计算机震撼，生成式人工智能（AI）以一种强势的姿态进入了我们的视野，让人既激动又惶恐，仿佛通用人工智能（AGI）的时代已经近在眼前，但又担心着自己哪一天突然被AI取代。
美国人工智能公司OpenAI开发的聊天机器人ChatGPT掀起全球热潮，有人既激动又惶恐。对于生成式人工智能的涌现，27岁的南大计算机科学与工程学院学生有什么看法？ChatGPT和他所研究的领域之间又有什么密切的关系？
计算机科学虽已深入我们的日常生活，但学科的门槛和壁垒却不低。为了让笔者明白生成式AI的底层逻辑，许一格首先须要用通俗的语言解释他的研究领域：
许一格大学本科研究的是推荐系统，2018年他成为复旦大学的硕士研究生，开始进入自然语言处理领域，研究预训练模型。许一格将预训练模型比作提前编写好的字典，第一代预训练模型成熟于2013年，而随着预训练模型的发展，“字典”也变得越来越强大。
“用一句大白话来概括，自然语言处理就是让计算机学会理解人类的语言，并学会说人类的语言。前者是‘自然语言理解’，它就像让计算机做客观题，是有标准答案的；后者是‘自然语言生成’，简单的例子就是机器翻译，而翻译的好坏是没有一个客观标准的。”
从Transformer到ChatGPT
最大特点：像人一样说话
许一格认为：“ChatGPT最大的特点就是‘像人一样说话’。从数学统计的角度来说，它其实不能算是一个很大的创新，但是从实际应用的效果，或者从受众影响的角度来说，它确实是一个突破，它让一点都不懂计算机的民众也能使用，并且觉得非常好用、非常有意思。”
对于生成式AI的涌现，许一格是持乐观态度的，他说：“你可以把它看作一种生产效率的提升。当ChatGPT发挥了辅助写作的功能，本来可能需要花几个小时去做的事情，只要几分钟它就做完了，节省下来的时间，你就可以去做更有意义、更具创造性的事情。”
从许一格这样的研究者角度来看，也许Transformer的提出才是那个能让人们震颤的节点，但身在2017年的一般人并不知情，直到ChatGPT铺天盖地出现在媒体的报道里。
许一格（27岁）是南洋理工大学计算机科学与工程学院学生，自然语言处理（natural language processing）是他的研究领域，这个领域和ChatGPT的诞生密切相关。和ChatGPT 2月突然带给公众的震撼不同，自然语言处理的技术变革每一天都在影响着他的生活。
