GPT的边界

GPT不擅长数学计算

GPT是语言模型

GPT是个语言模型。它是用人的语言训练出来的。
GPT更像人脑,而不是像一般的计算机程序。所以同样不擅长逻辑计算。

本质上,语言模型的功能就是对文本进行「合理的延续」,说白了就是预测下一个词该说什么,GPT只是在寻找下一个词。

在模型设置有一个“温度”(Temperature)的参数,就是用来调节“合理”的范围。

Temperature:简单来说,temperature 的参数值越小,模型就会返回越确定的一个结果。如果调高该参数值,大语言模型可能会返回更随机的结果,也就是说这可能会带来更多样化或更具创造性的产出。
Top_p:同样,使用 top_p(与 temperature 一起称为核采样的技术),可以用来控制模型返回结果的真实性。

链式思考(CoT)提示技巧反应了这一点,即通过中间推理步骤实现复杂的推理能力。

GPT很擅长编程,却不能自己执行程序,就是因为编程是语言行为,执行程序是计算行为。

目前的提示工程或者提示技巧,很像搜索引擎刚出来的时候,也是有很多搜索技巧。随着技术发展,AI越来越智能,技巧就会不再那么重要,但目前还是需要的。

提问技巧

准确描述功能需求



尽量给出具体的情境

除了详细描述上下文,角色扮演是个很好的方法。

引导它思考

除了设计让AI等待指令继续执行,仅仅在提示词中加入“我们一步一步实现”,效果就很明显。

不适合问什么问题

需要系统性知识背景的问题

就像学习一样,不懂的领域大概率提不出好问题,AI很可能会答非所问,你也没办法判断对错。
实际开发还是要从官方文档开始,而不是AI,尤其是自己陌生的领域。

包括阅读也是一样,AI代替不了深度的阅读和思考。ChatDoc、ChatPDF、ChatYouTube这类摘要类工具,适合当做书友在阅读之后进行更深入的提问和交流。如果直接去问,大概率得到的也是非常粗浅的内容。

时效性高的问题(联网后应该会解决)


对话式学习

对话式的学习。这也许是「学习」最原本的样子。我们设想,在书籍变得流行之前,在没有正规教材,甚至都没有正规课堂的时候,在孔子和苏格拉底那个时代,学习大概就是以师生问答的形式进行的。

ChatGPT非常符合这类学习,看到一种有意思的提问方式:苏格拉底式提问。可以让AI提问你回答,也可以让它自问自答。

引用

评论