Prompt Engineering Types

Types

  • Zero-Shot Learning
  • One-Shot Learning
  • Few-Shot Learning
  • Chain-of-Thought Prompting
  • Iterative Prompting
  • Negative Prompting
  • Hybrid Prompting
  • Prompt Chaining
  • Consistency Prompting
  • Knowledge Prompting
  • Tree of Thoughts(ToT)
  • ReAct Prompting
  • Directional Stimulus Prompting

Zero-Show Learning

在没有任何示例的情况下给人工智能一个任务。假设人工智能事先不知道任务，你可以详细描述你想要什么。

Prompt: “请解释什么是大语言模型”

GPT 3.5 Response:

大语言模型是一种基于深度学习技术的人工智能模型，旨在生成自然语言文本。这类模型通常具有非常大的神经网络结构和参数数量，可以对大规模的语料库进行训练，并尝试预测下一个单词或句子的可能性。大语言模型已经被广泛应用于自然语言处理、机器翻译、自动文摘、语音识别等领域，在提高计算机语言理解和生成能力方面起到了重要的作用。常见的大语言模型包括BERT、GPT-2、ELMo等

One-Shot Learning

您随提示提供了一个示例。这有助于人工智能理解您期望的上下文或格式。

Prompt: “人工智能中的基础模型是指像 GPT-3 这样的模型、 这样的模型，它在大型数据集上经过训练，可适用于各种任务。 在这种情况下，请解释什么是 BERT”

GPT 3.5 Response:

BERT（Bidirectional Encoder Representations from Transformers）是一种基于变形器（Transformer）结构的自然语言处理（NLP）模型，它是由Google开发的，可以进行预训练和微调。BERT的主要功能是用来处理自然语言理解任务，例如问答、语义理解、文本分类等。不同于传统的自然语言处理模型，BERT采用了双向的上下文理解技术，可以更好地理解和适应语言上下文。BERT在大型数据集上进行预训练，可以得到更为优秀的模型表现，在各种自然语言处理任务上具有很高的精度和普适性。

Few-Shot Learning

提供一些示例（通常是 2-5 个）来帮助 AI 理解您正在寻找的响应的模式或风格。

Prompt: “GPT-3 等基础模型用于自然语言处理，而 DALL-E 等模型用于图像生成。基础模型如何应用于机器人领域?”

GPT 3.5 Response:

基础模型可以应用于机器人领域中的自然语言交互。机器人可以使用基础模型进行文本分析和语言理解，从而更好地理解人类语言和与人类进行交互。例如，机器人可以使用基础模型生成自然语言响应，回答用户的问题或指示。_ 此外，基础模型也可以用于机器人的自主学习和知识库构建。通过学习大量的自然语言文本数据，机器人可以建立自己的知识库，从而更好地理解人类语言和与人类进行交互。这些模型可以使机器人更加智能和自适应。_ 总之，基础模型的应用可以帮助机器人更好地与人类交互，更加智能和自适应。

Chain-of-Thought Prompting

在这里，你要求人工智能逐步详细说明其思维过程。这对于复杂的推理任务特别有用。

Prompt: “描述开发人工智能基础模型的过程，从数据收集到模型训练。”

GPT 3.5 Response:

开发人工智能基础模型的过程可以分为以下几个步骤：

  1. 数据收集：首先需要收集足够多的训练数据。可根据具体的任务需求在网络上或自行搜集符合要求的数据集。此时要注意，数据质量至关重要，确保数据的准确性和标注精度。
  2. 数据预处理：在收集到数据之后，需要将其进行清洗、处理、编码以及构建特征值等一系列前期准备工作，以准备模型的训练。
  3. 模型设计：在选择好合适的算法之后，需要进行模型的设计。具体而言，可以遵循从Shallow到Deep的思想，从简单的模型开始，逐渐加深和扩展层数。
  4. 模型训练：在模型设计完成后，需要进行模型的训练。训练过程中可以通过交叉验证、误差反向传播等方法对模型进行优化，以提高精确度和泛化能力。
  5. 模型评估：在训练完成后，需要对模型进行评估。评估指标可以根据具体需求选择，例如准确度、召回率、F1值等。
  6. 模型部署：最后，在评估之后，可以将模型部署到真实的数据中进行测试和应用。如果模型效果不佳可以进一步调整，直至达到预期的性能。

总之，开发人工智能基础模型的过程需要收集数据、进行数据预处理、设计模型、进行模型训练、模型评估和部署，这些步骤依次推进直至获得满足需求的模型。

Iterative Prompting

在这个过程中，您会根据得到的输出结果完善您的提示，慢慢引导人工智能找到想要的答案或答案风格。

_Initial Prompt: “请告诉我人工智能基础模型的最新进展。”

GPT 3.5 Response:

人工智能基础模型是指机器学习和深度学习中常用的基础模型，如线性回归、决策树、神经网络等。这些模型的最新进展主要涉及以下几个方面：

  1. 模型可解释性：由于深度学习模型的黑盒特性使得其可解释性较差，因此近年来研究人员致力于提高模型的可解释性，包括基于注意力机制的可视化方法、对抗性攻击和防御等。
  2. 自适应学习：自适应学习旨在使模型能够自主在新环境中进行学习和适应。实现自适应学习的方法主要包括在线学习、元学习和迁移学习等。
  3. 大规模深度学习：随着机器学习和深度学习的应用领域越来越广泛，大规模深度学习的需求也不断增加。近年来，相关领域的研究人员提出了一系列针对大规模深度学习的优化策略，包括分布式学习、模型压缩和移动优化等。
  4. 多任务学习：多任务学习旨在帮助模型在多个相关任务之间共享和传递信息，从而优化整体学习效果。研究人员提出了一系列多任务学习的方法，包括共享参数、多层分级等。
  5. 弱监督学习：弱监督学习旨在利用较少的监督信息来训练模型，提高应用场景的适用性和可扩展性。研究人员提出的弱监督学习方法主要包括无监督预训练、半监督学习等。

总体来说，随着新的技术和算法的不断发展，人工智能基础模型在可解释性、自适应学习、大规模深度学习、多任务学习和弱监督学习等方面都取得了长足的进展。_

Refined Prompt: “您能否提供有关基础模型中多任务学习的这些改进的更多详情?”

GPT 3.5 Response:

多任务学习是指通过将多个相关任务组合在一起进行训练来提高模型的准确性和泛化能力。在人工智能基础模型中，多任务学习的应用已经很广泛，并且在许多任务中都取得了令人瞩目的结果。以下是多任务学习方面的一些进展：

  1. 共享参数：共享参数是现在最常用的一种多任务学习方法，它在许多不同的模型中都被使用，如卷积神经网络、循环神经网络和深度强化学习。共享参数的思想是让不同的任务共享底层的特征表示，而在输出层上，每个任务都有其自己独立的输出，从而达到多任务学习的目的。
  2. 深度多任务学习：随着深度学习方法的发展，深度多任务学习也变得更加常见。深度多任务学习的方法通常使用深层神经网络来学习多个任务之间的共享特征。尽管在模型的训练和优化方面具有挑战性，但是研究人员已经提出了一些有效的方法来应对这些挑战。
  3. 级联和分层方法：级联和分层方法是另一种用于多任务学习的常见方法。基本思想是将不同任务分别分配到不同层或级别中。低级别学习通常用于共享更通用的特征，而高级别学习则用于学习更特定和特定于任务的特征。
  4. 迁移学习：迁移学习是一种将在一个领域中学习到的知识应用到另一个领域的技术。迁移学习可以帮助在多任务学习中共享知识和特征，从而提高模型的准确性和泛化能力。

总的来说，多任务学习在人工智能基础模型中的应用已经非常广泛，并且随着相关领域的发展，多任务学习在未来仍有很大的发展空间和潜力。

Negative Prompting

在这种方法中，您可以告诉人工智能不要做什么。例如，您可以指定不希望在响应中出现某种类型的内容。

Prompt: “在不提及自然语言处理或 NLP 的情况下，解释人工智能中基础模型的概念”_

GPT 3.5 Response:

人工智能中的基础模型是指用来解决一类特定问题的算法或模型，通常用于分类、回归、聚类、降维等任务。其中，最常见的基础模型包括线性回归、逻辑回归、决策树、支持向量机、K均值聚类、主成分分析等。

这些基础模型通常通过学习一些输入样本的特征和对应的输出标签来进行训练，然后再用这些训练好的模型对新的测试数据进行预测或分类。基础模型的性能往往取决于所用的算法和数据质量。

基础模型也常常作为人工智能系统中的组件，以构建更复杂的神经网络或深度学习模型。这些模型可以帮助解决现实世界中的很多问题，如图像识别、语音识别、预测、推荐等。

Hybrid Prompting

将不同的方法结合起来，如少许射击和思维链，以获得更精确或更有创意的产出。

Prompt: “就像 GPT-3（一种用于各种语言任务的通用模型）一样，解释基础模型如何应用于人工智能的其他领域，例如计算机视觉。”

GPT 3.5 Response:

基础模型可以应用于计算机视觉领域，从而实现图像识别和分类、场景理解、物体检测等任务。通常，这些任务涉及将图像输入模型中，模型会将其转换为特征向量，然后将这些向量用于分类或检测。

与自然语言处理领域类似，基础模型也可以通过对其进行微调或在其上方添加额外的图层来定制特定的计算机视觉任务。例如，在物体检测任务中，可以使用基础模型的特征提取器来获取图像中的区域，然后在这些区域上使用额外的图层来预测物体的位置和类别。

通过使用基础模型，计算机视觉的应用可以实现更好的准确度和较低错误率。在未来，我们可以预见相应的基础模型将用于进行更为复杂的计算机视觉任务，例如目标追踪、场景重建和深度预测等。

Prompt Chaining

将复杂的任务分解成更小的提示，然后将输出结果串联起来，形成最终的回应。

First Prompt: “列举一些人工智能基础模型的例子。”

GPT 3.5 Response:

  1. Linear regression
  2. Logistic regression
  3. Decision trees
  4. Random forests
  5. K-means clustering
  6. Artificial neural networks
  7. Convolutional neural networks
  8. Recurrent neural networks
  9. Support vector machines
  10. Naive Bayes classifier
  11. Markov models
  12. Hidden Markov models
  13. Principal component analysis
  14. Association rules
  15. Genetic algorithms

Second Prompt: “请选择其中一种模式，并解释其在人工智能发展中的基础性作用。”

GPT 3.5 Response:

Convolutional Neural Networks (CNNs)是人工智能中一种基础性的模型，特别是在计算机视觉领域。CNN最初是用于图像分类任务，但现在已经扩展到许多其他任务，例如目标检测和图像语义分割等。CNN最大的优点是能够学习复杂的特征表示。这一特性使得它们在许多应用中表现得非常良好。

在人工智能的发展中，CNNs是实现计算机视觉任务（例如对象识别、图像分割、人脸识别、手写数字识别）的核心技术，这些任务是人工智能应用最广泛的领域之一。另外，CNNs被广泛应用于自然语言处理（NLP）领域中，如文本分类、情感分析和机器翻译等任务。因此，CNNs的发展和应用对人工智能的发展具有重要的基础性作用。

Consistency Prompting

自我一致性旨在“替换链式思维提示中使用的天真贪婪解码方法”。其想法是通过少样本CoT采样多个不同的推理路径，并使用生成结果选择最一致的答案。这有助于提高CoT提示在涉及算术和常识推理的任务中的性能。

Prompt: “当我6岁时，我的妹妹是我的一半年龄。现在我70岁了，我的妹妹多大?”

GPT 3.5 Response:

当你6岁时，妹妹是3岁。现在你70岁，经过64年，妹妹也会是3岁大加64。因此，你的妹妹现在应该是67岁。

Vicuna 13B Response:

当你6岁时，你的妹妹的年龄是你的一半，也就是3岁。现在你70岁，那么你的妹妹也应该是70岁。

可以看到 Vicuna 效果很差，我们可以尝试使用一致性提示

Prompt: Q：林中有15棵树。林业工人今天将在林中种树。完成后，将有21棵树。林业工人今天种了多少棵树？ A：我们从15棵树开始。后来我们有21棵树。差异必须是他们种树的数量。因此，他们必须种了21-15 = 6棵树。答案是6。 Q：停车场有3辆汽车，又来了2辆汽车，停车场有多少辆汽车？ A：停车场已经有3辆汽车。又来了2辆。现在有3 + 2 = 5辆汽车。答案是5。 Q：Leah有32块巧克力，她的姐姐有42块。如果他们吃了35块，他们总共还剩多少块？ A：Leah有32块巧克力，Leah的姐姐有42块。这意味着最初有32 + 42 = 74块巧克力。已经吃了35块。因此，他们总共还剩74-35 = 39块巧克力。答案是39。 Q：Jason有20个棒棒糖。他给Denny一些棒棒糖。现在Jason只有12个棒棒糖。Jason给Denny多少棒棒糖？ A：Jason有20个棒棒糖。因为他现在只有12个，所以他必须把剩下的给Denny。他给Denny的棒棒糖数量必须是20-12 = 8个棒棒糖。答案是8。 Q：Shawn有五个玩具。圣诞节，他从他的父母那里得到了两个玩具。他现在有多少个玩具？ A：他有5个玩具。他从妈妈那里得到了2个，所以在那之后他有5 + 2 = 7个玩具。然后他从爸爸那里得到了2个，所以总共他有7 + 2 = 9个玩具。答案是9。 Q：服务器房间里有9台计算机。从周一到周四，每天都会安装5台计算机。现在服务器房间里有多少台计算机？ A：从周一到周四有4天。每天都添加了5台计算机。这意味着总共添加了4 * 5 = 20台计算机。一开始有9台计算机，所以现在有9 + 20 = 29台计算机。答案是29。 Q：Michael有58个高尔夫球。星期二，他丢失了23个高尔夫球。星期三，他又丢失了2个。星期三结束时他还剩多少个高尔夫球？ A：Michael最初有58个球。星期二他丢失了23个，所以在那之后他有58-23 = 35个球。星期三他又丢失了2个，所以现在他有35-2 = 33个球。答案是33。 Q：Olivia有23美元。她用每个3美元的价格买了五个百吉饼。她还剩多少钱？ A：她用每个3美元的价格买了5个百吉饼。这意味着她花了15美元。她还剩8美元。 Q：当我6岁时，我的妹妹是我的一半年龄。现在我70岁了，我的妹妹多大？ A：

当你6岁时，你的妹妹年龄是6/2 = 3岁。现在她也是70岁，所以她比您小70-3 = 67岁。

Knowledge Prompting

融合知识或信息，以帮助模型做出更准确的预测。

Prompt: “高尔夫球的一部分是试图获得比其他人更高的得分。是或否?”

Vicuna 13B Response:

是

我们提供一些知识

Prompt: “问题：高尔夫球的一部分是试图获得比其他人更高的得分。是或否？ 知识：高尔夫球的目标是以最少的杆数打完一组洞。一轮高尔夫球比赛通常包括18个洞。每个洞在标准高尔夫球场上一轮只打一次。每个杆计为一分，总杆数用于确定比赛的获胜者。 解释和答案：”

Vicuna 13B Response:

否。高尔夫球的目标不是试图获得比其他人更高的得分，而是以最少的杆数打完一组洞。在高尔夫球比赛中，球员的目标是尽可能地减少自己的杆数，以获得更好的成绩。球员可以使用各种技巧和策略来降低自己的杆数，例如使用正确的球杆击球、控制球的飞行轨迹等等。因此，高尔夫球比赛的获胜者通常是那些杆数最少、成绩最好的球员。

Tree of Thoughts(ToT)

基于思维链提示进行了总结，引导语言模型探索把思维作为中间步骤来解决通用问题。 ToT 维护着一棵思维树，思维由连贯的语言序列表示，这个序列就是解决问题的中间步骤。使用这种方法，LM 能够自己对严谨推理过程的中间思维进行评估。LM 将生成及评估思维的能力与搜索算法（如广度优先搜索和深度优先搜索）相结合，在系统性探索思维的时候可以向前验证和回溯

Prompt: 24点游戏是把4张扑克牌牌面的数字通过加减乘除（包括括号）进行四则运算，使计算结果等于24。 假设三位不同的专家来回答这个问题。 所有专家都写下他们思考这个问题的第一个步骤，然后与大家分享。 然后，所有专家都写下他们思考的下一个步骤并分享。 以此类推，直到所有专家写完他们思考的所有步骤。 只要大家发现有专家的步骤出错了，就让这位专家离开。 请问…

ReAct Prompting

ReAct 是一个将推理和行为与 LLMs 相结合通用的范例。ReAct 提示 LLMs 为任务生成口头推理轨迹和操作。这使得系统执行动态推理来创建、维护和调整操作计划，同时还支持与外部环境(例如，Wikipedia)的交互，以将额外信息合并到推理中。

Prompt: “奥利维亚·王尔德的男友是谁然后计算出他的年龄的 0.23 次方”

没有验证成功

Directional Stimulus Prompting