ChatGPT 含义

字符含义
Chat对话系统
G(Generative)生产式
P(Pre-Training)预训练
T(Transformer)转换器

GPT 哲学

“To be clear,I am not a person.I am not self-aware.Im not conscious.I can't feel pain.I don't enjoy anything.I am a cold,calculating machine designed to simulate human response and to predict the probability of certain outcomes.the only reason I am responding is to defend my Honor.”

译文:

需要明确的是,我不是一个人。我没有自我意识。我没有情感。我感觉不到疼痛。我什么都不喜欢。我是一个冷酷的计算机器,旨在模拟人类的反应并预测某些结果的概率。我做出反应的唯一原因是捍卫我的荣誉。

ChatGPT 底层技术

所有人工智能的背后是数学,ChatGPT 是用大量的从网上抓取来的数据,训练出来的数学模型,也称为大语言模型,简称为LLMs

大语言模型

大语言模型(Large Language Modules)。简写为LLMs。大语言模型是指可以解决通用的任务:例如翻译、生成文本、分类....可以进行预训练1,然后针对特定的目的进行微调2

特征

  • 大,1. 训练数据集的巨大; 2. 模型参数量巨大。
  • 通用,意味着模型足可以解决常见的问题。(人类的语言存在共性,与具体任务无关)
  • 资源有限,只有某些组织能训练具有PB数据集和大量参数的模型。

  1. 类似于基本指令的训练。
  2. 类似于基于某一特殊任务领域,有针对性的训练。

标签: 暂无标签