title: ChatGPT研究总结
author: 杨杰
date: 20230206

ChatGPT学习研究总结

———— 杨杰 20230206

ChatGPT研究总结

ChatGPT是一种由OpenAI训练的大型语言模型，它可以生成人类语言文本。在编写小段代码、书写描述功能介绍等等方面有一定的帮助，但因为工具本来存在一些错误现象，所以还需要人工审核，用其精华。同时，使用过程中还需注意对结果中可能存在的版权风险。

目前ChatGPT使用中主要存在如下问题：

1. 慢：因为计算量巨大，速度较慢，通常一个问题需要几分钟才有答案
2. 错：因为只是文本语言模型分析，存在回答结果错误现象
3. 广度待提升：模型训练的领域广度还待提升

一、程序接入用途不大

程序接入的用途不大，因为通过sdk只是封装出一个软件界面，核心的计算代码还是部署在服务器上的训练代码，而目前通过微信公众号（ChatChatGPT）等接口输入也能达到使用ChatGPT，所以没有必要来接入程序，做一个“软件壳”，作用不大。

二、思考：如何构建一个类似ChatGPT的自定义模型

例如，能否构建一个压裂监测模型，根据监测的电磁信号来推测压裂缝隙的走向?

关于这个问题，先总监一下 ChatGPT 模型构建中的几个关键点：

1、大数据训练:

1. 基于2021年所拥有的数据集，预训练数据量可能超过百T级，非常巨大
2. ChatGPT参数量达到了1750亿，模型设定的参数非常多

2、人工对结果标注
ChatGPT进行了人工标反馈和奖励，以辅助人工智能程序不断优化（进化）

3、训练费用

“GPT-3 模型训练一次需要花费 460 万美元”

见附录：《chatGPT 的 49 种应用场景介绍，各开发语言接入 chatGPT 参考指南》一文。

综合这几点，我们可以构建出一个预测压裂监测缝隙的模型，但前提是有足够的数据，也需要人工来验证相应数据的结果，提供充足的资金，来进行模型训练。

一些ChatGPT研究学习资料（来源网络）

（1）一文读懂ChatGPT模型原理

一文读懂ChatGPT模型原理

https://zhuanlan.zhihu.com/p/589621442

不光是做人工智能、机器学习的人关注，而是大量的各行各业从业人员都来关注这个模型，真可谓空前盛世。
所谓语言模型的训练和学习，就是从大量的数据中学习复杂的上下文联系。

与此同时，OpenAI 早于 Bert 出品了一个初代 GPT 模型。

在 NLP 领域，人们使用语言一般包括三个步骤：
接受听到或读到的语言 -> 大脑理解 -> 输出要说的语言。

GPT-3 的模型所采用的数据量之大，高达上万亿，模型参数量也十分巨大，上千亿，学习之复杂，计算之繁复，
如此巨大的模型造就了 GPT-3 在许多十分困难的 NLP 任务，诸如撰写人类难以判别的文章，甚至编写SQL查询语句，React或者JavaScript代码上优异的表现。

ChatGPT 模型上基本上和之前 GPT-3 都没有太大变化，主要变化的是训练策略变了，用上了强化学习。
几年前，alpha GO 击败了柯洁，几乎可以说明，强化学习如果在适合的条件下，完全可以打败人类，逼近完美的极限。
强化学习非常像生物进化，模型在给定的环境中，不断地根据环境的惩罚和奖励（reward），拟合到一个最适应环境的状态。

这里重点是第二步中，如何构建一个 reward 函数，在alpha go 里，这个reward 函数就是下完一盘围棋之后判断谁输谁赢，只需要一个程序函数即可完成。
而在ChatGPT里，具体就是让那40名外包人员不断地从模型的输出结果中筛选，判断哪些句子是好的，哪些是低质量的，这样就可以训练得到一个 reward 模型。

一个语言文字训练的人工智能程序

存在问题：

1. 仅限于语言标注
2. 仅限于以前输入到系统中，训练的数据库，如果有新的数据还需要重新添加并训练
3. 存在编程过程中，答案正确率较低的现象

（2）MATLAB科研图像处理——基于ChatGPT编程

MATLAB科研图像处理——基于ChatGPT编程

https://zhuanlan.zhihu.com/p/600853001

ChatGPT是一个非常强大的语言模型，但它并不是万能的

（3）ChatGPT发展历程、原理、技术架构详解和产业未来 （收录于先进AI技术深度解读）

ChatGPT发展历程、原理、技术架构详解和产业未来 （收录于先进AI技术深度解读）

https://zhuanlan.zhihu.com/p/590655677

ChatGPT 是一种专注于对话生成的语言模型。它能够根据用户的文本输入，产生相应的智能回答。这个回答可以是简短的词语，也可以是长篇大论。
其中GPT是Generative Pre-trained Transformer（生成型预训练变换模型）的缩写。

目标是开发造福全人类的AI技术。

每一代GPT模型的参数量都爆炸式增长，堪称“越大越好”。2019年2月发布的GPT-2参数量为15亿，而2020年5月的GPT-3，参数量达到了1750亿。

ChatGPT 是基于GPT-3.5（Generative Pre-trained Transformer 3.5）架构开发的对话AI模型，是InstructGPT 的兄弟模型。ChatGPT很可能是OpenAI 在GPT-4 正式推出之前的演练，或用于收集大量对话数据。

因此它只能基于2021年所拥有的数据集进行回答
ChatGPT 通过算法屏蔽，减少有害和欺骗性的训练输入。

（4）程序员浅用ChatGPT：替代还很远

程序员浅用ChatGPT：替代还很远

https://www.163.com/dy/article/HSNQA9C305199DKK.html

李智认为，ChatGPT并不能编写程序员角度的代码，而是从互联网收集庞大信息库并使用它来生成代码，解决问题还是要靠人。
对于软件程序，ChatGPT目前只有通用底层的能力，涉及电商、云服务等业务层面的能力尚有欠缺。比如要写一个小程序，是可以借用ChatGPT来找算法、写代码、写脚本

考虑到会侵犯知识产权。

（5）用ChatGPT 做硬件设计？

用ChatGPT 做硬件设计？

https://zhuanlan.zhihu.com/p/591011604

（6）chatGPT 的 49 种应用场景介绍，各开发语言接入 chatGPT 参考指南

chatGPT 的 49 种应用场景介绍，各开发语言接入 chatGPT 参考指南

https://xie.infoq.cn/article/f4638356930eebb07ebe8c225

分析了存在的问题：

1. 慢
2. 错
3. 广度待提升

api 注册使用流程
直接用 chatGPT 去创建一个程序要用的秘钥，
就可以使用 http 接口调用了。

程序接入到 chatGPT，所调用的接口，都是收费接口，不过还好的是每一个新注册的账号头 3 个月免费使用，总消费额度不超过 18 美元即可。另外下图 4 个方块就是 nlp 的模型，左边 ada 速度最快，右边达芬奇功能最强大。

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。