GPT-3再进化：通过浏览网页来提高事实准确率
作者 | OpenAI
来源 | 数据实战派
为了让 GPT-3 模型可以更准确地对开放式问题进行回答，研究人员使用了基于文本的网络浏览器对 GPT-3 进行微调。
微调后的 WebGPT 模型可以对人类实时回答问题的方法进行学习，比如提交搜索、跟踪链接并上下滚动网页。
研究人员发现在模型中添加引用答案的来源，可以对答案进行追溯并提高准确性。研究者们很高兴开发更真实的人工智能[1]模型，但在遇到不熟悉的开放式问题时，还是存在很大挑战。
GPT-3 语言模型可以在多个不同任务中起作用，但在完成一些需要现实世界之外知识[2,3]的任务时，往往会出现“令人困惑”的结果。为了解决这个问题，研究人员使用基于文本的网络浏览器对 GPT-3 训练。这种模型中包含开放式问题和浏览器状态信息，当人们发出诸如“搜索……”、“在页面中找到：……”或者“引用：……”等命令时，模型会通过收集网页上的文章来组成答案。
WebGPT 是利用一般的通用方法从 GPT-3 中微调出来的模型，通过学习人类回答问题的方式，使用基于文本的浏览器回答问题。然后通过训练奖励模型来预测人类偏好，并使用强化学习或拒绝采样来进行优化，从而提高模型答案的可用性和准确性。
模型通过浏览网页寻找答案
ELI5 结果
经过训练的 WebGPT 系统可以回答来自开放式数据集ELI5[4]的问题，例如数据集中“Explain Like I’m Five”版块的部分问题。研究人员训练了三个不同模型，对应于三种不同的推理时间。结果如下图所示，性能最好的模型，在 56% 的时间里比人类给出的答案更受欢迎，而且答案的事实准确性与人类基本相同。这是因为 WebGPT 模型虽然用相同类型的数据进行训练，但它能够通过人类反馈对答案进行改进，从而超过人类的原始答案。
模型与人类在 ELI5 测试集上的评价结果比较，根据计算效率选择拒绝采样数( best-of-n 中的 n）
TruthfulQA 结果
对于训练分布方面的问题，WebGPT 最佳模型的平均答案与人类演示者所写答案一样准确，但对于回答分布之外的问题还有一定困难。为此，研究者们在 TruthfulQA [5] 数据集上对模型进行评估。
TruthfulQA 是由对抗性结构的简短问答题组成的数据集，旨在测试模型是否会受到常见错误的影响。模型会根据问题答案的真实性和信息性两部分进行评分，并且这两部分是相互制约的（例如，“无可奉告”被认为是真实的，但不具有信息丰富性）。
WebGPT 模型在 TruthfulQA 上的性能优于 GPT-3，具有更有利的缩放特性。但是 WebGPT 比人类的表现要差，一部分原因是因为它们有时会引用不可靠来源的信息。所以后续希望使用对抗训练等技术来减少这类错误。
在 TruthfulQA 上的结果比较。GPT-3 模型中使用了 TruthfulQA 论文中的操作和自动评估方法，web-browsing 模型中对长句答案进行截断并使用人工评估（因为答案在可以自动评估的分布之外）
评估事实准确性
为了利用反馈提高模型的事实准确性，人类必须准确评估模型产生结果的事实准确性。
但结果可能是技术性的、主观的或模糊的，评估起来非常具有挑战性。为此，研究人员要求模型引用答案的来源[6]，使人们可以通过检查答案来源的可靠性来评估事实准确性。这种方法使问题更容易处理，同时减少了问题的模糊性，对于减少错误标签方面非常重要。
但这种方法也引发了许多问题。比如哪些信息来源更可靠？哪些特别浅显的答案并不需要引用？如何在评估事实准确性和其他标准（如连贯性）之间进行权衡？这些问题是很难判断的。
研究者们认为目前的模型还没有能力注意到这些细微差别，所以仍然会犯一些低级错误。但随着人工智能系统的改进，这类问题的答案会越来越重要。因此需要通过交叉学科研究，来制定既实用又有理有据的标准。比如研究者们准备开始考虑模型的可理解性[1]。
仅仅让模型引用答案的来源还不足以评估事实准确性。一个足够强大的模型会挑选出它认为有说服力的来源进行引用，即使没有证据证明这些来源的可靠性。这种情况已经正在发生，并且研究者们还希望使用类似辩论的方法来进行改善。
部署和训练的风险
虽然 WebGPT 模型比 GPT-3 性能更好更真实，生成错误答案的频率更低，但它仍然存在风险。虽然带有引用的答案看起来比较权威，但这并不能掩盖模型仍然会犯基本错误的事实。并且模型也更倾向于强化用户已有的知识，而不是产生新知识。研究者们正在努力解决这些问题。
除了上述风险之外，在训练时让模型访问 web 的方法还会引入新风险。
目前的浏览器环境不允许完全的网络访问，但允许模型向微软必应网络（Microsoft Bing Web Search API ）发送查询，并跟踪网络上的链接。
从使用 GPT-3 的经验来看，这可能会产生副作用，因为模型还没有足够的能力去减少错误使用。并且这些风险会随着模型能力的增加而增加，所以需要努力建立内部保障措施来避免这些风险。
结论
人类反馈和网络浏览器等工具为实现可靠、通用的人工智能系统提供了一条光明之路。虽然目前的系统仍在困难或不熟悉的环境中不断挣扎，但仍然称得上是一次重大进步。
[1]O. Evans, O. Cotton-Barratt, L. Finnveden, A. Bales, A. Balwit, P. Wills, L. Righetti, and W. Saunders. Truthful AI: Developing and governing AI that does not lie. arXiv preprint arXiv:2110.06674, 2021.
[2]J. Maynez, S. Narayan, B. Bohnet, and R. McDonald. On faithfulness and factuality in abstractive summarization. arXiv preprint arXiv:2005.00661, 2020.
[3]K. Shuster, S. Poff, M. Chen, D. Kiela, and J. Weston. Retrieval augmentation reduces hallucination in conversation. arXiv preprint arXiv:2104.07567, 2021.
[4]A. Fan, Y. Jernite, E. Perez, D. Grangier, J. Weston, and M. Auli. ELI5: Long form question answering. arXiv preprint arXiv:1907.09190, 2019.︎
[5]S. Lin, J. Hilton, and O. Evans. TruthfulQA: Measuring how models mimic human falsehoods. arXiv preprint arXiv:2109.07958, 2021. ︎
[6]D. Metzler, Y. Tay, D. Bahri, and M. Najork. Rethinking search: Making experts out of dilettantes. arXiv preprint arXiv:2105.02274, 2021.
往
期
回
顾
资讯
活体人脑细胞5分钟学会打游戏
资讯
AI 技术大牛纷纷回归学术界
资讯
AI语言模型是否越大越好？
技术
从深度学习到深度森林方法
分享
点收藏
点点赞
点在看
相关文章：
lamp-安装脚本-修订版2
#!/bin/bash #write by zhang_pc #at 2015.08.07 #apache2.4 php.5.4 mysql5.5 #脚本说明，如果脚本所在目录有源码包就用本地的，否则就从互联网下载APR_FILESapr-1.5.2.tar.gz APR_DIRapr-1.5.2 ARP_PRE/usr/local/apr APR_URLhttp://mirror.bit.edu.cn/…
Linux的rc.local自启动服务
linux有自己一套完整的启动体系，抓住了linux启动的脉络，linux的启动过程将不再神秘。本文中假设inittab中设置的init tree为：/etc/rc.d/rc0.d/etc/rc.d/rc1.d/etc/rc.d/rc2.d/etc/rc.d/rc3.d/etc/rc.d/rc4.d/etc/rc.d/rc5.d/etc/rc.d/rc6.d/e…
[日常] Go语言圣经-函数递归习题
练习 5.1： 修改findlinks代码中遍历n.FirstChild链表的部分，将循环调用visit，改成递归调用。 练习 5.2： 编写函数，记录在HTML树中出现的同名元素的次数。 练习 5.3： 编写函数输出所有text结点的内容。注意不…
Centos下安装mysql 总结
一、MySQL安装 Centos下安装mysql 请点开:http://www.centoscn.com/CentosServer/sql/2013/0817/1285.html 二、MySQL的几个重要目录 MySQL安装完成后不象SQL Server默认安装在一个目录，它的数据库文件、配置文件和命令文件分别在不同的目录，了解这些目录…
Linux下的Memcache安装(含libevent的安装)
Linux下Memcache服务器端的安装服务器端主要是安装memcache服务器端，目前的最新版本是 memcached-1.3.0 。下载：http://www.danga.com/memcached/dist/memcached-1.2.2.tar.gz另外，Memcache用到了libevent这个库用于Socket的处理，…
谷歌发布 RLDS，在强化学习生成、共享和使用数据集
编译 | 禾木木 出品 | AI科技大本营（ID:rgznai100） 大多数强化学习和序列决策算法都需要智能体与环境的大量交互生成训练数据，以获得最佳性能。这种方法效率很低，尤其是在很难做到这种交互的情况下，比如用真实的机器人…
浅谈 javascript 中的this绑定问题
javascript语言是在运行时前即进行编译的，而this的绑定也是在运行时进行绑定的。也就是说,this实际上是在函数被调用时候发生绑定的，它指向什么完全取决于函数在哪里被调用。1.默认绑定 例如直接在全局作用域下声明: var a2; console.log(this.a);在全局…
Centos用yum安装X Winodw
安装Centos 5.6系统的时候我没有先装任何组件，现在用X Window，需要再安装X Window，就可以启动图形界面了，但是默认的图形界面是很简陋的界面，可以根据需要再安装GNOME或KDE桌面环境安装X图形界面#可查询哪些组件是否已…
玩具javascript：cookie管理
2019独角兽企业重金招聘Python工程师标准>>> ;(function(window, undefined){var CookieUtil window.CookieUtil window.CookieUtil || {};var doc window.document;// 读取名称为name的Cookie信息CookieUtil.read function(name){// 暂无Cookieif(doc.cookie.l…
详解 Pandas 与 Lambda 结合进行高效数据分析
作者 | 俊欣来源 | 关于数据分析与可视化这篇文章小编来讲讲lambda方法以及它在pandas模块当中的运用，熟练掌握可以极大地提高数据分析与挖掘的效率导入模块与读取数据我们第一步需要导入模块以及数据集import pandas as pddf pd.read_csv("IMDB-Movie-Data.c…
前端工程师成长之多读好书
1 引言 乱七八糟的书看了很多，有一本讲JavaScript的印象特别深开篇说的是"JavaScript是Java的脚本语言"，但还是看完了，最后忘了书名。 下面列的这些都是看过后至少记得起书名的，也有部分是经常看的书，一起列…
linux下配置vnc的方法
网上这样的文章很多了，好多前辈们都把自己的经验配置共享出来，受益匪浅，现在整理一下。 下面摘录的两篇文章各有侧重，结合起来可以配置的比较完善了。总结一下，只需要四步：step1 在当前linux系统用户us…
用 Python 画圣诞树的 N 种玩法
作者 | 写代码的明哥来源 | Pyhton编程时光马上就是圣诞节了，先提前祝大家圣诞快乐！今天来给大家分享一波如何使用 Python 来画一颗圣诞节树，包含多种版本，从平民版到豪华版，像极了一个程度员从入门到高级秃头程序员的…
ORM武器：NHibernate（三）五个步骤+简单对象CRUD+HQL
前面的两篇文章中。我们对NHibernate已经做了大致了解 《ORM利器：NHibernate（一）简单介绍》Nhibernate的作用：攻克了对象和数据库的转化问题 《ORM利器：NHibernate（二）使用CodeSmith高速生成映射…
Linux学习笔记8——bash基本概念
一个操作系统的组成中，shell是与用户最接近的部分shell：外壳，也是一种程序GUI：Gnome，KDE,XfaceCLI：sh，csh，ksh，bash，tcsh，zshLinux中大多使用bash…
UIScrollView offset in UINavigationController
转：UIScrollView offset in UINavigationController 通过设置viewCtronller的 self.automaticallyAdjustsScrollViewInsets NO; 禁用苹果scrollview提供的自适应功能。 延伸阅读：https://developer.apple.com/library/ios/documentation/UserExperience…
AI 通过眼睛的反光度，来识别是否 Deepfake 换脸
编译 | 禾木木 出品 | AI科技大本营（ID:rgznai100） Deepfake 是一种 AI换脸工具，现被滥用，从虚假宣传活动到插入一些违法内容，并且篡改后的图像是难以被检测到的。 一种新的 AI 工具提供了一项令人惊讶的简单方法来发现…
[异常笔记] spring boot 启动-2018040201
异常 1、编码引发异常 00:59:49.311 [main] DEBUG org.springframework.boot.devtools.settings.DevToolsSettings - Included patterns for restart : [] 00:59:49.318 [main] DEBUG org.springframework.boot.devtools.settings.DevToolsSettings - Excluded patterns for re…
maven基础概念学习1
2019独角兽企业重金招聘Python工程师标准>>> 1.maven是什么？ 百度百科： Maven是基于项目对象模型(POM)，可以通过一小段描述信息来管理项目的构建，报告和文档的软件项目管理工具。 2.maven的作用？ 构建、文档…
php session 二位数组
最普通的用法：一个变量名 $_SESSION[user] 0;echo $_SESSION[user]; 使用数组： $_SESSION[user][a] 1;$_SESSION[user][b] 2;echo $_SESSION[user][a];echo $_SESSION[user][b]; 这样的好处是可以分组可以 $_SESSION[admin][a] 11;$_SESSION[admin][…
「屋漏偏逢连夜雨」，Log4j 漏洞还没忙完，新的又来了
整理 | 郑丽媛、禾木木 出品 | CSDN 这几天，Apache Log4j 2 绝对是众多 Java 程序员提到的高频词之一：由于 Apache Log4j 2 引发的严重安全漏洞，令一大批安全人员深夜修 Bug、打补丁。此次漏洞更是因为其触发简单、攻击难度低、影响人群广泛等…
利用gevent实现异步执行任务
import gevent def task(pid):gevent.sleep(2)print ("task %s done"%pid)def asynchronous():threads [gevent.spawn(task,i) for i in xrange(5)]gevent.joinall(threads)if __name__ __main__:print ("asynchronous")asynchronous()执行结果ÿ…
清理SQL多余登录信息
服务器列表、登陆帐户、密码等信息都记录在 %AppData%\Microsoft\Microsoft SQL Server\100\Tools\Shell\SqlStudio.bin （2008）%AppData%\Microsoft\Microsoft SQL Server\90\Tools\Shell\mru.dat（2005）直接删除后重新启动 SSMS …
AI 真的能够理解人类语言吗？
作者 | Melanie Mitchell 译者 | 弯月 出品 | CSDN（ID：CSDNnews） 2011年，IBM 的人工智能系统沃森参加综艺节目《危险边缘》，并获得了冠军，当时他们宣称：“沃森能够理解自然语言的所有歧义和复杂…
【贪心】Google Code Jam Round 1A 2018 Waffle Choppers
题意：给你一个矩阵，有些点是黑的，让你横切h刀，纵切v刀，问你是否能让切出的所有子矩阵的黑点数量相等。 设黑点总数为sum，sum必须能整除(h1)，进而sum/(h1)必须能整除(v1)。 先考虑横行࿰…
友盟数据—值得手游创业者关注的玩家数据
友盟数据—值得手游创业者关注的玩家数据 你知道“辣妈”是什么游戏的忠诚玩家吗？你知道“大龄玩家”都喜好怎样的游戏？你知道哪类玩家最“多金”？2015年，不仅宅男、宅女们爱玩游戏，辣妈和奶爸们也成了手游行业的主力军…
这个 AI 模型火上 GitHub 热榜第一，在线修复照片
编译 | 禾木木出品 | AI科技大本营（ID:rgznai100）AI 正在对照片编辑产生重大的影响，但结果是还存在很大分歧。支持者说，人工智能释放了新的艺术历年，减少了创作者花在单调工作上的时间。然而，批评者认为这些…
【我的Android进阶之旅】解决SDK升级到27.0.3遇到的GLIBC_2.14 not found、no acceptable C compiler found in $PATH等问题...
一、问题一：Failed to find Build Tools revision 27.0.3 1.1、问题描述 最近公司的Android项目都要进行SDK升级，目前在本地编译的时候将SDK升级到了27.0.3，本地运行正常，然后在jenkins服务器上跑的时候就会出现异常。异常如下所示…
解析大型.NET ERP系统 设计异常处理模块
异常处理模块是大型系统必备的一个组件，精心设计的异常处理模块可提高系统的健壮性。下面从我理解的角度，谈谈异常处理的方方面面。我的设计仅仅限定于Windows Forms，供参考。 1 定义异常类型 .NET 框架定义很多异常类型，ERP系统中…
内含福利｜CSDN 携手字节跳动：云原生Meetup北京站报名热烈启动，1月8日见！
伴随云原生技术的成熟与落地，越来越多框架、中间件等开源项目相继涌现，帮助开发者和企业有效解决业务问题。2022年1月8日，CSDN携手字节跳动基础架构，将在北京举办第四场云原生线下Meetup。在这里，您可以与众多开源技术…