如今大型语言模子（如 ChatGPT）盛行全天下，写长其最紧张的说E实现式超生运用之一便是辅助用户实现种种同样艰深写作 ，如撰写电子邮件，提出创作博客文章，交互都能患上到它的长文有力反对于。可是本天当初搜罗 ChatGPT 在内的种种狂语言模子在长内容创作规模 ，如小说
，写长剧本 ，说E实现式超生长篇文案等规模却显患上力不从心 。提出

近期，交互来自苏黎世联邦理工以及波形智能的长文团队宣告了 RecurrentGPT，一种让狂语言模子 (如 ChatGPT 等) 可能模拟 RNN/LSTM ，本天经由 Recurrent Prompting 来实现交互式超长文本天生
，写长让运用 ChatGPT 妨碍长篇小说创作成为了可能。说E实现式超生

• 论文地址：https://arxiv.org/abs/2305.13304

• 名目地址：https://github.com/aiwaves-cn/RecurrentGPT

• 在线 Demo：https://www.aiwaves.org/recurrentgpt (长篇小说写作) https://www.aiwaves.org/interactivefiction (交互式小说)

基于 Transformer 的狂语言模子最清晰的限度之一便是输入以及输入的长度限度。尽管输入真个长度限度可能经由 VectorDB 等方式缓解  ，输入内容的长度限度不断是限度 ChatGPT 等狂语言模子普遍运用于长内容天生的关键拦阻。为处置这一下场，以前良多钻研试图运用基于向量化的 State 或者 Memory 来让 Transformer 可能妨碍循环合计 。这样的措施尽管在长文本建模上揭示了确定的优势，可是却要求运用者具备并可能更正模子的妄想以及参数
，这在当初闭源模子遥遥争先的狂语言模子时期中是不适宜实际的。

RecurrentGPT 则另辟蹊径
，是运用狂语言模子妨碍交互式长文本天生的首个乐成实际。它运用 ChatGPT 等狂语言模子清晰做作语言指令的能耐 ，经由做作语言模拟了循环神经收集（RNNs）的循环合计机制。

如图 2 所示 ，在每一个光阴步中，RecurrentGPT 会接管上一个光阴步天生的内容 、最近天生内容的摘要（短期影像），历史天生内容中以及之后光阴步最相关的内容 (临时影像)，以及一个对于下一步天生内容的大概。RecurrentGPT 凭证这些内容天生一段内容，更新其长短时影像 ，并最先天生多少个对于下一个光阴步中天生内容的妄想，并将之后光阴步的输入作为下一个光阴步的输入。这样的循环合计机制突破了老例Transformer 模子在生妨碍篇文本方面的限度，从而实现恣意长度文本的天生 ，而不淡忘以前的信息。

详细来说。作者们妄想了如图 2 所示的 prompt 去教育以及尺度循环的天生 ：

首先指明使命 ，好比写小说 ，并剖析在输入部份会给出的内容：上一步天生的段落（图中 Ot-1） 、之后坚持的近期天生内容的摘要 ，即短期影像（图中 ht-1），所有天生内容中以及之后光阴步相关水平最高的多少个段落，即短期影像（图中 ct-1），以及对于接下来天生内容的妄想（图中 xt-1） 。

接着在 prompt 中给 ChatGPT 提出要求：首先基于之后的输入天生一个新的段落，接着对于呵护的短期影像妨碍更正 ，同时在对于短期影像更正时作者们调拨狂语言模子首先合成短期影像中哪些内容对于后续创作再也不紧张以及更天生的内容中哪些会对于后续天生有所影响 ，之后响应地在地短期影像库中去去除了无用的信息并削减新的信息 ，从而坚持短期影像不会由于迭代的轮数削减而变患上过长 。最后要求 ChatGPT 基于之后的情节铺设，给出三个逻辑顺承又幽默的新的情节的妄想。

在提出要求后，作者在结尾再次精心妄想了 prompt 来尺度 ChatGPT 的输入 ，着重申了之后小说写作的天气
。这个短处是让 ChatGPT 天生的内容更具备像小说那样的细节，而不是在每一轮的迭代中，快捷地实现情节的叙述。

在实际运用中 ，内容创作者惟独先抉择一个主题 ，而后重大地形貌一下要天生的内容的布景设定以及纲要，剩下的使命就能交给 RecurrentGPT 。每一个它将自动天生第一段 ，并提供多少个可能的选项（plan）供创作者不断写故事。创作者可能抉择一个选项、对于某个选项妨碍更正概况自己编纂一个新的选项。这个流程能清晰后退内容创作者的功能 。

这个新的长文本天生范式将带给所有内容创作者以及读者一种全新的体验。首先，比照现有的措施 ，RecurrentGPT 有更强的可批注性 ，由于用户可能审核以及编纂做作语言影像，这使患上用户可能更清晰地清晰这个框架是若何使命的 。其次，用户可能直接影响天生内容的倾向，让全部写作历程变患上愈加幽默 。

除了作为 AI 内容天生 (AIGC) 的工具之外 ，RecurrentGPT 可能直接作为交互式小说，直接与破费者互动  ，跳过了内容创作者运用 AI 妨碍内容创作的步骤。这让破费者的体验更直接幽默，而且带来更丰硕的可能性。作者们将这样的天生式 AI 的运用范式称之为 (AI as Content, AIAC), 也便是 “AI 即内容”。而 RecurrentGPT 则是通往这个范式的第一步。

在试验中，作者们将 RecurrentGPT 与以前的 SoTA 长文本天生措施，在不同运用 ChatGPT 作为基座模子的情景下 ，在长文本（6000 单词）以及较长文本（3000 单词）的设定下妨碍 pair-wise 的家养比力。

在上述一系列测试中，RecurrentGPT 不论是在科幻、浪漫 、妄图 、无畏、怪异仍是惊悚小说的天生上，都被人类读者以为更幽默以及毗邻 。

总结

钻研职员提出了 RecurrentGPT，用基于做作语言的组件取代了 RNN 中向量化的妄想，而且用基于做作语言的 Prompt 模拟了 RNN 的循环合计图，从而实现 Recurrent Prompting ，让 ChatGPT 等狂语言模子模拟 RNN 的循环合计机制，天生幽默并毗邻的长内容。

该名目已经在 GitHub 上开源，并提供了基于 Gradio 的网页 UI，利便每一个用户去运用以及调教自己的长内容创作助手。