CHAPTER 04 · 对话层

AI 的记性,
其实只有「眼前一页纸」

先说个反直觉的事实:AI 本体每过一轮就彻底失忆一次。它记得你上一句话,不是因为「记住了」, 而是软件每次都把聊天记录重新发给它读一遍。这章拆开三个最常被混淆的词: 上下文(眼前这页纸)、 会话(APP 里的聊天记录本)、 记忆(随身笔记本)。 压轴是一个可以亲手制造「失忆」的聊天演示。

3 个交互演示读完约 12 分钟

4.1 三个词,三张身份证

📜 上下文(Context)

属于:AI 的这一次回答

AI 答题时眼前摊开的全部文字:系统设定 + 聊天记录 + 你这句新话(+ 塞进来的资料)。随对话越堆越厚,受「书桌大小」(上下文窗口)限制。

  • 活一次:只存在于这一次请求
  • 上限:窗口就那么大
  • 花的钱:按积木数计费

🗂 会话(Session)

属于:APP / 服务器

APP 那边的聊天记录本,配一个编号(session id)存在数据库里。AI 自己并没有「会话」这个概念——每次都是应用把本子里的历史重新拼进上下文发过去。

  • 活得久:直到过期或你删掉
  • 住哪:服务器数据库
  • 「新开聊天」= 换个新本子

🧠 记忆(Memory)

属于:产品功能

让信息跨对话留存的手段:还在眼前这页纸上的叫短期记忆;靠摘要便签、资料检索、外部笔记本存着的叫长期记忆。本质都是下次重新摆到它眼前。

  • 短期记忆 ≈ 还在上下文里
  • 长期记忆 ≈ 需要时检索回来
  • ChatGPT 的「记忆」就是这类
最常见的误会 「AI 记住了我们的对话」——不,是 APP 记住了,然后每次重发给 AI。 证据:新开一个聊天窗口,或把同样的问题发给另一台没历史的设备,它一无所知。

4.2 上下文:AI 每次读到的「一整卷纸」

第 2.5 节说过:多轮聊天在底层是一整段文字。所以第 N 轮对话时,AI 收到的 上下文 = 系统设定 + 前 N-1 轮全部对话 + 你这句新话,拼成一卷、一次读完、按总积木数计费。

说人话 你在手机上看到的是「聊天记录」,AI 看到的是每次从头重读的一整卷纸。 聊天越长这卷纸越厚——这就是多轮对话越来越慢、越来越贵的原因。
🧩演示 · 这卷纸里都塞了什么开关各部分看看
右侧的合计就是这一轮你实际付费的「输入积木数」。

4.3 会话:APP 那边的聊天记录本

你点「新建聊天」,应用就开了个新 会话——一个新记录本,配个编号。 之后你每发一句话,应用都在做同一个循环:从本子取出全部历史 → 按上一节说的拼成完整上下文 → 发给 AI → 把 AI 的回复写回本子。如此往复。

两个推论:① 记录本可以无限厚(数据库不在乎),但每次能发给 AI 的只有「书桌摆得下」的部分——所以需要截断/压缩(3.6 节); ② 「清空聊天记录」删的是这个本子,AI 那边什么都没发生——因为它本来就什么都没存。

4.4 记忆:所谓「记住」,其实是「下次再塞给你」

AI 肚子里的知识冻结在训练截止那天(知识截止日期)。 它此刻「还知道」的一切——你们的旧对话、你上传的资料、今天的新闻——都是当下被塞进上下文的。 市面上的「长期记忆」功能,实现无外乎三招:

招式怎么做的你在哪见过
压便签定期让 AI 把旧对话总结成一张摘要,替换原文摆上桌长对话自动摘要
查地图资料/历史存进「语义地图库」,每次按相关度取几条塞进上下文ChatGPT 记忆、笔记类 AI
记笔记让 AI 主动调用「保存笔记」工具,下次会话再取回来AI 助手的长期记忆
一个比喻记住本章 AI 像个每 5 秒失忆一次的天才:聪明,但世界只有眼前这一页纸(上下文)。 记忆产品做的事,就是在他每次抬头之前,把最重要的旧笔记挑几张塞进这一页。

4.5 一张图看清三者怎么配合

🗺️演示 · 一次对话的数据之旅(把鼠标放到各个方块上)
👤 你 发消息 / 收到打字机回复 🗂 APP(管会话的管家) 取历史 → 拼一卷纸 → 调 AI → 写回 会话记录本 存着全部聊天记录 🧠 记忆库 / 资料库 便签 · 资料 · 偏好 🤖 AI(每轮都失忆) 只看眼前这卷纸 · 用完即忘 📜 本次上下文(眼前这卷纸) 系统设定 + 历史 + 新消息 + 塞进来的记忆 (有大小上限,按积木计费)
把鼠标移到任意方块上,这里会用大白话解释它的角色。

4.6 失忆演示器:亲手让 AI「忘掉」你

玩法:模拟窗口只有 500 积木。开局你会告诉 AI 三个信息(名字、幸运数字、猫的名字), 然后「继续闲聊」把书桌塞满——开头那段会被挤下桌。这时再问它开局的信息,看它还答不答得上来; 然后打开「便签记忆」开关重演一遍,对比结局。

🧪压轴演示 · 可以聊天的失忆模拟器窗口 500 积木
🟩 系统设定(80)🟨 记忆便签🟪 桌上还能摆的历史🟦 你这句新话
刚才发生了什么 关便签时:开局的自我介绍被挤下桌 → 下次发给 AI 的纸上根本没有这些字 → 答不上(上下文失忆),这不是 bug,是「看不见」。 开便签后:被挤走前压成一句「用户叫小王,幸运数字 42,养橘猫咪咪」摆回纸上 → AI「记得」了。 一切长期记忆产品的原理都是这个:重新塞给它,而不是它真的记住。

上下文决定了它「看得见什么」。下一个问题:看见之后,每个字是怎么被挑出来的?为什么同一个问题每次回答还不一样?下一章:抽签。