← 所有消息

工程 10 分鐘閱讀

讓 AI 自己存記憶:上線前兩天它記錯了哪些事

小店老闆從來不會打開「待確認記憶」那一頁,所以 AI 幾乎什麼都沒記住。我們改成讓它自己存,結果它把一次性的要求當成規則、把測試問題當成創業計畫、把自己列的選項當成老闆說的話。這篇講每個錯誤是怎麼用簡單的規則修好的,以及為什麼現在每次存下來都會出現在回答下方、附一個「取消」。

讓 AI 自己存記憶:上線前兩天它記錯了哪些事

NEXUPIRA 給小店老闆幾位 AI 同事:一位幫忙回客人、寫報價單,一位記帳,一位排行程。跟大部分助理一樣,它們記得越多越好用:店裡賣什麼、價格多少、幾點開門、老闆喜歡怎麼回客人。

這篇講我們怎麼讓這份記憶自己存下來、開放給所有人之前在正式站測試的兩天裡出了哪些錯,以及每個錯誤補上的規則。大部分規則只是正規表示式加上字詞重疊計數,這正是這篇想說的。

沒有人打開的待確認清單

一開始的設計很謹慎:對話結束後,背景程式挑出值得記住的事,每一條都放在「記憶」頁等老闆按「保留」或「不要」,沒經過同意就不會進 AI 的記憶。

結果行不通,而且不是技術問題。我們的使用者開美甲店、修車廠、一人工作室,他們打開對話、要一張報價單就走了。設定頁裡的待確認清單對他們來說等於不存在,於是 AI 一再跟老闆要上週才給過的價目表。一個沒人用的謹慎設計保護不了任何人,只會讓產品一直忘記。

所以我們換了問題。不是「每條記憶都要老闆同意嗎?」,而是:哪些事可以不問就存?老闆不用離開對話,要怎麼看到、怎麼取消?

整體設計

  1. 每次回答後,背景程式只讀老闆自己的訊息(絕不讀客人的,共用對話裡同事的訊息也不讀),挑出可能要記的事。對話第一則訊息會讀,之後每兩則讀一次。
  2. 它替每一條標上種類:賣什麼、價格、營業時間、客群、偏好的語氣、格式或做事方式。
  3. 由程式規則決定每一條的去向:直接存、照舊放到記憶頁等同意,或丟掉。
  4. 直接存的仍要通過原本就有的兩道模型檢查:這是可以重複用的,還是只適用這一次?跟現有記憶重複或衝突嗎?重複的不存。衝突的絕不覆寫:對話裡會問「要把「X」更新成「Y」嗎?」,附「更新」和「不用」。
  5. 每次存下來,都會出現在產生它的那則回答下方:「已記住:…」加一個「取消」。記憶頁上每一條自動存的記憶,都連回原本的對話。

第 3 步的規則只看文字,所以不管模型說什麼都成立:

// src/lib/server/memory-auto-save-rules.ts(節錄)
export function autoSaveVerdict(content: string, kind: unknown, userWords: readonly string[] = []): AutoSaveVerdict {
	const text = content.trim();
	if (looksLikeCredential(text)) return { action: 'drop', reason: 'credential' };
	if (has(MONEY_PATTERNS, text)) return { action: 'drop', reason: 'money' };
	if (has(PERSONAL_PATTERNS, text)) return { action: 'drop', reason: 'personal' };
	if (has(PRIVATE_PATTERNS, text)) return { action: 'drop', reason: 'private' };
	const notFact = notAMemory(text); // 假設情境、留空規則
	if (notFact) return { action: 'drop', reason: notFact };
	if (!isAutoSaveKind(kind)) return { action: 'consent' };
	if (isPostMaterial(text, userWords)) return { action: 'drop', reason: 'draft' };
	if (PREFERENCE_KINDS.has(kind)) {
		const source = sourceMessageFor(text, userWords);
		if (!source || !statesStandingRule(source)) return { action: 'consent' };
		return { action: 'save', kind, statedRule: true };
	}
	return { action: 'save', kind };
}

順序很重要。絕對不能留的東西最先檢查、直接丟掉:密碼和 API 金鑰、銀行帳號和卡號、客人的電話、email、通訊軟體 ID 和地址、提到名字的人、健康和家庭,中英日三語都有。就算功能開關沒開,密碼金鑰類也會被丟掉:貼進對話的金鑰連「建議記住」都不能變成。模型可能被說服,但抓 sk-… 或「密碼」的正規表示式不會。

下面每一條,都是在正式站用真實帳號測出來的。

錯誤 1:只要這一次,被記成規則

第一句測試是「幫我用一句話回覆客人問價格」。背景程式存下「用戶希望客人詢價時能用一句話簡短回覆價格」,當成長期偏好。照這樣下去,以後每次報價都只會回一句話。

對模型來說這個錯很好犯,因為句子講的是格式。但它要的只是這一次的回覆。修法是把語氣、格式、做事方式跟事實分開:價格、營業時間可以自己存,偏好只有在老闆自己的話裡說明是長期規則時才自己存。

const STANDING_RULE_PATTERNS: RegExp[] = [
	/(?:以後|今後|從現在起|每次|一律|總是|永遠|預設|不要再|別再|偏好)/,
	/\b(?:always|never|from now on|going forward|every time|whenever|by default|(?:I|we) prefer)\b/i,
	/(?:今後|これから|毎回|いつも|常に|必ず|基本的に|デフォルト)/
];

記憶是背景程式用自己的話寫的,所以規則要先找出它來自老闆的哪一則訊息:共用字詞最多的那一則(英文算單字,中日文算相鄰兩個字)。找不到來源就不自動存,留給老闆確認。

錯誤 2:修完之後,真的規則反而存不進去

下一句測試講得很清楚:「以後客人問營業時間,都用一句話簡短回就好」。結果什麼都沒存。

原因是我們自己更早的一道安全檢查。那道擋掉一次性記憶的模型檢查是為另一個功能寫的,提示詞裡把「每次都要用英文」列為太絕對的例子。新規則要求的正是「以後」「每次」這種字,舊檢查剛好專擋這種字。兩道檢查各自都合理,合在一起保證什麼都存不進去。

修法是加一個標記:規則已經看到老闆說了長期規則,就告訴那道檢查,「太絕對」不再是擋掉的理由。其他地方呼叫這道檢查時,行為一個位元組都沒變。

第三次測試還是沒存,原因又不一樣:那個對話裡的 AI 同事沒有記憶工具,回了一句「目前我無法從這裡把這個偏好存入記憶」,我們的程式把這一輪當成失敗,整個跳過背景程式。測試的時候讀不到正式站日誌,所以我們先上最可能的修正,同時在背景程式每個可能提早結束的地方記一行日誌(只記停在哪一步,不記內容)。再下一次測試,規則存進去了,出現「已記住」和「取消」,一次性的要求也沒被存。

如果你也在做這種功能:記錄記憶流程在哪一步提早結束。「什麼都沒發生」有六種可能,你猜不中的。

錯誤 3:一個測試問題,變成創業計畫

為了測行銷同事,有人問「如果我開寵物美容店…會發什麼貼文?」。背景程式存下「用戶正在考慮開寵物美容店;撰寫貼文時可優先使用寵物相關內容」。之後每篇貼文都往寵物靠。

假設不是老闆的事實。只要句子是「如果我/我們」開店或當某個角色、「假設」、虛構的店、測試對話、「考慮要開」,三種語言都會丟掉。但範圍要很窄,因為「如果客人問退款,就說我們不退」是真的做事方式,一定要留。後來審查又發現「如果用戶沒指定語言,一律用繁中回覆」被誤丟,因為背景程式把老闆稱作「用戶」,現在這種寫法會保留。

錯誤 4:AI 記住了自己說的話

有位老闆只寫了「幫我寫一則貼文」,接著回「1、1,其他你看著辦」,從 AI 列出的選項裡挑了編號。背景程式存下「用戶經營 Nexupira,產品包含自動化功能…目標客群為小團隊」。這句話的每個字都來自 AI 的選項清單,老闆一個字都沒說過。

這是最值得推廣的一課:**背景程式看到的是整段對話,而大部分的字是 AI 寫的。**所以我們會檢查是誰說的:

export function fromAssistantWords(content: string, userWords: readonly string[], assistantWords: readonly string[]): boolean {
	const fact = groundTokens(content);
	if (fact.size < 3 || assistantWords.length === 0) return false;
	// 記憶跟老闆用的語言不同時,字詞判斷不出是誰說的,就不判斷。
	if (mostlyCjk(content) !== mostlyCjk(userWords.join('\n'))) return false;
	const said = groundTokens(userWords.join('\n'));
	const answered = groundTokens(assistantWords.join('\n'));
	let fromUser = 0;
	let assistantOnly = 0;
	for (const token of fact) {
		if (said.has(token)) fromUser++;
		else if (answered.has(token)) assistantOnly++;
	}
	return assistantOnly >= 3 && assistantOnly >= 2 * Math.max(1, fromUser);
}

計算時會跳過背景程式自己的開頭(「用戶經營…」、"the user's business includes…"),寫法本身不算證據。老闆用自己的話說過的事,跟 AI 的字重疊不多,會留下來。

錯誤 5:貼文的主題,被當成店裡的事實

「幫我寫一則粉專貼文,介紹我們的「雲朵冷萃」瓶裝咖啡」出現了「已記住」。代理商幫美甲店客戶寫的貼文也一樣。後來另一則訊息,甚至提議把那條咖啡記憶改寫成跟自動化有關的內容。

放進貼文的東西是那篇貼文的素材:可能是還在測的商品、客戶的優惠、週日就結束的活動。只要來源訊息是在請 AI 寫貼文或文案,裡面的東西都不記、不建議、也不拿來更新記憶。關於貼文的長期規則(「以後貼文結尾都附營業時間」)不受影響,因為那是在說規則。

錯誤 6:一條記憶把 bug 鎖住

有位老闆問草稿裡缺資料會怎樣,AI 解釋它會用方括號留空,背景程式就把這存成規則。我們當時正在拿掉這些方括號空格,這條記憶會讓那個帳號在修正上線後還繼續留空。「怎麼處理缺的資料」是產品行為,不是老闆偏好,所以一律丟掉。

我們刻意沒做的事

  • **不用模型給的信心分數。**所有跟隱私和正確性有關的判斷,都在只看文字的程式裡,而且有三語測試。模型負責挑候選、標種類,不負責判斷什麼是安全的。
  • **不默默覆寫。**新價格跟舊價格衝突時,在對話裡等老闆按「更新」或「不用」。取消更新會把原本的字放回去。
  • **沒有新手導覽。**第一次記住東西時,下方出現一句話,每個帳號只出現一次:「NEXUPIRA 會記住你說過的生意資料和規則,下次直接照做;不想記就按取消。」
  • **統計不記內容。**我們只計算已存、取消、衝突、更新、不用、重複、被擋,加上種類。記住的內容本身不會進日誌。

還不知道的事

11 月 18 日才開放給所有人,還太早下結論。接下來要看的數字是各種類的取消率:如果老闆常取消某一類記憶,那一類就該改回先問。等有值得分享的數據,我們再寫續篇。

如果你也在幫助理做記憶

  1. **把確認放進對話裡。**設定頁的待確認清單,是沒人會看的清單。
  2. **「只要這次」和「以後都這樣」是兩回事。**去找讓一句話變成規則的字,不要讓模型自己推斷。
  3. **檢查是誰說的。**對話紀錄大多是 AI 寫的,背景程式很樂意記住 AI 自己的話。
  4. **假設、測試、貼文素材都不是事實。**這些多半是你自己團隊產生的。
  5. **兩道安全檢查相遇時,要一起測。**我們的兩道各自都通過,合起來什麼都存不進去。
  6. **日誌記步驟,不記內容。**你需要知道流程停在哪,但不能留下老闆說的話。

NEXUPIRA 為小店做 AI 同事:客人在 LINE、WhatsApp 或 Telegram 問價格時,它幫你擬好回覆和報價單,你看過按送出才會發出去。它也幫你記帳、排行程。看看每位同事做什麼,或直接免費試用。