AI に記憶を自動保存させたら、最初の 2 日間で何を覚え間違えたか
小さなお店のオーナーは「確認待ちの記憶」のページを開かないので、AI はほとんど何も覚えていませんでした。自動で保存するようにしたところ、一度きりの依頼をルールとして、テスト用の質問を開業計画として、自分が出した選択肢をオーナーの発言として覚えてしまいました。それぞれをどんな単純なルールで直したか、そしてなぜ今はすべての保存が回答のすぐ下に「取り消す」付きで表示されるのかをまとめます。
NEXUPIRA は小さなお店のオーナーに AI の同僚を何人か用意しています。お客様への返信や見積書を書く担当、帳簿をつける担当、予定を管理する担当です。多くのアシスタントと同じで、覚えていることが多いほど役に立ちます。何を売っているか、価格、営業時間、どんな返信を好むか。
この記事では、その記憶を自動で保存するようにした方法、全ユーザーに公開する前の 2 日間に本番環境でのテストで起きた失敗、そして失敗ごとに追加したルールを紹介します。ルールのほとんどは正規表現と単語の重なりを数えるだけのものです。それがこの記事の要点です。
誰も開かない確認待ちリスト
最初の設計は慎重でした。会話のあと、バックグラウンドの読み取り処理が覚えておくべきことを選び、それぞれが「メモリー」ページでオーナーの「残す」「残さない」を待ちます。同意がなければ AI の記憶には入りません。
これはうまくいきませんでした。技術的な理由ではありません。使っているのはネイルサロン、修理店、ひとりで営むスタジオのオーナーです。チャットを開いて見積書を頼み、閉じる。設定ページの確認待ちリストは見えていないのと同じで、AI は先週もらった価格表をまた聞いていました。誰も使わない慎重な設計は誰も守らず、製品を忘れっぽくするだけです。
そこで問いを変えました。「すべての記憶にオーナーの同意が必要か」ではなく、どの情報なら聞かずに保存してよいか、オーナーがチャットから離れずにそれを確認して取り消すにはどうするか。
全体の設計
- 回答のあと、読み取り処理はオーナー本人のメッセージだけを読みます(お客様のメッセージや、共有チャットでの同僚のメッセージは読みません)。チャットの最初のメッセージで読み、その後は 2 通ごとに読みます。
- 候補ごとに種類を付けます。商品、価格、営業時間、客層、好みの口調・形式・仕事の進め方。
- コードのルールが行き先を決めます。そのまま保存、これまでどおりメモリーページで同意を待つ、または捨てる。
- 保存する場合も、既存の 2 つのモデルチェックを通します。使い回せる情報か一度きりか、既存の記憶と重複・矛盾しないか。重複なら保存しません。矛盾は決して上書きしません。チャットに「「X」を「Y」に更新しますか?」と表示し、「更新する」「更新しない」を選んでもらいます。
- 保存したものはそれを生んだ回答のすぐ下に「記憶しました:…」と「取り消す」付きで表示されます。メモリーページからは、自動保存された記憶ごとに元のチャットへ戻れます。
3 のルールはテキストだけを見るので、モデルが何を言っても変わりません。
// src/lib/server/memory-auto-save-rules.ts(抜粋)
export function autoSaveVerdict(content: string, kind: unknown, userWords: readonly string[] = []): AutoSaveVerdict {
const text = content.trim();
if (looksLikeCredential(text)) return { action: 'drop', reason: 'credential' };
if (has(MONEY_PATTERNS, text)) return { action: 'drop', reason: 'money' };
if (has(PERSONAL_PATTERNS, text)) return { action: 'drop', reason: 'personal' };
if (has(PRIVATE_PATTERNS, text)) return { action: 'drop', reason: 'private' };
const notFact = notAMemory(text); // 仮定の話、空欄のルール
if (notFact) return { action: 'drop', reason: notFact };
if (!isAutoSaveKind(kind)) return { action: 'consent' };
if (isPostMaterial(text, userWords)) return { action: 'drop', reason: 'draft' };
if (PREFERENCE_KINDS.has(kind)) {
const source = sourceMessageFor(text, userWords);
if (!source || !statesStandingRule(source)) return { action: 'consent' };
return { action: 'save', kind, statedRule: true };
}
return { action: 'save', kind };
}
順番に意味があります。決して残してはいけないもの、つまりパスワードや API キー、口座番号やカード番号、お客様の電話番号・メールアドレス・チャットアプリの ID・住所、名前の出てくる人物、健康や家族のことは最初に確認して捨てます。英語・中国語・日本語のすべてで対応しています。パスワードやキーの類は、機能のスイッチが閉じていても捨てます。チャットに貼られたキーは、記憶の候補にすらしてはいけません。モデルは説得されることがありますが、sk-… や「パスワード」を拾う正規表現は説得されません。
ここから先はすべて、本番環境で実際のアカウントを使ったテストで見つかったものです。
失敗 1:一度きりの依頼がルールになった
最初のテストは「この価格の問い合わせに一文で返信して」という依頼でした。読み取り処理は「オーナーは価格の問い合わせに一文で短く答えてほしい」を継続的な好みとして保存しました。このままだと、以後の価格の返信はすべて一文になります。
文が形式の話なので、モデルにとっては間違えやすいところです。でも求めていたのは今回の返信だけでした。修正では、口調・形式・仕事の進め方を事実と分けて扱います。価格や営業時間は自動で保存してよく、好みはオーナー自身の言葉が継続的なルールだと示しているときだけ自動で保存します。
const STANDING_RULE_PATTERNS: RegExp[] = [
/(?:以後|今後|從現在起|每次|一律|總是|永遠|預設|不要再|別再|偏好)/,
/\b(?:always|never|from now on|going forward|every time|whenever|by default|(?:I|we) prefer)\b/i,
/(?:今後|これから|毎回|いつも|常に|必ず|基本的に|デフォルト)/
];
記憶は読み取り処理が自分の言葉で書くので、ルールはまず、それがオーナーのどのメッセージから来たかを探します。共有する語がいちばん多いメッセージです(英語は単語、中国語と日本語は隣り合う 2 文字で数えます)。元のメッセージが見つからなければ自動保存せず、確認を待ちます。
失敗 2:直したら、本当のルールが保存されなくなった
次のテストははっきり言いました。「今後、お客様に営業時間を聞かれたら、一文で短く答えればいい」。何も保存されませんでした。
原因は、以前からある私たち自身の安全チェックでした。一度きりの記憶を弾くそのモデルチェックは別の機能のために書いたもので、プロンプトでは「毎回英語で」を断定的すぎる例に挙げていました。新しいルールが求める「今後」「毎回」という言葉を、古いチェックはちょうど弾くようになっていたのです。どちらも単体では妥当でしたが、組み合わせると何も保存できないことが確定していました。
修正はフラグ 1 つです。ルールがすでに「オーナーが継続ルールを述べた」と判断しているときはチェックにそれを伝え、「断定的すぎる」を却下の理由にしません。ほかの呼び出し元から見たチェックの動作は 1 バイトも変わりません。
3 回目のテストでも保存されませんでした。今度は別の理由です。そのチャットの AI 同僚には記憶ツールがなく、「ここからはこの好みを記憶に保存できません」と答え、私たちのコードはそのターンを失敗とみなして読み取り処理ごと飛ばしていました。テスト中は本番のログを読めなかったので、最も可能性の高い修正を出すと同時に、読み取り処理が途中で止まりうるすべての箇所でログを 1 行残すようにしました(止まった段階だけで、内容は残しません)。次のテストでルールは保存され、「記憶しました」と「取り消す」が表示され、一度きりの依頼は保存されませんでした。
同じものを作るなら、記憶の処理がどの段階で止まったかをログに残してください。「何も起きない」には 6 通りの原因があり、勘では当たりません。
失敗 3:テストの質問が開業計画になった
マーケティング担当をテストするために「もし私がペットのトリミング店を開いたら…」と聞いたところ、「オーナーはペットのトリミング店の開業を検討中。投稿ではペット関連の内容を優先する」が保存され、以後の投稿がペットに寄っていきました。
仮定の話はオーナーについての事実ではありません。「もし私(たち)が」店を開いたら・何かの役なら、「仮に」、架空の店、テスト用の会話、「開業を検討中」は 3 言語とも捨てます。ただし範囲は狭くしておく必要があります。「お客様に返金を聞かれたら、返金はしないと答えて」は本当の仕事の進め方なので残すべきだからです。後のレビューでは「ユーザーが言語を指定しなければ、常に繁体字中国語で返信」が誤って捨てられているのも見つかりました。読み取り処理がオーナーを「ユーザー」と呼ぶためで、今はこの書き方は残ります。
失敗 4:AI が自分の言葉を覚えた
あるオーナーは「投稿を書いて」とだけ書き、続けて「1、1、あとは任せる」と、AI が出した番号付きの選択肢から選びました。読み取り処理は「オーナーは Nexupira を経営、製品には自動化機能があり、ターゲットは小さなチーム」を保存しました。この文の言葉はすべて AI の選択肢から来たもので、オーナーは一言も言っていません。
いちばん一般化できる教訓はこれです。**読み取り処理は会話全体を見ていて、その言葉のほとんどは AI が書いている。**そこで、誰が言ったかを確認します。
export function fromAssistantWords(content: string, userWords: readonly string[], assistantWords: readonly string[]): boolean {
const fact = groundTokens(content);
if (fact.size < 3 || assistantWords.length === 0) return false;
// 記憶がオーナーと違う言語で書かれていると、言葉では判断できないので判定しない。
if (mostlyCjk(content) !== mostlyCjk(userWords.join('\n'))) return false;
const said = groundTokens(userWords.join('\n'));
const answered = groundTokens(assistantWords.join('\n'));
let fromUser = 0;
let assistantOnly = 0;
for (const token of fact) {
if (said.has(token)) fromUser++;
else if (answered.has(token)) assistantOnly++;
}
return assistantOnly >= 3 && assistantOnly >= 2 * Math.max(1, fromUser);
}
読み取り処理自身の書き出し(「ユーザーは…を経営」など)は数えないので、言い回しは証拠になりません。オーナーが自分の言葉で言ったことは AI の言葉との重なりが少なく、残ります。
失敗 5:投稿のテーマがお店の事実になった
「うちの瓶入りコーヒー『雲朵冷萃』を紹介する Facebook 投稿を書いて」に「記憶しました」が出ました。代理店がネイルサロンの顧客のために頼んだ投稿も同じでした。後の別のメッセージでは、そのコーヒーの記憶を自動化に関する内容に書き換えようと提案までしていました。
投稿に入れるものはその投稿の素材です。試している商品かもしれないし、顧客の特典や日曜日に終わるキャンペーンかもしれません。元のメッセージが投稿や文章の作成を頼むものなら、そこからは何も記憶せず、提案もせず、既存の記憶の更新にも使いません。投稿についての継続ルール(「今後、投稿の最後には必ず営業時間を入れて」)はルールを述べているので対象外です。
失敗 6:記憶がバグを固定した
あるオーナーが「下書きに足りない情報があったらどうなるの」と聞き、AI が角括弧で空欄にすると説明すると、読み取り処理はそれをルールとして保存しました。ちょうどその角括弧の空欄をなくす作業をしていたところで、この記憶があると修正を出したあともそのアカウントでは空欄が残り続けます。足りない情報の扱いは製品の動作でありオーナーの好みではないので、捨てます。
あえて作らなかったもの
- **モデルの確信度スコアは使いません。**プライバシーと正しさに関わる判断はすべて、テキストだけを見て 3 言語のテストがあるコードで行います。モデルは候補を選んで種類を付けるだけで、何が安全かは決めません。
- **黙って上書きしません。**新しい価格が保存済みの価格と矛盾したら、チャットで「更新する」「更新しない」を待ちます。更新を取り消すと元の言葉に戻ります。
- **チュートリアルはありません。**初めて何かを記憶したとき、その下に一文だけ、アカウントごとに一度だけ表示します。「NEXUPIRA は、話したお店の情報やルールを記憶して、次からそのとおりに進めます。記憶してほしくないときは「取り消す」を押してください。」
- **集計に内容を入れません。**保存、取り消し、矛盾、更新、更新しない、重複、除外の件数を種類ごとに数えるだけで、記憶した内容そのものはログに残りません。
まだわからないこと
全ユーザーへの公開は 11 月 18 日からで、まだ多くは言えません。これから見るのは種類ごとの取り消し率です。ある種類の記憶がよく取り消されるなら、その種類は先に聞く方式に戻すべきです。報告する価値のあるデータがそろったら続編を書きます。
アシスタントに記憶を持たせるなら
- **確認は会話の中で。**設定ページの確認待ちリストは、誰も読まないリストです。
- **「今回だけ」と「今後ずっと」は別物。**一文をルールに変える言葉を探し、モデルに推測させないこと。
- **誰が言ったかを確かめる。**会話ログのほとんどは AI が書いていて、読み取り処理は AI 自身の言葉を喜んで覚えます。
- **仮定、テスト、投稿の素材は事実ではない。**その多くは自分たちのチームが生み出します。
- **2 つの安全チェックが出会うところは一緒にテストする。**私たちのチェックは単体ではどちらも通り、組み合わせると何も保存できませんでした。
- **ログには段階を、内容は残さない。**処理がどこで止まったかは知る必要がありますが、オーナーの言葉を残してはいけません。
NEXUPIRA は小さなお店のための AI の同僚です。LINE・WhatsApp・Telegram でお客様に価格を聞かれたら返信と見積書の下書きを作り、オーナーが確認して送るまで何も送りません。帳簿や予定の管理もします。それぞれの役割を見る、または無料トライアルで試せます。