TWINCOAL ENGINEERING NOTES

Twincoal
技術文章

從真實產品出發，記下 AI、架構、測試與部署中值得被重複使用的判斷。

做過、量過，
再寫下來。

AI 工程2026年10月19日

拒答標記只在例外時才要求，換了模型就有一半正確的拒答沒宣告，改措辭兩輪都量不出進步。把任務改成每則回覆第一行二選一，兩個模型都是 30/30。本文整理怎麼讀出原因、怎麼便宜地迭代。

AI 工程2026年10月11日

同一個 Claude 模型，在知識庫問答上贏過現行模型，在帶工具的 LINE 對話上卻第一關就被淘汰。本文整理事先寫下的決策規則、為什麼打平就不換，以及延遲與 token 單位怎麼左右結論。

維運觀測2026年10月7日

一次全面健檢沒有找到任何可利用的漏洞，真正的問題是沒有人在看，以及一整排不會失敗的檢查。本文整理監控看起來存在、實際上不生效的六種形狀，以及各自怎麼驗。

AI 工程2026年9月28日

把前幾輪對話摺進檢索查詢，看起來只是給一點線索，實際上是讓前一題的主題跟這一題搶同一個向量。本文整理正式站量到的兩個案例、修法，以及為什麼相似度門檻救不了這件事。

AI 工程2026年9月21日

意圖按鈕送出的那句話是我們自己寫的，卻每按一次就付幾千個 token 請模型再讀懂一次，有時還讀錯。本文整理改走 postback、由程式直接執行並組卡片之後，哪些事要自己補回來，以及上線後量到的數字。

系統設計2026年9月14日

跨過訊息額度的那一階，斷的不是慢郎中的訊息，是整個月、連付費會員一起斷。這篇整理怎麼從實測資料決定門檻、怎麼設計一個上線第一天就不能誤傷任何人的狀態機，以及一次真實的資料回填事故。

系統設計2026年9月6日

上游每個資料源都有重試，最後一哩卻沒有。本文從排程語意反推重試該在何時完成、哪些錯誤值得重送，以及冪等鍵如何在不打擾任何人的前提下驗證。

AI 工程2026年8月22日

照片、語音與位置進入 LINE Bot 後，不一定要直接送進大型語言模型。本文拆解先轉文字再進對話管線的設計與取捨。

系統設計2026年8月21日

短期對話記憶不只是把訊息存進 Redis。本文整理 TTL 邊界、fail-open、字元上限與工具摘要如何共同控制隱私和成本。

測試工程2026年8月20日

從單元測試、跨服務契約、部署後 smoke 到真實模型行為，如何依環境變異與失敗代價安排測試，而不是讓 E2E 變慢又不可信。