feat: 优化RAG检索与聊天模型支持历史对话
实现双路检索并行优化,使用EINO官方模板重构聊天逻辑,增加多轮对话历史记录管理及相关性过滤,并修复数据库唯一索引。
This commit is contained in:
@@ -14,91 +14,122 @@ import (
|
||||
"github.com/gogf/gf/v2/util/gconv"
|
||||
)
|
||||
|
||||
var globalChatModel *qwen.ChatModel
|
||||
const (
|
||||
MaxHistoryTurns = 5 // 最大历史轮数
|
||||
)
|
||||
|
||||
var (
|
||||
globalChatModel *qwen.ChatModel
|
||||
ragPromptTemplate prompt.ChatTemplate // EINO 官方模板
|
||||
)
|
||||
|
||||
func init() {
|
||||
ctx := context.Background()
|
||||
// 初始化大模型
|
||||
if err := initChatModel(ctx); err != nil {
|
||||
glog.Errorf(ctx, "初始化大模型失败: %v", err)
|
||||
}
|
||||
// 初始化 EINO 提示词模板
|
||||
initRAGPromptTemplate()
|
||||
|
||||
return
|
||||
}
|
||||
|
||||
// 初始化通义千问
|
||||
func initChatModel(ctx context.Context) error {
|
||||
if globalChatModel != nil {
|
||||
return nil
|
||||
}
|
||||
|
||||
apiKey := g.Cfg().MustGet(ctx, "eino.chatmodel.apiKey").String()
|
||||
model := g.Cfg().MustGet(ctx, "eino.chatmodel.model").String()
|
||||
|
||||
var err error
|
||||
globalChatModel, err = qwen.NewChatModel(ctx, &qwen.ChatModelConfig{
|
||||
cm, err := qwen.NewChatModel(ctx, &qwen.ChatModelConfig{
|
||||
APIKey: apiKey,
|
||||
Model: model,
|
||||
BaseURL: "https://dashscope.aliyuncs.com/compatible-mode/v1",
|
||||
Timeout: 60 * 1e9,
|
||||
Temperature: gconv.PtrFloat32(0.7), // 客服最佳
|
||||
MaxTokens: gconv.PtrInt(1024), // 最长回答
|
||||
TopP: gconv.PtrFloat32(1.0),
|
||||
})
|
||||
if err != nil {
|
||||
glog.Errorf(ctx, "初始化大模型失败: %v", err)
|
||||
return err
|
||||
}
|
||||
|
||||
return
|
||||
globalChatModel = cm
|
||||
return nil
|
||||
}
|
||||
|
||||
// NewChatModel 只处理逻辑,不复用创建模型
|
||||
func NewChatModel(ctx context.Context, content string, docs []*schema.Document) (replyMsg *schema.Message, sources []string, err error) {
|
||||
// 1. 构建参考知识
|
||||
knowledge, sources := buildKnowledgeAndSources(docs)
|
||||
|
||||
// 2. 构建提示词
|
||||
msgs, err := buildPromptMessages(ctx, knowledge, content)
|
||||
if err != nil {
|
||||
return
|
||||
}
|
||||
|
||||
// 3. 🔥 直接使用全局单例,不重复创建
|
||||
replyMsg, err = streamGenerateAnswer(ctx, globalChatModel, msgs)
|
||||
|
||||
return
|
||||
}
|
||||
|
||||
// buildKnowledgeAndSources 拼接参考知识 + 提取文档来源
|
||||
func buildKnowledgeAndSources(docs []*schema.Document) (string, []string) {
|
||||
var knowledge string
|
||||
var sources []string
|
||||
|
||||
for i, doc := range docs {
|
||||
knowledge += fmt.Sprintf("[参考%d] %s\n", i+1, doc.Content)
|
||||
|
||||
// 提取 document_id
|
||||
if docID, ok := doc.MetaData["document_id"].(int64); ok && docID > 0 {
|
||||
sources = append(sources, gconv.String(docID))
|
||||
}
|
||||
}
|
||||
return knowledge, sources
|
||||
}
|
||||
|
||||
// buildPromptMessages 构建提示词模板
|
||||
func buildPromptMessages(ctx context.Context, knowledge string, question string) (msgs []*schema.Message, err error) {
|
||||
promptTpl := prompt.FromMessages(
|
||||
// 初始化 EINO 官方提示词模板(最关键!)
|
||||
func initRAGPromptTemplate() {
|
||||
ragPromptTemplate = prompt.FromMessages(
|
||||
schema.FString,
|
||||
// 系统提示(带参考知识)
|
||||
&schema.Message{
|
||||
Role: schema.System,
|
||||
// Content: `你是专业的客服助手,语气友好。
|
||||
//如果参考知识中有相关信息,请优先依据参考知识回答。
|
||||
//如果没有相关信息,就正常回答,不要说无法回答。
|
||||
//
|
||||
//参考知识:
|
||||
//{knowledge}`,
|
||||
Content: `你是专业的客服助手,语气友好。
|
||||
请根据参考知识回答用户问题,无法回答则说:抱歉,我暂时无法回答这个问题。
|
||||
|
||||
参考知识:
|
||||
{knowledge}`,
|
||||
Content: `你是专业客服,语气友好简洁。
|
||||
请严格依据参考知识回答,不知道就说:抱歉,我暂时无法回答这个问题。
|
||||
|
||||
参考知识:
|
||||
{knowledge}`,
|
||||
},
|
||||
// 用户问题
|
||||
&schema.Message{
|
||||
Role: schema.User,
|
||||
Content: "{question}",
|
||||
},
|
||||
)
|
||||
}
|
||||
|
||||
return promptTpl.Format(ctx, map[string]any{
|
||||
// NewChatModel 只处理逻辑,不复用创建模型
|
||||
func NewChatModel(ctx context.Context, question string, docs []*schema.Document, history []*schema.Message) (replyMsg *schema.Message, err error) {
|
||||
// 1. 构建参考知识
|
||||
knowledge := buildKnowledgeAndSources(docs)
|
||||
// 2. 历史精简
|
||||
history = limitHistory(history)
|
||||
// 3. ✅ EINO 官方模板格式化(超级干净)
|
||||
msgs, err := ragPromptTemplate.Format(ctx, map[string]any{
|
||||
"knowledge": knowledge,
|
||||
"question": question,
|
||||
})
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
// 4. 历史插入到模板消息中间(标准EINO用法)
|
||||
if len(history) > 0 {
|
||||
msgs = append(msgs[:1], append(history, msgs[1:]...)...)
|
||||
}
|
||||
// 5. 🔥 直接使用全局单例,不重复创建
|
||||
replyMsg, err = streamGenerateAnswer(ctx, globalChatModel, msgs)
|
||||
|
||||
return
|
||||
}
|
||||
|
||||
func limitHistory(history []*schema.Message) []*schema.Message {
|
||||
valid := make([]*schema.Message, 0, len(history))
|
||||
for _, m := range history {
|
||||
if m.Role == schema.User || m.Role == schema.Assistant {
|
||||
valid = append(valid, m)
|
||||
}
|
||||
}
|
||||
|
||||
keep := 2 * MaxHistoryTurns
|
||||
if len(valid) > keep {
|
||||
valid = valid[len(valid)-keep:]
|
||||
}
|
||||
return valid
|
||||
}
|
||||
|
||||
// buildKnowledgeAndSources 拼接参考知识
|
||||
func buildKnowledgeAndSources(docs []*schema.Document) string {
|
||||
var knowledge string
|
||||
|
||||
for i, doc := range docs {
|
||||
knowledge += fmt.Sprintf("[参考%d] %s\n", i+1, doc.Content)
|
||||
|
||||
}
|
||||
return knowledge
|
||||
}
|
||||
|
||||
// streamGenerateAnswer 流式生成
|
||||
|
||||
Reference in New Issue
Block a user