重构消息队列连接管理,支持多数据源配置

主要变更:
1. 重构NATS、RabbitMQ和Redis连接管理模块,支持多数据源配置
2. 统一连接管理接口,增加数据源名称参数
3. 优化连接状态检查和错误处理
4. 增加连接池管理和资源清理机制
5. 改进日志输出格式和内容
This commit is contained in:
2026-02-04 13:49:17 +08:00
committed by 张斌
parent 69d2ace17f
commit 55a6ec0374
12 changed files with 1339 additions and 1114 deletions

View File

@@ -3,10 +3,10 @@ package message
import (
"context"
"fmt"
"sync"
"time"
"github.com/gogf/gf/v2/frame/g"
"sync"
)
// MessageType 消息队列类型
@@ -32,7 +32,6 @@ type pluginManager struct {
var (
defaultPluginManager = newPluginManager()
// 不再支持默认插件类型,必须显式指定类型
)
// newPluginManager 创建插件管理器
@@ -42,63 +41,6 @@ func newPluginManager() *pluginManager {
}
}
// RegisterPlugin 注册消息队列插件
// 所有插件必须通过此方法注册,自动进行连接检测
// 只有连接成功的插件才会被注册,连接失败的插件不会被注册
// 异步无限重连,只有连接成功了才注册
func registerPlugin(msgType messageType, factory configFactory) error {
if factory == nil {
return fmt.Errorf("factory cannot be nil")
}
// 创建实例
instance := factory()
ctx := context.Background()
// 开启异步连接,无限重连直到成功
go func() {
retryInterval := 2 * time.Second
maxInterval := 30 * time.Second
for {
select {
case <-ctx.Done():
g.Log().Errorf(ctx, "❌ [%s] 注册被取消", msgType)
return
default:
// 尝试连接使用Reconnect方法
if err := instance.reconnect(ctx); err == nil {
// 连接成功,注册插件
if err := defaultPluginManager.register(msgType, instance); err != nil {
g.Log().Errorf(ctx, "❌ [%s] 注册插件失败: %v", msgType, err)
instance.close(ctx)
} else {
g.Log().Infof(ctx, "✅ [%s] 插件注册成功", msgType)
}
return
}
// 连接失败,记录日志并等待重试
g.Log().Warningf(ctx, "⚠️ [%s] 连接失败,%v 后重试...", msgType, retryInterval)
select {
case <-time.After(retryInterval):
// 增加重试间隔,但不超过最大值
retryInterval *= 2
if retryInterval > maxInterval {
retryInterval = maxInterval
}
case <-ctx.Done():
g.Log().Errorf(ctx, "❌ [%s] 注册被取消", msgType)
return
}
}
}
}()
return nil
}
// register 注册插件(内部方法)
func (m *pluginManager) register(msgType messageType, instance messageUtil) error {
m.mu.Lock()
@@ -107,27 +49,66 @@ func (m *pluginManager) register(msgType messageType, instance messageUtil) erro
return nil
}
// GetMsgPlugin 获取消息队列插件
func GetMsgPlugin(msgType messageType) (messageUtil, error) {
defaultPluginManager.mu.RLock()
instance, ok := defaultPluginManager.instances[msgType]
defaultPluginManager.mu.RUnlock()
if !ok {
return nil, fmt.Errorf("unsupported message type: %s", msgType)
// RegisterPlugin 注册消息队列插件
// 所有插件必须通过此方法注册,自动进行连接检测
// 只有连接成功的插件才会被注册,连接失败的插件不会被注册
// 异步无限重连,只有连接成功了才注册
// name: 数据源名称,用于标识不同的连接实例
func RegisterPlugin(ctx context.Context, name string, msgType messageType, factory configFactory) error {
if factory == nil {
g.Log().Errorf(ctx, "❌ factory cannot be nil")
return fmt.Errorf("factory cannot be nil")
}
return instance, nil
// 开启异步连接,无限重试直到成功
go func() {
// 创建实例
instance := factory()
// 创建通知 channel
pluginKey := fmt.Sprintf("%s-%s", msgType, name)
if !instance.Ping(ctx) {
// 使用统一的重连函数
if err := commonConnect(ctx, msgType, name, func(ctx context.Context) error {
return instance.Connect(ctx)
}, func(ctx context.Context) error {
return instance.Close(ctx)
}); err != nil {
g.Log().Errorf(ctx, "❌ [%s][%s] 连接失败: %v", msgType, name, err)
return
}
}
// 连接成功,注册插件
defaultPluginManager.mu.Lock()
defaultPluginManager.instances[messageType(pluginKey)] = instance
defaultPluginManager.mu.Unlock()
g.Log().Infof(ctx, "✅ [%s][%s] 插件注册成功", msgType, name)
}()
return nil
}
// GetSupportedTypes 获取所有已注册的插件类型
func GetSupportedTypes() []messageType {
defaultPluginManager.mu.RLock()
defer defaultPluginManager.mu.RUnlock()
types := make([]messageType, 0, len(defaultPluginManager.instances))
for t := range defaultPluginManager.instances {
types = append(types, t)
}
return types
// GetMsgPlugin 获取消息队列插件(默认数据源),如果未注册则等待
func GetMsgPlugin(ctx context.Context, msgType messageType) (messageUtil, error) {
return GetMsgPluginWithName(ctx, msgType, "default")
}
// GetMsgPluginWithName 获取指定数据源的消息队列插件,如果未注册则等待直到超时
func GetMsgPluginWithName(ctx context.Context, msgType messageType, name string) (messageUtil, error) {
pluginKey := fmt.Sprintf("%s-%s", msgType, name)
for {
defaultPluginManager.mu.RLock()
instance, ok := defaultPluginManager.instances[messageType(pluginKey)]
defaultPluginManager.mu.RUnlock()
if ok {
return instance, nil
}
// 未注册,等待一段时间后重试
select {
case <-ctx.Done():
return nil, fmt.Errorf("wait for plugin ready canceled: %s with datasource: %s", msgType, name)
default:
time.Sleep(3 * time.Second)
}
}
}