重构消息队列连接管理,支持多数据源配置
主要变更: 1. 重构NATS、RabbitMQ和Redis连接管理模块,支持多数据源配置 2. 统一连接管理接口,增加数据源名称参数 3. 优化连接状态检查和错误处理 4. 增加连接池管理和资源清理机制 5. 改进日志输出格式和内容
This commit is contained in:
@@ -3,10 +3,10 @@ package message
|
||||
import (
|
||||
"context"
|
||||
"fmt"
|
||||
"sync"
|
||||
"time"
|
||||
|
||||
"github.com/gogf/gf/v2/frame/g"
|
||||
"sync"
|
||||
)
|
||||
|
||||
// MessageType 消息队列类型
|
||||
@@ -32,7 +32,6 @@ type pluginManager struct {
|
||||
|
||||
var (
|
||||
defaultPluginManager = newPluginManager()
|
||||
// 不再支持默认插件类型,必须显式指定类型
|
||||
)
|
||||
|
||||
// newPluginManager 创建插件管理器
|
||||
@@ -42,63 +41,6 @@ func newPluginManager() *pluginManager {
|
||||
}
|
||||
}
|
||||
|
||||
// RegisterPlugin 注册消息队列插件
|
||||
// 所有插件必须通过此方法注册,自动进行连接检测
|
||||
// 只有连接成功的插件才会被注册,连接失败的插件不会被注册
|
||||
// 异步无限重连,只有连接成功了才注册
|
||||
func registerPlugin(msgType messageType, factory configFactory) error {
|
||||
if factory == nil {
|
||||
return fmt.Errorf("factory cannot be nil")
|
||||
}
|
||||
|
||||
// 创建实例
|
||||
instance := factory()
|
||||
ctx := context.Background()
|
||||
|
||||
// 开启异步连接,无限重连直到成功
|
||||
go func() {
|
||||
retryInterval := 2 * time.Second
|
||||
maxInterval := 30 * time.Second
|
||||
|
||||
for {
|
||||
select {
|
||||
case <-ctx.Done():
|
||||
g.Log().Errorf(ctx, "❌ [%s] 注册被取消", msgType)
|
||||
return
|
||||
default:
|
||||
// 尝试连接(使用Reconnect方法)
|
||||
if err := instance.reconnect(ctx); err == nil {
|
||||
// 连接成功,注册插件
|
||||
if err := defaultPluginManager.register(msgType, instance); err != nil {
|
||||
g.Log().Errorf(ctx, "❌ [%s] 注册插件失败: %v", msgType, err)
|
||||
instance.close(ctx)
|
||||
} else {
|
||||
g.Log().Infof(ctx, "✅ [%s] 插件注册成功", msgType)
|
||||
}
|
||||
return
|
||||
}
|
||||
|
||||
// 连接失败,记录日志并等待重试
|
||||
g.Log().Warningf(ctx, "⚠️ [%s] 连接失败,%v 后重试...", msgType, retryInterval)
|
||||
|
||||
select {
|
||||
case <-time.After(retryInterval):
|
||||
// 增加重试间隔,但不超过最大值
|
||||
retryInterval *= 2
|
||||
if retryInterval > maxInterval {
|
||||
retryInterval = maxInterval
|
||||
}
|
||||
case <-ctx.Done():
|
||||
g.Log().Errorf(ctx, "❌ [%s] 注册被取消", msgType)
|
||||
return
|
||||
}
|
||||
}
|
||||
}
|
||||
}()
|
||||
|
||||
return nil
|
||||
}
|
||||
|
||||
// register 注册插件(内部方法)
|
||||
func (m *pluginManager) register(msgType messageType, instance messageUtil) error {
|
||||
m.mu.Lock()
|
||||
@@ -107,27 +49,66 @@ func (m *pluginManager) register(msgType messageType, instance messageUtil) erro
|
||||
return nil
|
||||
}
|
||||
|
||||
// GetMsgPlugin 获取消息队列插件
|
||||
func GetMsgPlugin(msgType messageType) (messageUtil, error) {
|
||||
defaultPluginManager.mu.RLock()
|
||||
instance, ok := defaultPluginManager.instances[msgType]
|
||||
defaultPluginManager.mu.RUnlock()
|
||||
|
||||
if !ok {
|
||||
return nil, fmt.Errorf("unsupported message type: %s", msgType)
|
||||
// RegisterPlugin 注册消息队列插件
|
||||
// 所有插件必须通过此方法注册,自动进行连接检测
|
||||
// 只有连接成功的插件才会被注册,连接失败的插件不会被注册
|
||||
// 异步无限重连,只有连接成功了才注册
|
||||
// name: 数据源名称,用于标识不同的连接实例
|
||||
func RegisterPlugin(ctx context.Context, name string, msgType messageType, factory configFactory) error {
|
||||
if factory == nil {
|
||||
g.Log().Errorf(ctx, "❌ factory cannot be nil")
|
||||
return fmt.Errorf("factory cannot be nil")
|
||||
}
|
||||
|
||||
return instance, nil
|
||||
// 开启异步连接,无限重试直到成功
|
||||
go func() {
|
||||
// 创建实例
|
||||
instance := factory()
|
||||
// 创建通知 channel
|
||||
pluginKey := fmt.Sprintf("%s-%s", msgType, name)
|
||||
if !instance.Ping(ctx) {
|
||||
// 使用统一的重连函数
|
||||
if err := commonConnect(ctx, msgType, name, func(ctx context.Context) error {
|
||||
return instance.Connect(ctx)
|
||||
}, func(ctx context.Context) error {
|
||||
return instance.Close(ctx)
|
||||
}); err != nil {
|
||||
g.Log().Errorf(ctx, "❌ [%s][%s] 连接失败: %v", msgType, name, err)
|
||||
return
|
||||
}
|
||||
}
|
||||
// 连接成功,注册插件
|
||||
defaultPluginManager.mu.Lock()
|
||||
defaultPluginManager.instances[messageType(pluginKey)] = instance
|
||||
defaultPluginManager.mu.Unlock()
|
||||
g.Log().Infof(ctx, "✅ [%s][%s] 插件注册成功", msgType, name)
|
||||
}()
|
||||
return nil
|
||||
}
|
||||
|
||||
// GetSupportedTypes 获取所有已注册的插件类型
|
||||
func GetSupportedTypes() []messageType {
|
||||
defaultPluginManager.mu.RLock()
|
||||
defer defaultPluginManager.mu.RUnlock()
|
||||
|
||||
types := make([]messageType, 0, len(defaultPluginManager.instances))
|
||||
for t := range defaultPluginManager.instances {
|
||||
types = append(types, t)
|
||||
}
|
||||
return types
|
||||
// GetMsgPlugin 获取消息队列插件(默认数据源),如果未注册则等待
|
||||
func GetMsgPlugin(ctx context.Context, msgType messageType) (messageUtil, error) {
|
||||
return GetMsgPluginWithName(ctx, msgType, "default")
|
||||
}
|
||||
|
||||
// GetMsgPluginWithName 获取指定数据源的消息队列插件,如果未注册则等待直到超时
|
||||
func GetMsgPluginWithName(ctx context.Context, msgType messageType, name string) (messageUtil, error) {
|
||||
pluginKey := fmt.Sprintf("%s-%s", msgType, name)
|
||||
|
||||
for {
|
||||
defaultPluginManager.mu.RLock()
|
||||
instance, ok := defaultPluginManager.instances[messageType(pluginKey)]
|
||||
defaultPluginManager.mu.RUnlock()
|
||||
|
||||
if ok {
|
||||
return instance, nil
|
||||
}
|
||||
|
||||
// 未注册,等待一段时间后重试
|
||||
select {
|
||||
case <-ctx.Done():
|
||||
return nil, fmt.Errorf("wait for plugin ready canceled: %s with datasource: %s", msgType, name)
|
||||
default:
|
||||
time.Sleep(3 * time.Second)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user