100 lines
3.4 KiB
Go
100 lines
3.4 KiB
Go
package job
|
||
|
||
import (
|
||
"context"
|
||
"model-gateway/model/dto"
|
||
"model-gateway/service/queue"
|
||
"os"
|
||
"time"
|
||
|
||
"model-gateway/dao"
|
||
|
||
"github.com/gogf/gf/v2/frame/g"
|
||
)
|
||
|
||
var Cleaner = &cleaner{}
|
||
|
||
type cleaner struct{}
|
||
|
||
// RunOnce 由上层定时任务触发：执行一次清理/重试
|
||
func (c *cleaner) RunOnce(ctx context.Context) (res *dto.CleanWorkRes, err error) {
|
||
// 1) 清理已下载(state=4)且过期的任务（硬删除 + OSS）
|
||
expired, err := dao.Task.ListExpiredDownloadedGlobal(ctx, 200)
|
||
if err != nil {
|
||
g.Log().Errorf(ctx, "[清理] 查询已下载过期任务失败: %v", err)
|
||
} else {
|
||
for _, t := range expired {
|
||
_ = os.Remove(t.TmpFile)
|
||
_ = dao.Task.HardDeleteByIDGlobal(ctx, t.Id)
|
||
}
|
||
g.Log().Infof(ctx, "[清理] 已下载过期任务清理完成, count=%d", len(expired))
|
||
}
|
||
|
||
// 2) 超时任务标失败
|
||
list, err := dao.Task.ListTimeoutTasksGlobal(ctx, 200)
|
||
if err != nil {
|
||
g.Log().Errorf(ctx, "[清理] 查询超时任务失败: %v", err)
|
||
} else {
|
||
for _, t := range list {
|
||
t.ErrorMsg = "任务超时自动失败"
|
||
_ = dao.Task.UpdateFailedGlobal(ctx, t)
|
||
queue.ReleaseQueueSlot(ctx, t.ModelName, t.TaskID)
|
||
}
|
||
g.Log().Infof(ctx, "[清理] 超时任务处理完成, count=%d", len(list))
|
||
}
|
||
|
||
// 3) 失败(state=3)的任务按模型配置 retry_times 重新入队（放到队尾）
|
||
retryable, err := dao.Task.ListFailedRetryableGlobal(ctx, 200)
|
||
if err != nil {
|
||
g.Log().Errorf(ctx, "[清理] 查询可重试任务失败: %v", err)
|
||
} else {
|
||
for _, t := range retryable {
|
||
// 失败任务重新入队（state=3 -> 0）前，先严格占用 queue_limit slot；占用失败则留在失败态，下一轮再尝试
|
||
// 获取模型配置以得到 queue_limit / expected_seconds
|
||
m, err := dao.Model.GetByModelNameForTenant(ctx, t.TenantId, t.ModelName)
|
||
if err != nil || m == nil {
|
||
continue
|
||
}
|
||
limit := queue.GetRuntimeQueueLimit(ctx, t.ModelName, m.MaxConcurrency*2)
|
||
if limit > 0 {
|
||
ok, _ := queue.AcquireQueueSlot(ctx, t.ModelName, t.TaskID, limit, m.TimeoutSeconds)
|
||
if !ok {
|
||
continue
|
||
}
|
||
}
|
||
// retry_queue_max_seconds 控制失败重试的排队策略：
|
||
// - =0：失败重试插队到队首
|
||
// - >0：当任务从创建到现在的排队时长 >= maxSeconds，则插队到队首；否则仍放到队尾
|
||
now := time.Now()
|
||
enqueueAt := now
|
||
maxSeconds := t.RetryQueueMaxSeconds
|
||
if maxSeconds == 0 {
|
||
enqueueAt = now.Add(-100 * 365 * 24 * time.Hour)
|
||
} else if maxSeconds > 0 && t.CreatedAt != nil {
|
||
if now.Sub(t.CreatedAt.Time) >= time.Duration(maxSeconds)*time.Second {
|
||
enqueueAt = now.Add(-100 * 365 * 24 * time.Hour)
|
||
}
|
||
}
|
||
_ = dao.Task.RequeueForRetryGlobal(ctx, t.Id, enqueueAt)
|
||
}
|
||
g.Log().Infof(ctx, "[清理] 可重试任务重新入队完成, count=%d", len(retryable))
|
||
}
|
||
|
||
// 4) 超过重试次数仍失败(state=3)的任务：硬删除
|
||
exhausted, err := dao.Task.ListFailedExhaustedGlobal(ctx, 200)
|
||
if err != nil {
|
||
g.Log().Errorf(ctx, "[清理] 查询重试耗尽任务失败: %v", err)
|
||
} else {
|
||
for _, t := range exhausted {
|
||
_ = os.Remove(t.TmpFile)
|
||
// 重试耗尽硬删除：释放闸门占位（兜底，若此前已释放则幂等）
|
||
queue.ReleaseQueueSlot(ctx, t.ModelName, t.TaskID)
|
||
_ = dao.Task.HardDeleteByIDGlobal(ctx, t.Id)
|
||
}
|
||
g.Log().Infof(ctx, "[清理] 重试耗尽任务清理完成, count=%d", len(exhausted))
|
||
}
|
||
return &dto.CleanWorkRes{
|
||
Ok: true,
|
||
}, nil
|
||
}
|