feat(mes): 实现袋码大批量生成异步任务功能

云

2 天以前 02a1ae81eba7b48223052fb833859f0a65dd7d21

 yudao-server/src/main/resources/application.yaml

@@ -1,3 +1,56 @@
# 种子标签与 H5 溯源页配置（各 profile 可覆盖）
# 注意：trace-base-url、operator-name、importer-name、imported 是二维码标签四要素相关的配置。
# 运行时这几项**优先取字典 mes_trace_config**（管理后台「字典管理」可改，改完无需重启），
# 此处配置退居为兜底默认值：字典未配置（或被禁用、或填了非法地址）时才生效。
# 非 local 环境下 trace-base-url 若为内网/占位符地址仍将拒绝启动——这道防线必须在数据库可用前生效。
mes:
  # 追溯网址兜底值（二维码内容前缀，形如 http://域名:端口/trace.html），需为公众扫码可访问的地址
  trace-base-url: http://localhost:48080/trace.html
  # 生产经营者名称兜底值（标签四要素之一，标签与溯源页统一取此值；未配置则无法导出标签）
  operator-name: ''
  # 进口商名称兜底值（进口种子场景填写；imported=true 时标签与溯源页展示进口商名称）
  importer-name: ''
  # 是否进口种子场景兜底值
  imported: false
  # 是否允许二维码编码纯码值（不带溯源 URL），仅供本地兼容历史码，生产环境必须为 false。
  # 该项有意不纳入字典：它是绕过「标签必须含追溯网址」的开关，不应开放给后台随意编辑。
  allow-plain-qr-code: false

  # 二维码批量导出：小批量同步秒出，大批量转后台任务（无数量上限）
  qr-export:
    # 同步/后台分界线（张）。不超过则同步下载，不排队、不校验 CPU，保证导几百张永远秒出
    sync-threshold: 2000
    # 提交后台任务时的系统 CPU 拒绝阈值（0~1），达到即拒绝新建任务
    cpu-reject-threshold: 0.80
    # 生成过程中的系统 CPU 节流阈值（0~1），达到即让出 CPU（降速但不中断任务）
    cpu-throttle-threshold: 0.85
    # 同时允许运行的后台导出任务数（仅约束大批量，小批量同步导出不受限）
    max-concurrent-tasks: 1
    # 单个后台任务最长运行时间（分钟），超时自动取消并清理
    max-runtime-minutes: 30
    # 临时 ZIP 保留时间（分钟）。分段下载及中断重试期间保留，到期后清理
    temp-file-retention-minutes: 60
    # 临时 ZIP 目录，留空则使用 ${java.io.tmpdir}/mes-qr-export
    temp-dir: ''

  # 袋码批量生成：小批量同步完成，大批量转后台任务并分段落库
  bag-code:
    generate:
      # 同步/后台分界线（袋码数）。不超过则请求线程内完成
      sync-threshold: 20000
      # 每段袋码/每批取码数量
      chunk-size: 5000
      # 同时允许运行的后台生成任务数
      max-concurrent-tasks: 1
      # 单次生成袋码上限
      max-task-count: 1000000
      # 单个后台任务最长运行时间（分钟），超时自动终止并清理
      max-runtime-minutes: 30
      # 前端轮询建议间隔（秒）
      poll-interval-seconds: 2
      # 半成品清理每轮删除行数
      cleanup-batch-size: 5000

spring:
  application:
    name: yudao-server
@@ -91,8 +144,10 @@

aj:
  captcha:
    jigsaw: classpath:images/jigsaw # 滑动验证，底图路径，不配置将使用默认图片；以 classpath: 开头，取 resource 目录下路径
    pic-click: classpath:images/pic-click # 滑动验证，底图路径，不配置将使用默认图片；以 classpath: 开头，取 resource 目录下路径
    # 注意：必须用 classpath*: 前缀。classpath: 通配扫描不了 jar 内目录，
    # fat jar 部署时底图在 BOOT-INF/lib/yudao-module-system-*.jar 内会扫描为空，导致 /captcha/get 报 6113
    jigsaw: classpath*:images/jigsaw # 滑动验证，底图路径，不配置将使用默认图片；以 classpath 开头，取 resource 目录下路径
    pic-click: classpath*:images/pic-click # 文字点选，底图路径，不配置将使用默认图片；以 classpath 开头，取 resource 目录下路径
    cache-type: redis # 缓存 local/redis...
    cache-number: 1000 # local 缓存的阈值,达到这个值，清除缓存
    timing-clear: 180 # local定时清除过期缓存(单位秒),设置为0代表不执行
@@ -137,15 +192,6 @@
spring:
  ai:
    vectorstore: # 向量存储
      redis:
        initialize-schema: true
        index-name: knowledge_index # Redis 中向量索引的名称：用于存储和检索向量数据的索引标识符，所有相关的向量搜索操作都会基于这个索引进行
        prefix: "knowledge_segment:" # Redis 中存储向量数据的键名前缀：这个前缀会添加到每个存储在 Redis 中的向量数据键名前，每个 document 都是一个 hash 结构
      qdrant:
        initialize-schema: true
        collection-name: knowledge_segment # Qdrant 中向量集合的名称：用于存储向量数据的集合标识符，所有相关的向量操作都会在这个集合中进行
        host: 127.0.0.1
        port: 6334
      milvus:
        initialize-schema: true
        database-name: default # Milvus 中数据库的名称
@@ -155,24 +201,6 @@
          port: 19530
    model:
      rerank: false # 是否开启 Rerank 模型
    mcp:
      server:
        enabled: false
        name: yudao-mcp-server
        version: 1.0.0
        instructions: 一个 MCP 示例服务
        sse-endpoint: /sse
      client:
        enabled: false
        name: mcp
        sse:
          connections:
            filesystem:
              url: http://127.0.0.1:8089
              sse-endpoint: /sse
        annotation-scanner:
          enabled: false # TODO @芋艿：有 bug https://github.com/spring-projects/spring-ai/issues/4917 需要官方修复

yudao:
  ai:
    web-search: