Commit Graph

248 Commits

Author SHA1 Message Date
liuwei
23d2f2562e 启用md2img强保活模式:移除浏览器主动关闭逻辑
1. safe_close_browser 改为保活模式下直接返回,不执行 browser.close\n2. 去除 safe_close_browser 中的 terminate/kill 进程树逻辑\n3. 保留函数签名与调用链,确保现有流程兼容\n4. 增加中文注释说明长期常驻场景下的设计意图
2026-04-17 11:46:35 +08:00
liuwei
cc5c49954f 调整md2img保活策略:取消截图后立即重建,改为心跳确认后再自愈
1. 去除截图后探测失败即刻 restart_browser 的逻辑\n2. 改为仅记录告警并推进断连计数,交由心跳任务统一确认后重建\n3. 保留截图失败时的重试重建能力,避免功能不可用\n4. 增加详细中文注释,明确保活优先与误判抑制设计
2026-04-17 11:44:28 +08:00
liuwei
02e34960d3 优化md2img浏览器健康探测,减少截图后误判断连重建
1. _is_browser_alive 增加短重试机制,避免单次瞬时失败被判定为断连\n2. 截图后健康检查由单次探测改为多次探测(超时与间隔可控)\n3. 保留真实断连自动重建能力,但降低误触发概率\n4. 补充详细中文注释,说明探测策略与设计意图
2026-04-17 11:27:27 +08:00
liuwei
1cf2cfd6e3 修复md2img运行时并发单例问题,避免预热双启动日志 2026-04-17 10:28:35 +08:00
liuwei
3d98b3c0a2 修复转图运行时重复启动与高频误重建问题
变更项:\n1. 修复 md2img 运行时并发启动竞争,新增启动中标记,避免同名线程被重复拉起。\n2. 优化浏览器心跳探测策略:由高频激进重建改为断连连续判定后再重建,降低误判。\n3. 新增截图进行中保护,截图期间心跳跳过探测,避免与业务并发导致误重建。\n4. 为浏览器重建增加 reason 日志字段,便于线上追踪重建触发原因。\n5. 保留截图后断连自愈能力,但改为更稳健的触发路径,减少无意义重建。
2026-04-17 10:26:10 +08:00
liuwei
97bc4560b6 增强转图浏览器保活:截图后探活并自动重建,增加后台心跳巡检 2026-04-17 10:14:04 +08:00
liuwei
2a87863d9c 修复转图任务返回时序误判:等待runtime任务完成后再返回,避免先报失败后截图 2026-04-17 10:12:15 +08:00
liuwei
c49f5e509c 新增转图运行时健康监控与手动预热
变更项:\n1. 在 markdown_to_image 增加 get_md2img_health_snapshot 健康快照能力,输出 runtime 线程、事件循环、浏览器连接、启动来源与 PID 状态。\n2. 新增系统接口 GET /api/system/md2img_health,支持后台查询转图运行时健康信息。\n3. 新增系统接口 POST /api/system/md2img_warmup,支持后台手动触发转图预热并返回最新状态。\n4. 在资源监控页面接入转图健康状态条,展示运行时在线状态、浏览器连接状态及关键摘要信息。\n5. 在资源监控页面增加转图预热与状态刷新按钮,便于线上快速自愈与排障。\n6. 补充中文注释与错误提示,保持后端与前端可观测性一致。
2026-04-17 10:04:18 +08:00
liuwei
5a84c60b2c 统一转图为单运行时常驻浏览器
变更项:\n1. 新增 md2img 专用运行时(独立线程 + 单事件循环),确保浏览器生命周期只在一个 loop 内维护。\n2. 新增运行时任务投递与异步等待封装,支持任意调用方线程/loop 统一提交截图任务。\n3. 调整浏览器预热逻辑:预热改为在 md2img 专用运行时执行,避免预热与业务截图分属不同 loop。\n4. 调整 html_to_image:统一在专用运行时内完成截图,彻底规避跨事件循环复用导致的重建。\n5. 增强中文注释与运行日志,便于定位 runtime loop 与预热状态。
2026-04-17 10:00:25 +08:00
liuwei
3b9bd02b5f 修复转图浏览器预热跨事件循环失效问题
变更项:\n1. 新增 async_job 启动钩子能力 add_startup_job,在调度器事件循环中执行一次性初始化任务。\n2. 将 main.py 的 Markdown 转图预热从独立线程改为调度器 loop 内执行,确保预热实例可被后续任务复用。\n3. 增强 markdown_to_image 常驻浏览器管理:记录 owner loop、检测跨 loop 复用并自动重建。\n4. 补充预热与常驻浏览器日志,输出 loop 标识和浏览器 PID,便于线上排查进程状态。\n5. 保持现有转图超时与重试逻辑不变,仅修复预热生效链路与可观测性。
2026-04-17 09:55:03 +08:00
liuwei
3226fabcec 新增定时任务重启漏执行补偿机制
变更项:1) 系统任务与插件调度重载后基于应执行时间和执行日志对账,判定是否漏执行。2) 仅在应执行时间已过且日志未覆盖时补跑一次,避免重复补偿。3) system_job_db 与 plugin_schedule_db 新增 get_latest_log_time 查询。4) 增加容差窗口与中文注释,降低误判概率。
2026-04-17 09:38:15 +08:00
liuwei
6af91756d3 支持服务启动后自动预热转图浏览器
变更项:1) markdown_to_image 新增预热方法 warmup_md2img_browser/warmup_md2img_browser_sync,用于提前拉起常驻浏览器。2) main.py 启动流程新增后台预热线程,服务启动后自动执行转图浏览器预热。3) 预热失败仅记录日志不阻塞主服务,运行期仍可按需自动重建浏览器。4) 补充中文注释说明预热目的与降级策略。
2026-04-17 09:28:36 +08:00
liuwei
f90c0720b3 实现转图浏览器常驻复用并支持失败自动重建
变更项:1) 新增常驻浏览器管理器,避免每次截图都冷启动 Chromium。2) 截图流程改为复用同一 Browser,每次仅创建并关闭 context/page,提升稳定性与性能。3) 增加浏览器失联检测与自动重建机制,截图失败后重建一次并重试。4) 保留多候选浏览器启动策略(system/playwright-cache/bundled),并输出准确来源日志。5) 补充中文注释,明确常驻设计目标与故障恢复逻辑。
2026-04-17 09:26:23 +08:00
liuwei
43c334354f 增强转图浏览器启动健壮性并修正日志来源标识
变更项:1) html_to_image 改为候选浏览器逐个尝试启动,避免单一路径失败导致整体异常。2) Linux 增加系统浏览器路径探测(google-chrome/chromium)并保留 Playwright 缓存路径作为候选。3) 修正启动日志来源标识,区分 system 与 playwright-cache,避免误判。4) 所有候选失败时自动回退到 bundled 浏览器,提高转图成功率。
2026-04-17 09:18:02 +08:00
liuwei
55c3b951d5 修复群总结转图假死:增加阶段进度日志与超时保护
变更项:1) 移除图片渲染前截断,保持完整内容转图。2) 群总结转图增加总超时,超时后快速降级文本,避免任务长期阻塞。3) markdown_to_image 增加每10秒进度心跳日志,定位卡在 markdown_to_html 或 html_to_image。4) 分阶段超时与阶段开始日志完善,解决无错误无进度的问题。
2026-04-17 09:16:26 +08:00
liuwei
879e64fb7c 修复插件定时任务星期与时间格式显示问题
变更项:1) async_job 触发文案把每周数字改为中文星期(周一到周日),消除星期显示歧义。2) async_job 时间序列化改为 yyyy-MM-dd HH:mm:ss,去掉 ISO 格式中的 T。3) 插件定时任务页面统一使用 formatDateTime 渲染下次执行、上次执行与日志触发时间,前端兜底去除 T。4) 补充中文注释说明显示层与调度层格式化意图。
2026-04-16 17:41:53 +08:00
liuwei
1a1306ec71 系统定时任务日志持久化:新增入库与后台查询
- 新增系统任务日志表 t_system_job_logs,持久化记录每次执行结果、摘要、耗时、详情JSON\n- SystemJobLoader 注册任务时增加执行包装器:成功/失败均写入数据库日志,失败后继续抛出保证运行态状态一致\n- 系统任务后台日志接口改为查询数据库日志(不再依赖仅内存的 async_job logs),解决重启后日志丢失问题\n- 保持前端日志字段兼容,接口返回映射为 time/level/message 结构
2026-04-16 16:27:53 +08:00
liuwei
3873596399 修复:系统任务重载日志NameError
- 修复 utils/system_jobs.py 中 logger 未定义导致的启动异常\n- 补回 loguru.logger 导入,确保无处理器任务打印 warning 时不会抛错\n- 已执行 py_compile 校验通过
2026-04-16 16:18:52 +08:00
liuwei
9652c2594e 系统业务任务插件化迁移:下沉7项非刚需任务并接入平滑迁移
- 系统任务保留刚需三项:登录巡检、消息计数入库、媒体补偿处理;移除新闻/Epic/排行/PDF/秀人维护等业务型系统任务定义\n- 新增 daily_news、epic_free、daily_ranking、sehuatang_push 四个插件,将原系统业务任务改为插件可调度动作\n- 扩展 xiuren_image 插件调度动作,新增秀人下载、绅士R15下载、图片缓存更新三项维护任务\n- 新增系统任务到插件任务的幂等迁移逻辑:按旧 job_key 映射到插件 action,同步 trigger_type/trigger_config/enabled,并通过 payload 标记防止反复覆盖\n- 在 Robot 启动流程中接入迁移执行与重载,并清理已迁移的历史系统任务记录,避免后台双份维护\n- 扩展插件调度数据库操作:支持按 plugin_name + action_key 精确查询,便于迁移与对账
2026-04-16 16:05:59 +08:00
liuwei
014985ac4a feat(plugin-schedule): add DB-driven plugin scheduler and xiuren scheduled push 2026-04-16 15:24:23 +08:00
liuwei
9d6609990b fix(schedule): reseed default system jobs before DB reload 2026-04-16 14:57:51 +08:00
liuwei
66a9b7c4a3 feat(schedule): move system jobs to DB-driven config and dashboard management 2026-04-16 14:54:23 +08:00
liuwei
f0414e0dff feat(plugin): support auto bot injection and file-based hot reload 2026-04-16 13:54:56 +08:00
liuwei
28e038a25c member_context: split daily weekly monthly digest scheduling 2026-04-14 10:53:46 +08:00
liuwei
7df4bd216f feat: gate media downloads by group and retry douyu checks 2026-04-13 15:53:34 +08:00
liuwei
7ee5ba93ab fix: support spaced emoji media attributes 2026-04-13 12:21:06 +08:00
liuwei
ada1b656e0 feat: dedupe and schedule emoji media downloads 2026-04-13 12:06:58 +08:00
liuwei
b10ec3493a feat(message_summary): beautify overview stats pills 2026-04-13 09:54:42 +08:00
liuwei
0f0acc1729 feat(message_summary): add group overview stats section 2026-04-13 09:18:44 +08:00
liuwei
5e80287530 切换到dify,还是不要直连,dify更方便 2026-04-10 16:41:14 +08:00
liuwei
aecb62cb4d refactor: centralize llm backend configuration 2026-04-08 13:43:41 +08:00
liuwei
66f4a3e604 feat(douyu): add daily danmu report pipeline 2026-04-08 13:17:29 +08:00
liuwei
1671bea3a3 fix: fallback quoted image lookup by md5 2026-04-07 17:58:34 +08:00
liuwei
238e478f52 fix: reuse referenced message media in dashboard quotes 2026-04-07 17:44:15 +08:00
liuwei
867f00435c feat: improve quoted message rendering in dashboard 2026-04-07 17:35:03 +08:00
liuwei
51fe971cda feat(ai): clean reasoning content from replies 2026-04-07 09:23:48 +08:00
liuwei
ff421a1b4b Revert "Reapply "完善表情资产后台能力并补充群总结落库""
This reverts commit 079f363382.
2026-04-03 08:52:59 +08:00
liuwei
8206cad38d Revert "优化表情异步补处理的参数提取与下载重试"
This reverts commit 4d2e841fb3.
2026-04-03 08:52:59 +08:00
liuwei
4d2e841fb3 优化表情异步补处理的参数提取与下载重试
- 对表情 XML 先做 HTML 实体还原,避免下载地址中的 & 影响请求
- 优先使用 XML 节点提取 aeskey、md5、len 和多种下载地址,正则作为补充兜底
- 异步补处理时按 encrypturl、cdnurl、thumburl 顺序重试下载
- 所有地址失败时记录业务告警,避免无意义异常栈刷屏
2026-04-03 08:46:30 +08:00
liuwei
079f363382 Reapply "完善表情资产后台能力并补充群总结落库"
This reverts commit 57bb46bb21.
2026-04-02 17:55:21 +08:00
liuwei
57bb46bb21 Revert "完善表情资产后台能力并补充群总结落库"
This reverts commit 2a54650a6f.
2026-04-02 17:54:35 +08:00
liuwei
2a54650a6f 完善表情资产后台能力并补充群总结落库
- 新增表情资产表,支持表情文件落盘后的资产沉淀、查询与发送时间回写
- 将表情下载从消息主链路中移出,改为后台定时批处理,降低同步入库阻塞风险
- 抽取通用 CDN 下载与 base64 落盘能力,统一图片与表情文件处理方式
- 在后台通讯录聊天窗口增加表情资产面板,支持查看资产并直接选择发送表情
- 新增后台表情资产接口,支持按群过滤最近表情素材
- 优化消息列表中的表情消息展示,支持在后台直接预览表情图片
- 启动时不再同步补偿历史表情,统一交由定时任务处理,避免影响系统稳定性
- 新增群总结落库表,支持将每日总结写入数据库,便于后续知识库提取与复用
- 将定时总结结果写入数据库,保留总结文本、周期信息、消息数量和元数据
2026-04-02 17:52:17 +08:00
liuwei
63448eb28c fix: restore markdown-based summary hero extraction 2026-03-21 15:12:37 +08:00
liuwei
bbbfa32263 style: enhance summary hero section 2026-03-21 14:18:03 +08:00
liuwei
d5619db571 perf: improve markdown image rendering 2026-03-21 13:38:03 +08:00
liuwei
839d351d18 style: optimize summary image rendering 2026-03-21 12:33:54 +08:00
liuwei
93871417f8 总结优化 2026-03-11 11:49:54 +08:00
liuwei
cfabd169fb 总结优化 2026-03-11 11:32:27 +08:00
liuwei
55ded6a2c2 优化一下 markdown_to_image.py 2026-02-27 10:02:24 +08:00
liuwei
cd561bbbf9 优化输出内容 2026-02-10 16:31:08 +08:00