Commit Graph

82 Commits

Author SHA1 Message Date
Liu
c3830d905e 优化微信同步超时兜底并下沉头像缓存预热
- 为 Msg/Sync 增加超时异常与主循环重试保护,避免启动阶段超时直接退出\n- 新增联系人头像缓存系统定时任务,启动时不再主动批量下载头像\n- 保留头像按需补下载能力,并补充详细中文注释
2026-05-01 12:24:27 +08:00
liuwei
b2d900070c 完善数据层慢SQL观测与消息查询优化
- 为数据库公共层增加慢 SQL 阈值配置与统一耗时日志记录

- 为消息表补充群成员回溯、群类型过滤和待处理媒体扫描等关键索引

- 将多处按日期查询改为时间范围查询,减少 DATE(timestamp) 导致的索引失效

- 修正消息存储层重复定义的日期范围方法,并更新工程优化文档中的 7.4 当前进展
2026-04-30 16:32:34 +08:00
liuwei
d09ccb788c 修复Dashboard消息存储查询接口兼容问题 2026-04-27 12:03:22 +08:00
liuwei
62e6f67836 持久化表情中文语义资产\n\n- 新增 t_emoji_assets 表及迁移脚本,持久化保存表情发送参数、中文语义与预览图路径\n- 在消息归档与媒体补偿流程中自动回填表情资产,实现收到表情即落语义、补图后回填预览\n- 后台表情库与自动回复优先读取持久化表情资产,仅在空表场景下小范围回补历史数据 2026-04-27 11:52:31 +08:00
liuwei
623ca505d4 打通自动回复与表情语义库联动\n\n- 新增表情语义解析与表情资产查询模块,支持从历史表情中提取可读中文语义\n- 为 ai_auto_response 增加短回复表情匹配器,命中语义时优先发送表情并支持失败回退文本\n- 调整自动回复提示词与配置项,强化短情绪回复场景的表情替换能力 2026-04-27 11:40:44 +08:00
liuwei
4dbf390c65 将通讯录刷新与头像缓存同步改为异步处理 2026-04-27 09:30:21 +08:00
liuwei
711213ded8 补充头像缓存同步与清理调试日志 2026-04-27 09:19:56 +08:00
liuwei
5da6514020 增加头像缓存旧文件清理机制 2026-04-27 09:16:16 +08:00
liuwei
e573fd9c37 优化社交图展示并为通讯录接入本地头像缓存 2026-04-27 09:13:01 +08:00
liuwei
d64d11a384 将@关系批处理业务迁移到 value_rank 插件
- 从 MessageStorageDB 移除@抽取与社交图写入逻辑,消息层仅保留归档职责

- 从系统级任务移除 process_pending_mentions,取消 message_to_db 中对应入口

- 在 value_rank 插件新增定时动作 value_rank_mentions_extract(每10分钟)

- 在插件内实现窗口化批处理(默认10~20分钟前)、@提取、幂等写入明细/边表/日汇总及 unique_interactors 回填

- 新增插件侧可配置参数 mention_batch_size / mention_window_start_minutes / mention_window_end_minutes
2026-04-21 14:10:25 +08:00
liuwei
78adab65b2 增强@批处理执行日志,提升可观测性
- 增加定时@抽取任务开始/结束日志,输出窗口参数、处理条数与耗时

- 在DB批处理层记录查询命中、前3条样本明细、失败样本ID,便于快速排障

- 增加窗口参数异常修正日志,避免误配置导致行为不可见

- 在社交图增量写入处增加跳过/完成日志,明确是否产生新增@关系
2026-04-21 13:58:16 +08:00
liuwei
1ddc1dcf18 优化@批处理窗口:每10分钟仅处理10-20分钟前消息
- 调整待抽取@查询逻辑:默认仅扫描 timestamp 在 [NOW-20m, NOW-10m) 的消息

- 保留 mentioned_user_ids 为空才处理的条件,处理过自动跳过

- 更新 MessageStorage 与系统任务调用参数,统一使用窗口化批处理配置

- 增加窗口参数兜底修正,避免错误配置导致全量扫描
2026-04-21 13:54:41 +08:00
liuwei
906f0905df 将@抽取与社交图写入改为定时批处理
- 精简 archive_message 主链路:仅做消息归档,不再同步执行@解析与社交统计

- 新增 MessageStorageDB.process_pending_mentions 批处理能力,按批次回填 mentioned_user_ids 并写入社交图

- 新增系统任务 process_pending_mentions,每10分钟执行一次(every_seconds=600)

- 增加幂等保护:基于 t_message_mentions 已有记录过滤新增@关系,避免重复累加社交边和热度

- 保留详细中文注释,说明性能优化目标与批处理策略
2026-04-21 13:51:56 +08:00
liuwei
7df4bd216f feat: gate media downloads by group and retry douyu checks 2026-04-13 15:53:34 +08:00
liuwei
7ee5ba93ab fix: support spaced emoji media attributes 2026-04-13 12:21:06 +08:00
liuwei
ada1b656e0 feat: dedupe and schedule emoji media downloads 2026-04-13 12:06:58 +08:00
liuwei
0f0acc1729 feat(message_summary): add group overview stats section 2026-04-13 09:18:44 +08:00
liuwei
ff421a1b4b Revert "Reapply "完善表情资产后台能力并补充群总结落库""
This reverts commit 079f363382.
2026-04-03 08:52:59 +08:00
liuwei
8206cad38d Revert "优化表情异步补处理的参数提取与下载重试"
This reverts commit 4d2e841fb3.
2026-04-03 08:52:59 +08:00
liuwei
4d2e841fb3 优化表情异步补处理的参数提取与下载重试
- 对表情 XML 先做 HTML 实体还原,避免下载地址中的 & 影响请求
- 优先使用 XML 节点提取 aeskey、md5、len 和多种下载地址,正则作为补充兜底
- 异步补处理时按 encrypturl、cdnurl、thumburl 顺序重试下载
- 所有地址失败时记录业务告警,避免无意义异常栈刷屏
2026-04-03 08:46:30 +08:00
liuwei
079f363382 Reapply "完善表情资产后台能力并补充群总结落库"
This reverts commit 57bb46bb21.
2026-04-02 17:55:21 +08:00
liuwei
57bb46bb21 Revert "完善表情资产后台能力并补充群总结落库"
This reverts commit 2a54650a6f.
2026-04-02 17:54:35 +08:00
liuwei
2a54650a6f 完善表情资产后台能力并补充群总结落库
- 新增表情资产表,支持表情文件落盘后的资产沉淀、查询与发送时间回写
- 将表情下载从消息主链路中移出,改为后台定时批处理,降低同步入库阻塞风险
- 抽取通用 CDN 下载与 base64 落盘能力,统一图片与表情文件处理方式
- 在后台通讯录聊天窗口增加表情资产面板,支持查看资产并直接选择发送表情
- 新增后台表情资产接口,支持按群过滤最近表情素材
- 优化消息列表中的表情消息展示,支持在后台直接预览表情图片
- 启动时不再同步补偿历史表情,统一交由定时任务处理,避免影响系统稳定性
- 新增群总结落库表,支持将每日总结写入数据库,便于后续知识库提取与复用
- 将定时总结结果写入数据库,保留总结文本、周期信息、消息数量和元数据
2026-04-02 17:52:17 +08:00
liuwei
cd561bbbf9 优化输出内容 2026-02-10 16:31:08 +08:00
liuwei
6d894a570a 拉长总结时间 2026-02-05 11:27:10 +08:00
liuwei
9e81e7e035 加入斗鱼开播下播提醒 2026-01-22 17:15:19 +08:00
liuwei
6629479a66 添加活跃时间 2026-01-19 16:42:41 +08:00
liuwei
99de72a0fb 将群成员离开群聊改为逻辑删除。 2026-01-19 16:34:50 +08:00
liuwei
94aaa1aae5 优化更新的逻辑,减少数据变更项 2026-01-19 15:54:46 +08:00
liuwei
b62fc929f8 优化更新的逻辑,减少数据变更项 2026-01-19 15:50:34 +08:00
liuwei
63943f73ba 添加成员变更提醒。 2026-01-19 15:37:43 +08:00
liuwei
79d174649b 调整日志级别 2026-01-16 13:29:52 +08:00
liuwei
edc63fad0a 调整总结业务。支持每天早上9点总结昨天的消息 2026-01-09 14:51:27 +08:00
liuwei
b39e93fead 尝试进行总结优化 2026-01-06 16:11:10 +08:00
liuwei
93fb180f14 尝试进行总结优化 2026-01-06 16:09:10 +08:00
liuwei
491c0d16fb 尝试进行总结优化 2026-01-06 16:02:00 +08:00
liuwei
1f50ea2df1 调整图片下载逻辑,定时任务5分钟一次进行图片消息下载存档。 2025-12-30 09:13:43 +08:00
liuwei
285b4ad566 调整图片下载逻辑,定时任务5分钟一次进行图片消息下载存档。 2025-12-30 09:11:10 +08:00
liuwei
15c5971cef 调整图片下载逻辑,定时任务5分钟一次进行图片消息下载存档。 2025-12-30 09:01:28 +08:00
liuwei
ec7ec1c363 尝试优化更新内容 2025-12-29 17:52:30 +08:00
liuwei
b515486fa9 尝试优化更新内容 2025-12-29 17:47:07 +08:00
liuwei
ad98fe6d77 图片保存性能优化 2025-12-25 17:41:54 +08:00
liuwei
4986ec7957 优化图片下载保存逻辑.防止写库太大 2025-12-25 17:20:24 +08:00
liuwei
57c6a0d234 加入了级别功能。 2025-11-14 15:16:56 +08:00
liuwei
2eb85c228a 调整定时任务,去除无效发送内容 2025-08-20 16:13:56 +08:00
liuwei
f9e53ca964 使用缓存通讯录内容,优化性能 2025-06-11 17:01:32 +08:00
liuwei
60543bedc7 去除无效代码 2025-05-28 16:23:28 +08:00
liuwei
b0051dc97d 优化联系人信息,解决总结时使用了其他群的备注信息 2025-05-28 15:38:26 +08:00
liuwei
6c9b99afcf 优化联系人信息,解决总结时使用了其他群的备注信息 2025-05-28 15:33:23 +08:00
liuwei
6adef5277b 分开个人好友和群好友 2025-05-26 16:43:31 +08:00