48 Commits

Author	SHA1	Message	Date
liuwei	19411d19c8	修复后台聊天表情发送易卡住问题\n\n- 将后台表情发送改为异步提交，避免请求线程同步等待导致卡住\n- 增加按 md5 反查历史表情 total_length 的兜底逻辑\n- 为 SendEmoji 增加超时与详细日志，便于定位接口无响应问题	2026-04-27 11:21:11 +08:00
liuwei	d0480691c3	修复最近上下文只取到当前消息的问题	2026-04-24 15:37:37 +08:00
liuwei	d64d11a384	将@关系批处理业务迁移到 value_rank 插件 ... - 从 MessageStorageDB 移除@抽取与社交图写入逻辑，消息层仅保留归档职责 - 从系统级任务移除 process_pending_mentions，取消 message_to_db 中对应入口 - 在 value_rank 插件新增定时动作 value_rank_mentions_extract（每10分钟） - 在插件内实现窗口化批处理（默认10~20分钟前）、@提取、幂等写入明细/边表/日汇总及 unique_interactors 回填 - 新增插件侧可配置参数 mention_batch_size / mention_window_start_minutes / mention_window_end_minutes	2026-04-21 14:10:25 +08:00
liuwei	78adab65b2	增强@批处理执行日志，提升可观测性 ... - 增加定时@抽取任务开始/结束日志，输出窗口参数、处理条数与耗时 - 在DB批处理层记录查询命中、前3条样本明细、失败样本ID，便于快速排障 - 增加窗口参数异常修正日志，避免误配置导致行为不可见 - 在社交图增量写入处增加跳过/完成日志，明确是否产生新增@关系	2026-04-21 13:58:16 +08:00
liuwei	1ddc1dcf18	优化@批处理窗口：每10分钟仅处理10-20分钟前消息 ... - 调整待抽取@查询逻辑：默认仅扫描 timestamp 在 [NOW-20m, NOW-10m) 的消息 - 保留 mentioned_user_ids 为空才处理的条件，处理过自动跳过 - 更新 MessageStorage 与系统任务调用参数，统一使用窗口化批处理配置 - 增加窗口参数兜底修正，避免错误配置导致全量扫描	2026-04-21 13:54:41 +08:00
liuwei	906f0905df	将@抽取与社交图写入改为定时批处理 ... - 精简 archive_message 主链路：仅做消息归档，不再同步执行@解析与社交统计 - 新增 MessageStorageDB.process_pending_mentions 批处理能力，按批次回填 mentioned_user_ids 并写入社交图 - 新增系统任务 process_pending_mentions，每10分钟执行一次（every_seconds=600） - 增加幂等保护：基于 t_message_mentions 已有记录过滤新增@关系，避免重复累加社交边和热度 - 保留详细中文注释，说明性能优化目标与批处理策略	2026-04-21 13:51:56 +08:00
liuwei	0dc55297bb	增强社交统计并扩展 value_rank 社交榜单命令 ... - 在消息入库增量链路中回填 unique_interactors，实现去重互动人数实时更新 - 新增社交热度榜命令：社交热度榜 [名次]，按互动分/被@/主动@展示 - 新增搭子榜命令：搭子榜 [名次]，按无向关系边聚合展示成员组合 - 扩展 ValueRankDB 查询接口，支持社交热度与搭子关系窗口聚合 - 同步更新 value_rank 配置命令列表与帮助文案	2026-04-21 13:45:44 +08:00
liuwei	32c9f3f035	接通 @ 社交图增量写入链路 ... - 在消息归档后自动写入 t_message_mentions 明细表（INSERT IGNORE 防重复） - 在消息归档后自动写入 t_social_edges_daily 日边表（ON DUPLICATE KEY 累加） - 同步更新 t_value_rank_social_daily 的被@次数与主动@次数，供 value_rank 直接消费 - 优化 @ 提取函数：返回去重列表，并统一过滤 @所有人 与自己@自己 - 保持主链路稳定：社交图写入失败不影响消息归档成功	2026-04-21 13:37:15 +08:00
liuwei	2730595a88	完善 value_rank 社交图设计并落地 @ 结构化存储 ... - messages 表新增 mentioned_user_ids 字段设计，使用 JSON 数组字符串存储被@用户清单 - 新增社交图相关表设计：t_message_mentions、t_social_edges_daily、t_value_rank_social_daily - 增加迁移脚本 20260421_add_mentions_and_social_graph_tables.sql，支持现网平滑升级 - 改造 MessageStorageDB 入库流程：解析 msg_source.atuserlist 并写入 mentioned_user_ids - 更新 value_rank README：补充社交图数据链路、可产出图表及实现说明	2026-04-21 13:34:19 +08:00
liuwei	dfa17c5f95	为 messages 表增加 raw_payload 并落盘完整原始消息 ... - 在 messages 表结构中新增 raw_payload LONGTEXT 字段（init.sql） - 新增数据库迁移脚本 20260421_add_raw_payload_to_messages.sql，支持现网平滑加列 - 改造 MessageStorageDB.archive_message：优先写入 raw_payload，若旧库未加列自动回退旧 SQL - 新增 _serialize_raw_payload 序列化逻辑，按要求保存完整消息信息且不做脱敏 - 增加详细中文注释，说明设计目的与兼容策略	2026-04-21 13:26:57 +08:00
liuwei	ee5c1ebadc	只用表情 XML 里的 md5 + len/totallen 作为发送参数。 ... 不再用图片文件大小、文件名等回退逻辑去“猜参数”。 发送接口不再“先返回发送中”，而是直接调用 SendEmoji 并等待结果： 成功才返回 表情发送成功 失败直接返回具体错误（不会再假成功）	2026-04-15 11:36:22 +08:00
liuwei	47f8bd5717	改动结果： ... 聊天窗口工具栏新增了“表情”按钮，打开表情库弹窗。 表情库会从历史“已下载落盘的表情消息”里自动聚合。 选中后直接通过 send_emoji_message(wxid, md5, total_length) 发原生表情，不是当普通图片发。 仍保持你现在的发送通道和聊天刷新逻辑。 主要改动文件： 后端接口与发送支持：contacts.py 表情资源查询：message_storage.py 前端表情面板与发送交互：contacts_management.html 新增接口： GET /contacts/api/emojis：返回聚合后的表情库（md5、total_length、预览图）。 POST /contacts/api/send_message 新增 type=emoji。 我也做了 Python 语法检查，相关后端文件都通过了。 你可以直接在聊天弹窗里点“表情”试一下。如果表情库为空，通常是该群还没落盘到 image_path，让媒体下载功能先抓几条表情就会出现。	2026-04-15 11:21:32 +08:00
liuwei	7df4bd216f	feat: gate media downloads by group and retry douyu checks	2026-04-13 15:53:34 +08:00
liuwei	ada1b656e0	feat: dedupe and schedule emoji media downloads	2026-04-13 12:06:58 +08:00
liuwei	9698f9577f	feat: revamp contacts chat workspace	2026-04-13 11:47:34 +08:00
liuwei	ec6c1308db	feat: add group detail dashboard insights	2026-04-13 11:04:20 +08:00
liuwei	0f0acc1729	feat(message_summary): add group overview stats section	2026-04-13 09:18:44 +08:00
liuwei	1671bea3a3	fix: fallback quoted image lookup by md5	2026-04-07 17:58:34 +08:00
liuwei	238e478f52	fix: reuse referenced message media in dashboard quotes	2026-04-07 17:44:15 +08:00
liuwei	acf3177571	use latest group image for xiaoniu image followups	2026-04-07 14:00:08 +08:00
liuwei	ff421a1b4b	Revert "Reapply "完善表情资产后台能力并补充群总结落库"" ... This reverts commit 079f363382.	2026-04-03 08:52:59 +08:00
liuwei	079f363382	Reapply "完善表情资产后台能力并补充群总结落库" ... This reverts commit 57bb46bb21.	2026-04-02 17:55:21 +08:00
liuwei	57bb46bb21	Revert "完善表情资产后台能力并补充群总结落库" ... This reverts commit 2a54650a6f.	2026-04-02 17:54:35 +08:00
liuwei	2a54650a6f	完善表情资产后台能力并补充群总结落库 ... - 新增表情资产表，支持表情文件落盘后的资产沉淀、查询与发送时间回写 - 将表情下载从消息主链路中移出，改为后台定时批处理，降低同步入库阻塞风险 - 抽取通用 CDN 下载与 base64 落盘能力，统一图片与表情文件处理方式 - 在后台通讯录聊天窗口增加表情资产面板，支持查看资产并直接选择发送表情 - 新增后台表情资产接口，支持按群过滤最近表情素材 - 优化消息列表中的表情消息展示，支持在后台直接预览表情图片 - 启动时不再同步补偿历史表情，统一交由定时任务处理，避免影响系统稳定性 - 新增群总结落库表，支持将每日总结写入数据库，便于后续知识库提取与复用 - 将定时总结结果写入数据库，保留总结文本、周期信息、消息数量和元数据	2026-04-02 17:52:17 +08:00
liuwei	78ab3e65c2	完善成员画像插件的日/周/月分层提取与已结束日期处理逻辑 ... - 将成员画像能力进一步收敛到插件内部，强化按群启用、后台异步刷新、后台查看的完整链路 - 新增群维度按日批量提取能力：以群为单位按天处理一次，统一提取当天活跃成员的日级画像摘要 - 日级画像输出扩展为更适合长期累计的结构化信号，补充身份线索、技能信号、家庭线索、阶段线索、价值偏好、群内角色、决策风格等字段 - 优化提示词设计，明确要求优先提取可复用、可累计、可验证的行为线索，减少一次性情绪和短期噪声对长期画像的干扰 - 打通日 -> 周 -> 月 -> 最终画像 的分层汇总链路，让后续月度画像直接消费日/周级结构化摘要，而不是重复回扫长窗口原始消息 - 新增/完善画像融合策略：identity_traits、skill_profile、family_profile、life_stage_profile、value_profile 也纳入长期分数累计，不再仅依赖最近一次结果覆盖旧结果 - 将活跃群、活跃成员、辅助消息样本等口径统一调整为只处理已结束日期，避免当天未完结数据进入画像计算 - 调整日级批处理逻辑，默认只处理昨天及更早日期，确保不会处理当天消息 - 修复重复执行时仍然先调用 AI 再跳过的问题，改为先检查当天候选成员是否已完成生成，全部已存在时直接跳过，减少无效 AI 请求和耗时 - 增加群日批处理、周摘要、月摘要、群刷新进度等日志，方便后台定位当前刷新到哪些群、哪些成员、进度如何 - 丰富后台画像展示字段，支持查看更完整的长期画像维度与摘要统计 - 更新插件配置默认值，收敛为近 60 天启动窗口、每日滚动处理与群级日摘要模式 - 补充 message_storage 读取能力，支持按群按日提取消息，为群日批量画像与后续周期汇总提供底层数据支撑	2026-04-02 13:41:51 +08:00
liuwei	60b72874b5	feat: 重构成员画像为日周月分层沉淀链路并增强后台摘要能力 ... 本次提交围绕成员画像插件进行了较大升级，核心目标是把原来偏单次、偏近期的成员交互摘要，升级为可随时间沉淀的分层画像能力。 主要功能变更如下： 1. 新增成员分层摘要存储表 t_member_digest，并提供对应的数据库操作层，支持按成员、按群、按摘要类型（daily/weekly/monthly）持久化周期性摘要结果。 2. 在 member_context 插件内新增 MemberDigestService，把画像生成拆分为日摘要、周摘要、月摘要三级处理流程，再由最终画像服务消费这些分层摘要，减少直接反复处理大量原始消息带来的成本和失真。 3. 新增提示词构建模块，分别为日级观察、周级归纳、月级归纳以及最终画像整理提供独立提示词，强调中性、克制、避免敏感推断，并将长期特征与近期状态明确分层。 4. 重写成员最终画像生成逻辑，优先基于日/周/月摘要融合出长期特征、习惯模式、长期回复偏好、近期状态等信息，再用 AI 对分层摘要做最终整理，避免仅依赖近 30 天消息得出偏短期结论。 5. 保留并增强长期画像融合逻辑，通过打分、衰减和重复证据累积，使长期特征随着时间逐步稳定，而不会被单次刷新完全覆盖。 6. 在消息存储层补充成员按时间增量获取、按活跃日期统计、按天取消息等查询方法，为后续分层摘要生成提供数据支撑。 7. 扩展 member_context 插件配置，增加日级摘要消息上限、日摘要最小消息数、单次回填的日摘要数量上限、最终画像使用的日/周/月摘要数量等参数，便于在准确性和系统负载之间做平衡。 8. 后台成员摘要详情页新增长期沟通倾向、长期特征、习惯模式、长期回复偏好、近期状态、历史样本数、分层摘要数量等展示字段，方便观察画像沉淀程度。 9. 优化后台查看成员摘要接口逻辑：首次打开如果还没有摘要，不再同步阻塞生成，而是返回未就绪状态，配合后台手动异步刷新，降低页面卡顿和接口阻塞风险。 10. 增强刷新日志，单成员和群级刷新会输出当前刷新模式以及日/周/月摘要数量，便于排查画像构建进度。 11. 调整当前日、当前周、当前月摘要的重算逻辑，确保新增日摘要写入后，本周和本月摘要不会长期停留在旧版本。 本次提交后，成员画像能力从“基于近期样本的单层摘要”升级为“基于时间沉淀的分层画像管线”，为后续把画像稳定接入 AI 自动回复上下文打下基础，同时尽量保持现有群权限控制和后台异步刷新方式不变。	2026-04-02 12:42:28 +08:00
liuwei	ce1708677f	feat: add pluginized member context profiling	2026-04-02 11:49:20 +08:00
liuwei	edc63fad0a	调整总结业务。支持每天早上9点总结昨天的消息	2026-01-09 14:51:27 +08:00
liuwei	491c0d16fb	尝试进行总结优化	2026-01-06 16:02:00 +08:00
liuwei	f2ec3facf1	调整图片下载逻辑，定时任务5分钟一次进行图片消息下载存档。	2025-12-30 09:12:18 +08:00
liuwei	15c5971cef	调整图片下载逻辑，定时任务5分钟一次进行图片消息下载存档。	2025-12-30 09:01:28 +08:00
liuwei	8d2fd6217a	尝试优化更新内容	2025-12-29 17:18:15 +08:00
liuwei	4986ec7957	优化图片下载保存逻辑.防止写库太大	2025-12-25 17:20:24 +08:00
liuwei	b93d217101	新增消息趋势分析	2025-05-29 09:03:48 +08:00
liuwei	0d6e047c5d	加入CND图片保存逻辑	2025-05-07 13:59:25 +08:00
liuwei	454d084715	855 协议版本-调整完毕内容	2025-04-30 13:22:33 +08:00
liuwei	4496f0ce86	开放入库数据	2025-04-28 11:56:52 +08:00
liuwei	e9fb23c0f7	开放入库数据	2025-04-28 11:54:11 +08:00
liuwei	ace81ce645	提交代码调整。	2025-04-22 15:04:00 +08:00
liuwei	a62bb61901	重大版本调整：gewechat兼容。	2025-04-22 11:17:03 +08:00
liuwei	8fdfc723e8	消息列表支持显示图片	2025-04-01 17:09:58 +08:00
liuwei	c95b5b8a9d	加入图片下载逻辑。	2025-04-01 16:43:54 +08:00
liuwei	6fe8f9ae9e	提交消息列表功能	2025-04-01 13:42:22 +08:00
liuwei	65269e6f12	调整趋势图功能，加入了查询数据库，分析群聊聊天数量的功能	2025-03-26 13:41:07 +08:00
Liu	b460591530	总结过滤超长文本	2025-03-19 19:29:27 +08:00
liuwei	feb14b16f6	去除重复日志	2025-03-19 10:06:45 +08:00
liuwei	c26e6a2d8d	fixbug:调整排行榜写库动作	2025-03-18 10:32:36 +08:00
liuwei	727d2d3938	feature: 数据库连接与SQL集中管理，提高代码可读性	2025-03-18 10:24:38 +08:00