双跑需要做的准备工作 1. 设置 TKService.ini 为 Store 设置要双跑 OSS-Mongo 的目标实例： [TKHisStoreService] TKObjectStorageService_Mongo_SPIF=10.30.20.249:30710:200 2. 开通所有机器的防火墙 找辛祥义开通两台机器的对端防火墙。 例如 Store 位于 10.30.2...

本文件有待整理 netstat -ano（网络连接、端口和相关进程） 命令概述 netstat -ano：查看网络连接、监听端口和相关进程。它提供了关于网络活动的详细信息，帮助用户了解系统的网络状态和进程与网络连接之间的关系。 参数含义 -a：显示所有连接和监听端口。这包括TCP（传输控制协议）连接、UDP（用户数据...

更新： 2026年1月15日：还是会崩溃，崩溃的时候没有第三方插件在安装，感觉就是 VSCode 的问题，可能是插件版本或者 RemoteSSH 版本问题？不太懂。而且很多人也有同样的问题1 尽量还是直接用阿里云提供的 WorkBentch 吧，功能也挺多的，还不会牵连服务器崩溃。 1）现象： 通过 VSCode 的插件 Remote - SSH 远程登录阿里云的 Uban...

[TOC] 1. 筛选异常积分 1.1 筛选逻辑 通过 CMA 监控项，筛选出了从 2024.01.29 ~ 2024.07.29 内的所有异常积分。 异常积分：（1）不读不写；（2）只写不读；（3）只读不写 筛选的详细过程见另一个文档《#积分下线流程.md》。 1.2 筛选结果 异常积分数量统计如下：   不读不写 ...

[TOC] 2024 积分下线流程 1. Hive上的数据聚合 1）工作流介绍 【小海豚10.11.199.44】-【行为数据组-sql】-【积分下线_2024】 这个工作流是用来测试脚本和代码的，后面用来跑指定某天的CMA数据。 【小海豚10.11.199.44】-【行为数据组-sql】-【PyHiveTidyUpEidHistory】...

现象 OSS-Mongo 版本进行了改动：当因为有重复 oid 而导致插入失败时，返回的 ec 报错改为kInsertMongo_DuplicateId，与普通插入失败的报错 ec（kInsertMongoDocError）进行区分。 目的是为了保证该种类型的插入失败不需要消息恢复机制（否则会因为消息恢复机制一直尝试重复插入）。 该 ec 也会从 OSS 返回给外部，而其它可以消息恢复...

1. 环境 系统：Win10 python：3.7.0 VSCode：1.94.2 VSCode拓展【Python Debugger】：v2024.12.0 2. 报错现象 任意python脚本（甚至空文件)，点【运行python文件】没有问题，点【Python调试程序：调试Python文件】就会直接出现如下报错： ImportError: cannot im...

1. 背景 将 OSS 从 Cassandra 升级到 MongoDB，OSS-MongoDB 双跑阶段，发现 MongoDB 中的 3 个数据库没有数据写入：matchstory、cusmatch、anchorlib。 anchorlib 数据库对应的业务比较特殊，只有年表存在数据，且数据是一次性初始化的。 因此接下来只对 matchstory、cusmatch 两个数据库...

背景 为了将 OSS 服务从 Cassandra 改为 MongoDB，修改了上游 Store 服务的代码，将所有请求另外拷贝一份，异步双写到新的 OSS-Mongo 服务中。这样可以保证在不影响主线业务的情况下，逐步使 MongoDB 中的数据与 Cassandra 中数据一致。待 30 天数据到期后，MongoDB 与 Cassandra 中数据就会完全一致。 测试前（2024年10...

背景 2024 中秋，evt-004-redis 集群有明显数据上涨： 2024-09-16 18:00 ~ 22:00，从 388 GB 上涨到了 415 GB（涨幅 6.96%）； 2024-09-17 12:00 ~ 16:30，从 418 GB 上涨到了 430 GB（涨幅 2.87%）。 如下图所示，上述的两个时间段能看到较为明显的上涨趋势。 目标 监控 ...