BiliCenter

番剧数据中心

一个以事件驱动的数据挖掘框架

部署

需求

Python 3.6+

参照如下命令安装依赖

pip install -r requirements.txt

或者

python -m pip install -r requirements.txt

如果你运行在Linux环境，请视情况将pip和python替换为pip3和python3

环境与配置

• 请确保拥有腾讯云SCF使用权限，并将scf/biliHelper下的SCF函数部署至腾讯云
• 参照环境变量文档进行环境变量的配置，其中包括数据库相关配置
• 根据提供的SQL来创建相关的表

首次运行

• 定位至service下，运行ConcurrentController.py，第一次运行会往Redis中写入初始配置并退出

• 可以参照配置说明按需修改运行时配置

正式运行

中间件主体在service下的三个程序

• FrontEndTrigger.py为前端触发器
• ConcurrentController.py并发中心
• CallbackCenter.py为回调/数据处理中心

启动这三个中间件(无顺序要求)，三个中间件无需在同个节点上，只需向同一个数据库连接即可完成通讯

执行时的目录为service/，不正确的目录会导致错误

任务负载

service/trigger和service/callback下分别为触发器和回调，可自行新增，中间件启动时会自动进行发现

本文档还有待进一步完善，关于任务负载的定义、触发规则等细节，移步协议说明文档

系统设计