About

一个爬虫，目的是为了掌握各自技术栈

v1.6

2024-03-13

使用fluent-bit + kafka 收集日志

v1.5

2024-02-29

优化搜索的url,优化cloudflare 的缓存策略

v1.4

2024-02-23

• 1 对接github action 自动kubectl apply 部署镜像
• 2 修正展出内容问题

v1.3

2024-02-20 接口从serverless 的vercel php 改成了 自己服务器的 springboot native graalvm+k3s , 延时从 100 变成 40 - 70ms

cdci 使用githubaction 构建springboot的docker 镜像

v1.2

2024-02-08 数据库不使用tidbcloud 的serverless 版本了，因为tidb 的serverless 的服务器在新加坡，整个服务器渲染流程(vercel serverless + vercel 的php + tidb serverless ) ， 整个延迟到150 - 300 ms 把tidb serverless 的数据迁移到dogyun 的服务器，自己搭建了tidb 实例，延迟 变为100 ms

目前架构是 vercel node (hk) + vercel php (hk) + 本地(hk)

v1.1

2024-02-05 优化编译速度

v1.0

2024-02-02
迭代了小半年，目的是为了熟悉各自技术栈 使用了：

• 服务器使用： vercel （因为免费）
• 数据库： tidb cloud (因为免费)
• 搜索： elasticsearch (自己搭建的 ，活动买的阿里云 ， 单节点)
• 前端： react
• 后端： php8.2的laravel , 目前是php ，如果能到瓶颈就部署在自己机器，也可以用rust
• 广告： google adscenes
• 统计： google analytics (免费)
• cdn: 后续可以接入cloud flare ， 目前还不需要 目前uv200 左右，每天1美分收入，希望能收回服务器的钱吧

数据库同步到es： 目前用php 手写同步，每周定时同步。后续再考虑增量同步吧。

后续考虑的迭代： 添加tag （seo 很无聊，所以我不一定做） , 或者引入图数据库