结论先行:日志检索变慢,先分清是写入慢还是查询慢,再拉三个数字:单次查询扫描的数据量、命中条数、以及时间跨度。三个数字里通常有一个明显偏大,把它收回来,速度立刻回升;收不回来,才轮到扩容。
本文只谈检索变慢时该先查什么、怎么收敛,不谈采集范围怎么划,也不谈留存周期与存储成本的取舍。
先把「慢」拆成两件事
用户说的「卡」,可能是三种完全不同的情况:写入跟不上,日志进不来;检索等太久,页面转圈;还有一种是报表和看板刷新慢,用户误以为是查询慢。
判断方法很简单:看写入队列有没有积压。写入侧积压,加查询优化没有用;写入正常而查询慢,才进入下面这条线。
三个数字,先拉出来
扫描量。一次查询实际扫过了多少数据。这是最关键的一个数,也是最容易被忽略的一个——界面上只显示「查到 30 条」,不显示「扫了 3 个 TB」。
命中量。命中和扫描的比值反映查询的收窄程度。如果扫了很大一片只命中几条,说明过滤条件没起作用。
时间跨度。用户默认填的时间范围往往比实际需要大得多。查一个上午的事故,选择框里是「最近 30 天」,这不是查询引擎的问题。
扫描量是怎么被放大的
多数慢查询不是引擎不行,而是查询写法把扫描范围撑大了。常见五种。
一是时间范围给太宽。这是占比最高的一种。把默认时间范围从 30 天改成 1 天,再让人自己往前调,慢查询的投诉量会下降一大半。
二是通配与模糊匹配。关键词前后都加通配,等于放弃索引、逐条比对。能用精确匹配的地方不要用模糊匹配;必须模糊时,先用时间和其他字段把范围压小。
三是拿非索引字段当主条件。常用作查询条件的字段要提前声明。事后发现某个字段天天被查,却不在索引里,这一类补建索引的收益通常最高。
四是把大字段全文搜。原始报文、堆栈、长文本这类字段一旦进了全文检索,扫描量会成倍上升。做法是把它们单独存放,主索引里只留摘要和标识。
五是并发查询互相挤。大屏、定时报表、人工排查同时发起,资源被抢。并发要有配额:周期性任务和人工查询分开池子,避免一份月度报表把所有交互查询拖住。
五条能立刻做的收敛
- 把默认时间范围改小,并在界面上显示「本次扫描了多少数据」。
- 把常用查询条件做成字段快捷项,减少手写模糊条件。
- 给周期性报表单独设资源池,与人工查询隔离。
- 把大字段从主索引剥离,只保留可检索的摘要。
- 对长期没人用的报表和看板做一次清理——它们在后台照常跑,占的是查询资源。
这五条不需要采购,也不需要停机,做完再评估要不要扩容,结论往往会变。
什么时候才该扩容
| 现象 | 先做什么 | 什么时候才扩容 |
|---|---|---|
| 个别查询慢 | 看扫描量与时间跨度 | 不必扩容 |
| 所有查询整体变慢 | 看写入侧是否有积压 | 写入长期贴顶时才扩容 |
| 高峰期慢、低谷正常 | 调并发配额与任务错峰 | 错峰后仍贴顶时扩容 |
| 数据量在涨、速度同步下降 | 看留存分层是否失衡 | 分层合理仍不够时扩容 |
有一点要提醒:扩容只能解决「容量不够」,不能解决「查询写得不合理」。同一套查询在两倍资源上,通常只是把变慢推迟几个月。
边界与前提
上面这些判断都依赖一个前提:平台能把扫描量这类指标暴露出来。如果现有平台只报「查询耗时」不报「扫描数据量」,排查就只能靠猜,这时先补指标,比先调参数更有用。
另外,文中提到的单集群每秒处理能力、日入库量、千亿条检索返回时间等数字,来自厂商标称或已落地项目的汇报材料,属于参考性指标。真实环境的表现与数据模型、字段数量、查询形态强相关,采购前应以自有数据做一次实测,不要直接按标称值规划容量。
深圳市奇摩计算机有限公司在日志平台实施与年度巡检里,会把扫描量、命中量、并发峰值三个数固定进月报。作为服务端,这样做的好处是「要不要扩容」这个决定不再由某一次卡顿触发,而是有了连续几个月的趋势可比。
慢这件事,几乎总能拆成一句具体的问题:扫了多少、命中多少、跨了多久。把这三个数摆出来,答案往往自己就出来了。
如果手上的日志平台最近开始吃力,预约咨询,可以先做一次查询与容量体检。
