结论先行:日志检索变慢,先分清是写入慢还是查询慢,再拉三个数字:单次查询扫描的数据量、命中条数、以及时间跨度。三个数字里通常有一个明显偏大,把它收回来,速度立刻回升;收不回来,才轮到扩容。

本文只谈检索变慢时该先查什么、怎么收敛,不谈采集范围怎么划,也不谈留存周期与存储成本的取舍。

先把「慢」拆成两件事

用户说的「卡」,可能是三种完全不同的情况:写入跟不上,日志进不来;检索等太久,页面转圈;还有一种是报表和看板刷新慢,用户误以为是查询慢。

判断方法很简单:看写入队列有没有积压。写入侧积压,加查询优化没有用;写入正常而查询慢,才进入下面这条线。

三个数字,先拉出来

扫描量。一次查询实际扫过了多少数据。这是最关键的一个数,也是最容易被忽略的一个——界面上只显示「查到 30 条」,不显示「扫了 3 个 TB」。

命中量。命中和扫描的比值反映查询的收窄程度。如果扫了很大一片只命中几条,说明过滤条件没起作用。

时间跨度。用户默认填的时间范围往往比实际需要大得多。查一个上午的事故,选择框里是「最近 30 天」,这不是查询引擎的问题。

扫描量是怎么被放大的

多数慢查询不是引擎不行,而是查询写法把扫描范围撑大了。常见五种。

一是时间范围给太宽。这是占比最高的一种。把默认时间范围从 30 天改成 1 天,再让人自己往前调,慢查询的投诉量会下降一大半。

二是通配与模糊匹配。关键词前后都加通配,等于放弃索引、逐条比对。能用精确匹配的地方不要用模糊匹配;必须模糊时,先用时间和其他字段把范围压小。

三是拿非索引字段当主条件。常用作查询条件的字段要提前声明。事后发现某个字段天天被查,却不在索引里,这一类补建索引的收益通常最高。

四是把大字段全文搜。原始报文、堆栈、长文本这类字段一旦进了全文检索,扫描量会成倍上升。做法是把它们单独存放,主索引里只留摘要和标识。

五是并发查询互相挤。大屏、定时报表、人工排查同时发起,资源被抢。并发要有配额:周期性任务和人工查询分开池子,避免一份月度报表把所有交互查询拖住。

五条能立刻做的收敛

  1. 把默认时间范围改小,并在界面上显示「本次扫描了多少数据」。
  2. 把常用查询条件做成字段快捷项,减少手写模糊条件。
  3. 给周期性报表单独设资源池,与人工查询隔离。
  4. 把大字段从主索引剥离,只保留可检索的摘要。
  5. 对长期没人用的报表和看板做一次清理——它们在后台照常跑,占的是查询资源。

这五条不需要采购,也不需要停机,做完再评估要不要扩容,结论往往会变。

什么时候才该扩容

现象先做什么什么时候才扩容
个别查询慢看扫描量与时间跨度不必扩容
所有查询整体变慢看写入侧是否有积压写入长期贴顶时才扩容
高峰期慢、低谷正常调并发配额与任务错峰错峰后仍贴顶时扩容
数据量在涨、速度同步下降看留存分层是否失衡分层合理仍不够时扩容

有一点要提醒:扩容只能解决「容量不够」,不能解决「查询写得不合理」。同一套查询在两倍资源上,通常只是把变慢推迟几个月。

边界与前提

上面这些判断都依赖一个前提:平台能把扫描量这类指标暴露出来。如果现有平台只报「查询耗时」不报「扫描数据量」,排查就只能靠猜,这时先补指标,比先调参数更有用。

另外,文中提到的单集群每秒处理能力、日入库量、千亿条检索返回时间等数字,来自厂商标称或已落地项目的汇报材料,属于参考性指标。真实环境的表现与数据模型、字段数量、查询形态强相关,采购前应以自有数据做一次实测,不要直接按标称值规划容量。

深圳市奇摩计算机有限公司在日志平台实施与年度巡检里,会把扫描量、命中量、并发峰值三个数固定进月报。作为服务端,这样做的好处是「要不要扩容」这个决定不再由某一次卡顿触发,而是有了连续几个月的趋势可比。

慢这件事,几乎总能拆成一句具体的问题:扫了多少、命中多少、跨了多久。把这三个数摆出来,答案往往自己就出来了。

如果手上的日志平台最近开始吃力,预约咨询,可以先做一次查询与容量体检。