前面我介绍过很多隐藏进程的把戏,随后我对每一种把戏有针对性的给出了反制措施,可以翻看我2020/03~2020/08的文章,太多了,不再一一列举。

如今,我要介绍一种超级简单的手段,手艺人必备。

无论你是隐藏了进程,还是隐藏了进程的CPU利用率,只要它在CPU上运行,在下面的脚本面前,任何隐藏手段终归徒劳:

#!/usr/local/bin/stap

global tbase
global tdelta

probe scheduler.cpu_on
{
	a = gettimeofday_us()
	tbase[pid(), execname()] = a
}

probe scheduler.cpu_off
{
	t = tbase[pid(), execname()]
	a = gettimeofday_us();
	if (t != 0) {
		delete tbase[pid(), execname()]
		d = a - t
		b = tdelta[pid(), execname()]
		tdelta[pid(), execname()] = b + d
	}
}

probe timer.ms($1)
{
	exit()
}

// 结束时将这段时间内所有运行进程的CPU累加时间按照降序打印。
probe end
{
	foreach ([pid, name] in tdelta-) {
		printf("%s[%d] = %d\n", name, pid, tdelta[pid, name])
	}
}

是的,只要你的进程运行,总逃不过内核的调度,只要进程获得CPU就会打点采样,进程被切换下来时再次打点采样,二者做差就是该进程本次运行的时间,将这些时间累加起来就能获得任意进程占有CPU的时间。

除非你的进程不在CPU上运行,不过不运行的进程又有啥用呢…

来来来,看效果:

[root@localhost test]# /root/loop &
[1] 5814
[root@localhost test]# /root/loop &
[2] 5815
[root@localhost test]#
[root@localhost test]# ./times.stp 5000  # 采样5秒
loop[5814] = 2492109
loop[5815] = 2490044
top[5919] = 1417
kworker/0:1[31879] = 1218
stapio[7125] = 1191
xfsaild/dm-0[397] = 1028
tuned[1003] = 744
systemd-udevd[7126] = 397
sshd[1384] = 174
systemd-udevd[496] = 157
rcuos/0[11] = 105
systemd[1] = 105
kworker/0:2[6831] = 82
systemd-logind[645] = 62
rcu_sched[10] = 43
kworker/u2:2[285] = 7
watchdog/0[12] = 7
ksoftirqd/0[3] = 3
[root@localhost test]#

一抓一个准。

来,现在基于上述原理干点正事儿。

这回我们不再为了缉拿谁而编写脚本,这回我们假装为了优化调度器算法。

我们要统计一下所有进程从排入就绪队列到实际运行的等待时间,用以排查是否有进程饥饿。

#!/usr/local/bin/stap

global tbase
global tdelta

probe kernel.function("activate_task")
{
	a = gettimeofday_us()
	tbase[task_pid($p), task_execname($p)] = a
}

probe scheduler.cpu_on
{
	t = tbase[pid(), execname()]
	a = gettimeofday_us();
	if (t != 0) {
		delete tbase[pid(), execname()]
		d = a - t
		b = tdelta[pid(), execname()]
		tdelta[pid(), execname()] = b + d
	}
}

probe timer.ms($1)
{
	exit()
}

probe end
{
	foreach ([pid, name] in tdelta-) {
		printf("%s[%d] = %d\n", name, pid, tdelta[pid, name])
	}
}

来来,看效果:

[root@localhost test]# ./wtime.stp 5000
stapio[7727] = 1034
rcuos/0[11] = 747
systemd-udevd[7728] = 244
kworker/0:1[31879] = 236
tuned[1003] = 159
khungtaskd[24] = 80
rcu_sched[10] = 64
systemd-udevd[496] = 58
khugepaged[27] = 20
kworker/u2:2[285] = 20
watchdog/0[12] = 18
auditd[609] = 18
kworker/0:0[7139] = 12
[root@localhost test]#

最后,值得注意的是, stap的操作开销巨大,二元健数组内部实现很复杂,且cpu_on/cpu_off是系统中绝对绝对绝对的热点热点热点路径! 以上手段仅仅用于发现系统异常,并非常规操作,应该严禁在生产环境长时间执行。

当然,经理除外。


浙江温州皮鞋湿,下雨进水不会胖。

原文链接:https://blog.csdn.net/dog250/article/details/108249157

最后修改日期:2020年8月29日