不适宜喝沉香茶的人有：

一、低血压患者：沉香在药理上有降血压的作用，因此血压本身就比较低的人不适宜长久地饮用沉香茶。

二、孕妇：由于沉香茶有行气之效，故不适宜孕妇饮用。

三、阴亏火旺者：沉香主要用于虚寒症者，《本草从新》中提到：“阴亏火旺者，切勿沾唇。”对于阴亏火旺的人，切勿使用沉香。内火燥热的人服用后会更加上火，感冒患者也不宜饮用。

四、气虚下陷者：沉香有温肾纳气的作用，《本经逢原》中提到：“气虚下陷人，不可多服。“对于气虚下陷者切不能喝。

五、体重过轻者：因沉香茶具有润肠通便、降脂减肥的功效，如BMI指数小于18.5者则为体重过轻者，不宜长期饮用沉香茶，否则可能使体重过轻者更瘦。