不过，不管是对现在人工种植的，还是对野生的沉香树来说，采香的过程并不轻松。一来，采香向来是个体力活。除了携带沉重的采香工具如锯子、斧子、刀子等，还得有足够的力气去使用，或是锯开树的一部分，或是锯断一个整体。若是去野外深山里采香，少则几天，多则长达一两个月，期间都免不了摸爬滚打翻山越岭，况且还要背着干粮等物件。一位十年前常到野外采香的香农告诉笔者，好的体力足以支撑他完成这段惊险之旅。即使在出发前已准备好食物（米、咸菜、切好盐腌制五花肉、还有方便面），但由于采香路上环境复杂，为了走好脚下的路耗费不少精力，一切都得靠体力挺过去。二来，采香还得靠眼力劲和经验。这在野外采香时尤为重要。“野外什么树都有，要想快点找到沉香树，判断是否结香，这都得靠经验”，香农说，首先根据沉香树适合生长的条件来分析自己所处的地形，再根据树冠、树叶的长相判断。“有时候想知道山这头的这几棵是不是沉香树。就会跑到山那头（对面）的位置去观察”。 　　如果是树皮光滑的香树，那就是还没有结香；如果有瘿瘤、坑洞、蚂蚁等，往往有香。有经验的老者说，确认一棵香树有无结香可以从“一疤、二廇、三黄叶入手”。早期黎族人就通过这个方法找到沉香，“……形貌枯瘠，香之灾木，枝叶萎黄……黎人每望黄叶，即知其树已结香，伐木开径而搜取。”（《广东新语》）更有甚者，通过“看光”采香，据说在晴好的天气里，沉香叶子好像变得柔软有光。如《查浦辑闻》中所说的，“海南人采香，夜宿香林下，望某树有光，即以斧斫之，记其处，晓乃伐取，必得美香。又见光从某树飞交某树，乃雌雄相感，亦斧痕记取之……”。《琼黎风俗图》之《采香图》中记录了明清时期黎人进山采香的全过程，图文结合还原了清代海南采香中“敲根谛听水沉存”的玄妙方法。
　　即使找到了沉香树，有时候也会因为结香程度不佳而暂时不采，“我们就大概记住那棵树的位置，或者先砍伤这棵树（放香），做个记号，等下次再来采”，可这一走，下次来也有可能无劳而获，“发现自己再次放香的树已被别人采走了”，因此，野外采香有时候也得靠运气。
　　有人说，沉香的贵重不仅是因为沉香稀有，还有采香的艰辛。确实，采香行走在山野林间，看似浪漫，实则隐藏巨大的危险。有时候会遭遇恶劣的天气，或是暴雨倾盆，或是电闪雷鸣。雨后的山路很滑，树枝潮湿，寸步维艰。山上往往有毒蛇、水蛭、山蚂蟥，还有各种飞蚁虫兽的困扰。据这位香农回忆，一次采香还遇见过如水桶般粗的蛇，还有山猪，吓得大家马上绕道避开。而且越是好香附近越有毒虫、狡兽、蜈蚣等出现。其次，迷路是最大的困难。有些采香者因为在山林间无法辨别方向找不到出路，最后不幸葬身于山林之中。因此一般走过的路，他们都会留下记号。山上采香难免会受伤，不是被树枝草刺刮伤，就是稍有不慎被石头绊倒，然后连滚带爬地继续前进。
　　在海南采香，还会遇到当地黎苗人，也就是山上的土著居民。他们排斥外来人，一来是沟通有碍只能抵抗，二来也不希望自己的资源被抢夺。通常遇到这样的情況，采香中如果有会黎苗话的人就去沟通，如无法沟通就先避开，过一段时间再悄悄回来。
　　香农说，每次采香回来，女儿都很“嫌弃”他，说他“又黑又瘦，感觉一下子老了十岁”。
　　沉香的形成需经过漫长的岁月，还要受到累累伤痕，而采集沉香的过程更为辛苦，正是因为它的来之不易而寸香寸金。长期以来海南沉香香源受害严重，仍存留下来的野生沉香寥寥可数。因此在大范围发展人工种植沉香树、拒绝盗采滥伐、保护沉香的同时，也要心怀一颗敬畏之心，感恩之心，让更多的人与沉香结缘。
　　结香之不易，采香之艰辛，只有“沉”得惊世，方可“香”得骇俗。