高力士，原名冯元一，是冼夫人的第六代孙，出生于潘州(今广东省高州市)。他的父亲曾是潘州刺史，但因牵涉到一宗谋反案被抄家。年仅十几岁的冯元一被迫流浪街头，后被拐卖并阉割，作为贡品送进长安宫中，成为一名小宦官。由于他相貌出众，武则天对他十分宠爱，留他在身边服侍，但因犯错而被逐出宫。高延福看重他的机灵，收他为养子，改名高力士。
高力士和高延福经常到梁王武三思家里去，因此又被武则天召回宫中。第二次进宫后，高力士更加小心谨慎，懂得察言观色，地位不断上升。他成为临淄王李隆基的心腹，经常向他通风报信。在朝廷政变中，高力士协助李隆基先后剿灭了韦氏集团和太平公主集团，帮助李隆基成为大唐皇帝。
由于经历了血与火的考验，李隆基对高力士非常信任，提拔他为右监门卫将军，开启了宦官担任军职、掌握兵权的先河。高力士还协助唐玄宗处理军国大事，所有上呈的奏章都先送给他过目，然后才转交皇帝，小事情他自己就能处理。
高力士成为了李隆基的心腹红人，受到朝廷官员和皇室宗亲的巴结，太子称他为“二兄”，各位王爷、公主称他为“阿翁”，许多人争相贿赂结交他，使他家底子殷实，不亚于一般王侯家。高力士曾在宝寿寺举行斋祭仪式，宣布只要敲一下钟，就会赠送大量钱财，朝廷官员纷纷前往，最终散去时已经不知赠出了多少钱财。在高力士的影响下，唐代的宦官阶层非常受人欢迎，收的孝敬贿赂很多，以至于京城中最豪华的宅子，京郊附近最好的田产庄园，宦官竟占到了其中一半，“宦官之祸”由此显露端倪。
