华山金矿一事后，李适之渐失皇恩。此前，李适之与刑部尚书韦坚过从甚密。韦坚之妻姜氏，父姜皎，与李林甫有姑表亲，李林甫本与韦坚甚亲昵。韦坚初为陕郡太守、江淮租庸转运使，掌有实权，因兴修水利、疏通漕运而受到皇帝宠信，既而有入朝为相之志。李林甫见他想和自己平起平坐，渐生厌恶。天宝四年九月，李林甫奏请迁韦坚为刑部尚书，其诸使职务则由他的亲信御史中丞杨慎矜代替，看似升官，其实夺取了韦坚实权。
皇帝议立太子时，李林甫与武惠妃勾结，互为表里，欲立惠妃子寿王李瑁为太子，未能成功，长子忠王得立，即为当今太子。李林甫因而与太子有过节，韦坚又是太子妃兄，也为李林甫所恶。
至此，韦坚李适之二人，一个失权，一个失恩，又都是受李林甫之害，愈相亲密，结为一党，共与李林甫为难。
天宝五月正月，陇右节度使皇甫惟明因破吐蕃，入朝献捷，见李林甫把持朝政，意有不平，入宫见驾时，劝皇帝削减宰相权势。太子为忠王时，与皇甫惟明友善，韦坚李适之等趁机交结皇甫惟明，共排李林甫。
正月十五，元宵灯会，太子携太子妃同出游赏灯会，韦坚趁机同往。太子常年居住禁中，鲜少游这等民间集会，韦坚为他导引，太子游玩甚欢。
“韦卿，这盏灯好稀奇，四周图案旋转，但灯座似乎未动。”太子又看见一盏未曾见识过的灯，很是好奇。
韦坚回道：“此灯灯座与灯纱不连，内部以轮轴构造，摇柄可以自转，不必围绕一周便可见八方图案，因此名为‘走马灯’。”
太子定睛一看，果然见灯旁有一小童在摇手柄，每摇一周，灯可转三四圈，不由赞叹：“果然构造精密！”又见灯架雕刻精细，图案栩栩如生，心中喜爱，于是让仆人将此灯买下，递给韦妃，喜道：“爱妃，你看这灯，甚是精巧，你可喜欢？”
韦妃却兴致不高，看了一眼，敷衍道：“殿下好眼力。”一边举手按着额头，蛾眉轻蹙。
太子忙问：“爱妃为何怏怏不乐？可是玉体违和？”
韦妃答道：“或许是刚才吹了冷风，头有些疼，不想扰了殿下兴致。”说着起身欲拜，刚站起来，身子一晃，几欲跌到。太子连忙扶住韦妃：“爱妃说的哪里话，是我贪玩，竟忘了照顾爱妃身体。”一边就要随侍整队回宫。
韦妃制止道：“妾只是略感不适，车内休息片刻即可。时辰还早，殿下不必为妾而废行。”
太子忧道：“爱妃身子要紧，灯会明年再看也罢。”
韦妃坚持不肯回宫，韦坚建议：“此处离宫禁已远，与其劳顿回宫，不如就近找一处幽静之所让妃子休息将养，殿下也不必错过美景良辰。”
太子道：“韦卿之计甚好，只是附近可有合适之处？”
韦坚答：“此去往西有一处景龙观，是道家清修之所，十分僻静，不过半里之遥，可作暂休之所。”
太子道：“好，就去景龙观。”
行人往景