如果忽必烈希望被看做中国君主，他自然就不能单单讨好儒士精英。他也必须同时照顾到中国境内的其他宗教。忽必烈所推行的政策是要笼络境内所有宗教。对汉人儒士，他俨然一副儒家思想体系拥护者的姿态；对吐蕃和汉地僧侣，他则把自己刻画成为一位热心的佛教徒；对欧洲访客，譬如马可·波罗，他预言在他的臣民中将有许多人皈依基督教；而对穆斯林，他则表现得好像是他们的保护者一样。这样像变色龙一样的角色转换对忽必烈来说异常重要，因为他是在统治一个多宗教、多民族杂居的帝国。
忽必烈极力想影响的一个宗教团体是穆斯林。从1261年起，越来越多的穆斯林被授予政府公职，并享有一定的特权。例如，穆斯林被豁免了常规赋税。元廷很少干涉穆斯林的宗教活动。在汉文和波斯文史料中有大量关于穆斯林聚居区的论述。在忽必烈的夏都开平和他的首都大都生活着许多穆斯林。其中一些人从事忽必烈高度重视的职业，如工匠、商人以及建筑师等。
忽必烈允许穆斯林在许多地区组成实际上的自治居住区，他甚至偶尔奖励穆斯林。一个名为舍黑（即谢赫，中文叫“回回太师”）的官员往往担任聚居区的首领，并担当回教聚居区和蒙古政府之间的中介。哈的（中文叫“伊斯兰教法官”）负责解释回教法律法规。穆斯林聚居区有他们自己的市场、医院以及清真寺等。忽必烈一般不干预穆斯林守回教诫命，比如割礼和不吃猪肉等。他也没有强迫穆斯林说蒙古语或汉语。阿拉伯语、波斯语和突厥语继续在穆斯林聚居区通行。忽必烈对穆斯林采取宽仁政策，因为他们对他统治中国很有助益。他们促进了中国与亚洲其他地区的贸易，并担当了税吏和财政管理者，使忽必烈不必过分依赖于汉人幕僚和官员。由于他们的地位和权力要完全仰赖元廷的恩赐，因此，穆斯林显得比汉人更加忠诚。
忽必烈试图成为穆斯林代表的努力被证明是卓有成效的。许多有影响力的穆斯林效力于元廷，其中最著名的是赛典赤·赡思丁。赛典赤是不花剌一个名门之后，在成吉思汗征服中亚的战争中，他带领他的一千骑兵向蒙古人投降。他的能力和忠诚显然给蒙古人留下了深刻印象，因为他在投降之后不久便开始担任越来越重要的职务。蒙哥汗选择他担任燕京路总管。1260年，忽必烈任命他为燕京宣抚使，不到一年，又提拔他任职于中书省。他显然在这些位置上做出了成绩，因为到1264年，忽必烈便委任他为陕西五路西蜀四川行中书省平章政事，管辖区域涵盖今陕西、甘肃和四川省。他在这里的主要政绩包括进行了一次准确的人口普查，从而在纳税名单上增加了更多户口。此外，他还组建了一支高效的军队。
忽必烈也喜欢僧人，他曾在1258年的佛道辩论中支持过他们。到他继承他哥哥蒙哥汗的大位时，忽必烈已经接触过中国佛教的几个派别，特别是禅宗。但禅宗过于深奥，缺乏忽必烈寻求的具体和实用的好处。而另一方面，藏传佛教则是达到他自己政治目的的理想工具。它能从意识形态方面论证蒙古统治的正当性。藏传佛教对巫术的重视、它的色彩以及它的游方都令忽必烈十分喜欢，但是它最有吸引力的特点是它在政治上的介入。许多藏传佛教派别在传统上一直在世俗事务中发挥作用。他们的宗教高僧同时也是世俗领袖，而佛教寺院通常是地方权力中心。藏传佛教派别并不像禅宗那样不问政治。
吐蕃萨迦派的八思巴喇嘛被证明是一个很有用的人物，他极力支持忽必烈成为中国正统君主的雄心。通过和蒙古人的长期交往，八思巴吸取了他们的许多价值观念。但是，作为萨迦派主要领袖的侄子，同时也作为一个僧人，他受到了许多僧侣的尊重。忽必烈的另一个著名的僧侣盟友噶玛巴希，被指控曾协助阿里不哥反对忽必烈，因此，八思巴喇嘛比较可靠。当忽必烈夺取政权以后，他便开始用尊荣和头衔拉拢八思巴喇嘛。1260年，他任命这位吐蕃喇嘛一个新职位：国师。次年初，又令其统领天下释教僧侣。1264年，蒙古统治者颁发所谓的“珠诏”，授予僧人免税特权。1264年，他建立总制院，管理吐蕃事务，并监督政府与僧人之间的关系。八思巴喇嘛成了这个新机构的总领。与此同时，忽必烈通过婚姻联盟使其与八思巴喇嘛的关系更加密切。八思巴喇嘛的弟弟娶了一位蒙古公主，后来，他的侄子和一个侄孙都曾尚公主。
最后一步则是把名义上的全吐蕃的管辖权授予八思巴喇嘛和他的萨迦派法王。在1264年或者1265年，忽必烈派遣八思巴喇嘛去吐蕃，帮助他说服当地人民接受蒙古人的统治。八思巴喇嘛的弟弟恰那多吉喇嘛也是在蒙古宫廷中被抚养大的，此时也戴着蒙古人封的“全吐蕃之首领”的头衔到达了吐蕃。两兄弟之间的职权划分不是很清楚。或许忽必烈想让掌天下释教的八思巴喇嘛住在中国，而他的弟弟作为他的代理人驻守在吐蕃。忽必烈这样做，似乎授予了两兄弟相互重叠的吐蕃司法管辖权。不管他是基于什么考虑而做出这种安排的，这个计划由于恰那多吉喇嘛于1267年突然死亡而很快发生了偏差。萨迦派的主要对手止贡派趁机发动叛乱，反对他们的对立佛教派别和蒙古统治。忽必烈立即派兵征讨，并于1268年重新恢复了蒙古人的统治。也是在那一年，忽必烈才真正开始对吐蕃行使主权。他命令在吐蕃进行人口普查，并建立站赤系统。虽然现有资料没有详细说明吐蕃人是否还承担了其他义务，但是看起来忽必烈曾经为他们设计了一个税收体系和兵役体系。忽必烈在1268年建立的行政结构是这样的，他首先构想由萨迦派的一个成员担任国师（当时是八思巴喇嘛），此人将住在汉地，监督全帝国包括吐蕃的佛教徒。另外，蒙古人将选择一位吐蕃官员，藏语叫本钦，在吐蕃居住并治理吐蕃。
忽必烈希望八思巴喇嘛和他的佛教徒投桃报李，也向他提供他所需要的宗教权力。这位吐蕃僧侣的确履行了他的协定。他构想了一个世俗统治者和宗教领袖之间的适当关系，以便区分宗教和国家各自的权限。八思巴喇嘛把他们的角色区分如下：
世俗拯救和精神拯救是……所有人都想设法赢得的东西。精神拯救包括从痛苦中完全解放出来，而尘世间的福利便是世俗拯救。二者都取决于双重秩序，宗教秩序和国家秩序……宗教秩序由喇嘛维护，国家秩序则由皇帝维护。喇嘛必须以教导宗教为业，而皇帝则须保证统治有方，以使大家都能和平相处……宗教首领和国家首领地位是相等的，然其作用是不同的。
八思巴喇嘛回报他的恩人忽必烈的方法之一，是把他和佛教万神殿中的人物联系在一起。忽必烈成了文殊师利菩萨，即智慧菩萨，并被看做是“觉者”的化身。蒙古史料在谈到同一问题时，则称忽必烈为“薛禅汗”（智慧的汗）。八思巴喇嘛和其他吐蕃僧侣神化忽必烈，把他描写成一个佛教传统中的转轮王。在当时写成的一本书中（作者可能就是八思巴喇嘛，后被翻译成蒙古文，叫《白史》），忽必烈被描写成了佛和伟大的君王。
为了进一步加强他的宗教派别和皇帝之间的联系，八思巴喇嘛提议把元朝宫廷仪式与佛教联系起来。每年在2月15日组织驱“魔”护国游行活动，每年的1月和6月还举行礼乐、仪式和游行等活动。对八思巴喇嘛来说，举行这些仪式的目的在于同儒教宫廷仪式竞争，或提供另一种选择；但是对忽必烈来说，这些仪式可以作为儒教仪式的补充，但不能代替儒教仪式。忽必烈可能显示出偏向佛教，因为后来一个颇能反映当时人们态度的史料中有这样一首献给他的赞歌：
于是他（忽必烈）使宗教之光照耀在蒙古黑暗的土地上，
他从印度请来四王所尊奉之佛像，菩萨遗物、佩塔碗和檀香木苴，
他以十大英明原则管理政府，稳定世界，
他安定寰宇，使人们幸福生活在其中，
他以其睿智享誉天下，
成为转动千只金轮……睿智的转轮王。
由于忽必烈表现得好像痴迷于佛教，因此他的声望在僧人中得到了极大提升。八思巴喇嘛为忽必烈所作出的努力结出了丰硕果实。佛教界的许多人开始接受忽必烈为天下共主和中国皇帝。忽必烈赐给僧人特权并豁免他们承担的义务，试图以此巩固他的地位。他首先授予八思巴喇嘛统管吐蕃十三万户的权力，允许八思巴教导他的儿子真金，最后又在1270年授予了他梦寐以求的帝师（皇帝的老师）头衔。然后，他又下令豁免佛教僧侣的赋税，不过那些有家室并以种田或经商为生者仍要交税。但是，信仰纯正、不以种田或买卖谋利的诚实僧侣将获得特殊优待。1261年，忽必烈赐给两个佛教寺院（其中一个以海云法师之名命名）五百顷的土地，位于后来的大都附近。五年后，他捐赠了一万五千两银子，帮助一个佛寺举行了七天宗教仪式。他划拨资金修建新寺庙，并且修缮在佛、道论战期间遭到破坏的寺院。政府向一些寺院提供了工匠和奴隶，在他们的土地或手工作坊工作。政府的支持、补贴或豁免赋税，使佛寺成为繁荣的经济中心，它们往往经营自己的旅店、商店、轮渡以及当铺等。忽必烈对佛寺所广施的各种各样的善行，使他获得了佛教幕僚和官员们的鼎力支持。
道教是忽必烈寻求认可和帮助的另一个宗教。忽必烈在1258年介入佛、道辩论，自然使得道教界对他没有什么好感。但是忽必烈和道士们彼此都需要对方的支持。忽必烈对道士们著名的法术，他们宣称所拥有的呼灵唤鬼的能力，以及他们在方术和占星术方面的实验等极感兴趣。而且，他知道道士们对社会底层阶级很有影响力，而他也同样需要吸引这些人支持他。一些道教领袖认识到，他们需要与儒士和僧人达成和解，以避免三教（儒、释、道）之间无谓的争执所带来的破坏，自从蒙古人来到中国就一直存在这种争执，其结果是毁灭性的。有几位道士甚至试图调和三教。一个著名道家思想家勾画了“三教图”，指出这三种宗教有希望达成某种形式的和解。这样的折中主义并没有避免道教和其他宗教团体，特别是佛教徒之间的冲突。但是在忽必烈执政的头十年，这些冲突并没有爆发。
忽必烈为各种各样的道教派别提供了诱饵，以换取他们的支持。他提供资金修建道观，特别是给那些属于全真教派的，这是一个自从成吉思汗时代起就受到蒙古人青睐的道教派别。长春观是以成吉思汗所敬佩的道教大师长春真人的名字命名的，是由忽必烈资助的主要道观之一。全真道领袖张志敬从元廷接受了几批款项，用以修造道观，以及增加该道教派别的利益。道士们对这些厚待心存感激，便不遗余力地为忽必烈统治的正统性提供证明，并帮助他尽中国皇帝所当尽的某些职责。其中一项任务是祭拜汉人心目中的圣山——泰山，这是中国皇帝的一项重要责任。忽必烈委托道士全权负责这项祭拜活动，每年会派遣道教领袖到泰山举行祭祀仪式。他们自愿为忽必烈举办这些仪式，表明了他们对忽必烈的某种支持，因此也将影响普通的道教信徒。
