国际足球联合会（The Fédération Internationale de Football Association FIFA）于1904年5月21日在法国巴黎的法国体育运动联合会（Union Française de Sports Athlétiques）总部正式成立，参加大会的共有来自八个不同国家的组织，他们分别是：
·法国 - 法国体育运动联合会（Union des Sociétés Françaises de Sports Athlétiques USFSA ）
·比利时 - 比利时体育运动联合会（Union Belge des Sociétés de Sports UBSSA ）
·丹麦 - 丹麦足球协会（Dansk Boldspil Union DBU ）
·荷兰 - 荷兰足球协会（Nederlandsche Voetbal Bond NVB ）
·西班牙 - 马德里足球俱乐部（Madrid Football Club）
·瑞典 - 瑞典足球协会（Svenska Bollspells Förbundet SBF）
·瑞士 - 瑞士足球协会（Association Suisse de Football ASF ）
FIFA 初具规模
在成立大会召开的两天后，即1904年5月23日，国际足联举行了第一次选举，法国人罗伯特·盖因(Robert Guérin FRA)当选第一任主席，瑞士人施耐德(Victor E.Schneider SUI)和荷兰人希尔施曼(Carl Anton Wilhelm Hirschmann NED)当选副主席。比利时人穆林高斯(Louis Muhlinghaus BEL)担任秘书长并兼财务主管，丹麦人西劳(Ludvig Sylow DEN)为副秘书长。国际足联成立之初时一无所有，还只是一纸协议。要想真正建立起一个代表各国足协的世界性组织，这个团队还有很多任务要做。首要的就是说服英国这个现代足球起源国家加入到这个大家庭来。
作为现代足球的发源地，国际足联缺少英伦三岛一直是雷米特先生的遗憾。他再次展现了自己卓越的外交才能，通过积极运作，同时也得到了英国方面德鲁里(Arthur Drewry)和劳斯(Sir Stanley Rous)两位先生的大力协助，终于在1946年成功争取英格兰、威尔士、苏格兰和北爱尔兰四个足协组织加入。而一直到现在，这四个英国的足协组织仍然享有独立参加世界杯的资格。
曾经协助雷米特25年之久的比利时人希尔德雷亚斯(Rodolphe William Seeldrayers)成为国际足联第4任主席，他在上任之时便成功组织了国际足联成立50周年的庆典活动。不幸的是，希尔德雷亚斯于1956年10月过世。第二年6月9日，已经代理主席职务半年之久的德鲁里(Arthur Drewry)正式当选为国际足联主席。德鲁里先生在成功举办了1958年瑞典斯德哥尔摩(Stockholm)第6届世界杯之后，于1961年去世，享年70岁。
随后一直到1961年9月28日国际足联特别大会之前，国际足联的运作都由瑞士人托门(Ernst B.Thommen)领导。托门曾是1954年、1958年和1962年三届世界杯组委会主席，他为国际足联做出了大量出色的工作。在那届大会上，鲁斯爵士(Sir Stanley Rous)当选为国际足联第6任主席。
