L'association a été fondée en 1890 sous le nom de « noble association des chevaliers pontificaux » avec l'encouragement et l'appui du Pape Léon XIII qui souhaitait, vingt ans après le dernier sacrifice des zouaves pontificaux à Rome, que soient réunis en une distinction particulière les titulaires initialement français des ordres et dignités décernés ou reconnus par le Saint-Siège. Le Souverain Pontife reçut donc avec faveur le projet de statuts de l'association que lui présentait le vicomte de Poli qui avait été lui-même zouave pontifical. Ces statuts furent officiellement approuvés le 26 août 1890.

Très connu à l'époque dans le monde catholique et bénéficiant de l'estime du Saint-Père, le vicomte de Poli œuvra efficacement pour que de nombreux catholiques français ayant reçu une décoration pontificale se retrouvent au sein de l'association dans un esprit de charité, d'assistance mutuelle et d'immuable fidélité à la Papauté. L'association des chevaliers pontificaux se développa ainsi rapidement en regroupant des serviteurs de l'Église soucieux de propager les enseignements pontificaux, de participer à des œuvres de charité et de s'entraider en cas de besoin.

Les activités de l'association se sont poursuivies tout au long du XXe siècle - en particulier en faveur des prêtres âgés - et ont été régulièrement approuvées par les successeurs de Léon XIII. C'est sous le pontificat du Pape Pie XI que furent actualisés les statuts de l'association dont l'approbation fut confirmée en 1936.

Alors qu'il était Nonce apostolique en France, le cardinal Roncalli - devenu en 1958 le Pape Jean XXIII - avait présidé la manifestation officielle du soixantenaire de l'association en la cathédrale Notre-Dame-de-Paris en 1950. Le Pape Paul VI, au cours d'une audience privée en 1967, marqua tout spécialement son intérêt pour l'action des Chevaliers Pontificaux. Les Nonces apostoliques en France se sont toujours intéressés de très près aux activités de l'association, encourageant les adhésions et présidant chaque année les manifestations qui marquent l'assemblée générale.