Le jeune rayer est l’un des internes de Daniel Delaroche, puis d’André Marie Constant Duméril à la maison Royale de santé (1817). Duméril le trouve « un aimable et très instruit jeune homme » ; il l’engage pour ranger sa bibliothèque (notes d’Auguste Duméril) et envisage de l’emmener comme secrétaire dans sa tournée des jurys de médecine. Rayer fréquente la maison Duméril au début des années 1820.

Rayer obtient en 1813, ex æquo avec Jules Cloquet, le premier prix d’anatomie et de physiologie de la faculté et, en 1818, son doctorat en médecine, avec une thèse intitulée Sommaire d'une histoire abrégée de l'anatomie pathologique. Sous la Restauration, il épouse une protestante. Il a une nombreuse clientèle privée et exerce à l'hôpital Saint-Antoine (1825), à la Charité (1832) ; il devient ensuite médecin consultant de Louis-Philippe.

Il entre à l'Académie des sciences (1843), fait partie des fondateurs de la Société de biologie et devient, sous l'Empire, président du Comité central d'hygiène publique et de l'Association générale des médecins de France. médecin ordinaire de Napoléon III (1852), il est nommé à une chaire de médecine comparée, créée exprès pour lui à la Faculté de médecine de Paris, dont il démissionne en 1864. Il est doyen de cette faculté de 1862 à 1864.

Il entretint des relations amicales avec plusieurs disciples de Saint-Simon, Isidore Geoffroy Saint-Hilaire, George Sand.

Il publie en 1822 l’Histoire de l'épidémie de suette miliaire, qui a régné, en 1821, dans les départements de l'Oise et de Seine-et-Oise… et en 1826-1827 un Traité théorique et pratique des maladies de la peau…Ses recherches portent également sur les maladies des reins et l'agent de la maladie du charbon.