Aglaé Desnoyers, épouse d'Alphonse Milne-Edwards, reçoit parmi ses visiteuses, « M^lle Serret » (lettre du 23 janvier 1878). Il s'agit possiblement d'une fille de Joseph Alfred Serret, membre de l’Académie des Sciences ou bien de sa sœur, peintre, mariée, mais connue sous le nom de Marie Ernestine Serret.

Joseph Alfred Serret, (1819-1885) fait des études à l'École polytechnique (1838-1840), puis à l’École des tabacs. Il démissionne de son emploi d'ingénieur des tabacs pour revenir à Paris et travailler au collège Sainte-Barbe. Poursuivant des études de mathématiques, il devient examinateur d'admission à l'École polytechnique (1848-1862) et enseigne à la faculté des sciences de Paris algèbre, analyse, astronomie physique, calcul différentiel et calcul intégral. Il enseigne également la mécanique céleste au Collège de France (1861). En 1860, il est élu à l’Académie des Sciences ; il assure l'édition des œuvres mathématiques de Gaspard Monge (1850) et de Joseph Louis Lagrange (à partir de 1867).
Joseph Alfred Serret épouse en 1853 à Paris Cécile Marie Amélie Thomas. Il est possible qu'ils aient des enfants.

Sa sœur, Marie Ernestine Serret (1812-1884), peint des tableaux de style classique : portraits, natures mortes et scènes religieuses. Elle expose régulièrement de 1834 à 1849, au Salon des indépendants sous son nom de jeune fille « Serret ».
En 1845 elle épouse le polytechnicien Charles François Cabart-Danneville (1813-1884). Ils ont trois fils.