Sergent a fait ses études à l’Ecole spéciale d’Architecture, où il est l’élève de l’ingénieur Emile Trélat. En 1884, il entre dans l’agence d’Ernest Sanson considéré alors comme le meilleur architecte pour les demeures privées. Sous sa direction, Sergent se passionne pour les œuvres des architectes français, de Mansart à Brongniart, et tout particulièrement pour celles des Gabriel. Il est présent lors de la mise au point du chef-d’œuvre de Sanson, le Palais rose de Boniface de Castellane.
Vers 1899, Sergent prend son indépendance. Ayant su se faire apprécier du comte de Fels, qui s’est adressé à l’agence de Sanson pour la construction du château de Voisins, il se voit confier personnellement le projet. Rompant nettement avec l’architecture avide d’originalité mais vite démodée de la génération précédente, et poussant encore plus loin les progrès dans le confort ou dans la commodité de la distribution, il devient alors célèbre pour la construction d’hôtels particuliers et de châteaux dans un style classique très pur.
Son œuvre est abondante dans les quinze premières années du siècle.
Il construit jusqu’à Buenos-Aires, New-York, Londres, Santa Fé.
Il agrandit et réaménage le Savoy et le Claridge à Londres.
À Paris, on lui doit par exemple l’hôtel du grand couturier Jean-Philippe Worth, 4 avenue Émile-Deschanel, sur le Champ-de-Mars, l’hôtel Otto Bemberg, 28 rue Émile-Ménier, ou l’hôtel des frères Duveen, 20 place Vendôme, sans oublier le célèbre grand hôtel de voyageurs, le Trianon Palace à Versailles.
Il édifie l’hôtel de Moïse de Camondo, 63 rue de Monceau de 1912 à 1914 et s’occupera jusqu’à sa mort de l’entretien et des transformations.
En 1921, il prend comme associés les architectes L. Fagen et R . Bétourné, qui continueront son œuvre après 1927 au sein d’un cabinet Sergent.