A metà novembre del 1522, ottemperati i propri doveri nei confronti del nuovo pontefice, Castiglione può finalmente lasciare Roma e ritornare a Mantova: egli è mosso in parte dalla volontà di sfuggire la peste, che dal mese di luglio infierisce lungo le rive del Tevere, e in parte dal desiderio di riabbracciare i figli.

Il 20 marzo 1523 Baldassarre riceve dal marchese Federico Gonzaga un decreto ufficiale nel quale sono riconosciuti pubblicamente i suoi molti servigi e meriti e, inoltre, il principe dichiara di essere a lui debitore della nomina a generale dell’esercito pontificio.

Fatto testamento, nell’autunno partecipa al seguito di Federico, e sotto le sue insegne, alla campagna militare che questi è chiamato a condurre in Lombardia, alla guida delle milizie della Chiesa e della Repubblica di Firenze, a sostegno del duca di Milano Francesco II Sforza minacciato dai francesi. Castiglione, senza troppo entusiasmo, è insignito dei gradi di capitano di una compagnia di cinquanta uomini d’arme a cavallo. Il ritorno alla vita militare si rivela tutt’altro che agevole, anche a causa di un inverno precoce; così in una lettera del 14 novembre, scritta da Pavia alla marchesa Isabella d’Este, egli sfoga il suo rancore sui nemici: “Tutti desiderano vivamente che la guerra finisca, per ritornarsene a casa e che il gelo sia tanto grande, che pigli tutti questi francesi, se non di qua dai monti, almeno a quella capelletta del Monsenis” (V. Cian, Un illustre nunzio pontificio del Rinascimento. Baldassar Castiglione, Città del Vaticano 1951, 100).

Il 21 novembre, costretto il marchese a interrompere la campagna militare per una grave infezione, Baldassarre è di nuovo in patria, nella dimora famigliare di Casatico, in compagnia della madre Aloisia e dei figli. Qui lo raggiunge, da Roma, la notizia che, dopo la morte di Adriano VI, è stato eletto al pontificato il cardinale Giuliano de’ Medici, con il nome di Clemente VII.

La bandiera del Ducato di Milano