A Roma Castiglione si trattiene fino all’aprile del 1504, affascinato, oltre che dalle bellezze archeologiche della città, dall’intensa vita intellettuale promossa da umanisti, poeti e prelati di varia provenienza. In questo contesto entra in rapporto con il duca di Urbino, Guidubaldo di Montefeltro, il quale, dopo la morte di Alessandro VI (agosto 1503) e l’elezione al papato di Giulio II, ha recuperato il proprio stato, che, nel giugno del 1502, gli era stato proditoriamente sottratto da Cesare Borgia. L’incontro, rivoluzionario, accende nella mente di Castiglione il desiderio di passare da Mantova a Urbino, dall’uno all’altro signore, poiché Guidubaldo appare ai suoi occhi assai più simile che Francesco Gonzaga al proprio ideale, umano e civile. La statura morale e culturale di Guidubaldo è troppo superiore a quella del mantovano, riservato e freddo, sospettoso e invidioso, perché Baldassarre non si senta premuto dal sogno di cambiare bandiera. Tramite il cugino Cesare Gonzaga, già familiare del duca, prende così i primi accordi con Guidubaldo per essere chiamato al suo servizio.
Rientrato a Mantova, il 10 giugno 1504 chiede al marchese Francesco Gonzaga licenza di entrare alle dipendenze del duca di Urbino. Dietro questa risoluzione, gravida di conseguenze per la biografia di Castiglione, si è supposto che agisse, oltre che il fascino di Guidubaldo, una insanabile inimicizia con il principe di Mantova, che, determinata dalla incompatibilità dei rispettivi temperamenti, durava, per ragioni ancora oscure, ormai da qualche anno.
Al termine della giovinezza Castiglione decide dunque, pur di rimanere fedele a sé e ai suoi valori, di rescindere drammaticamente i legami, famigliari e feudali, con i Gonzaga, avendone in cambio, con la libertà, una oscura e permanente minaccia, che gli impedisce fino al 1514 di rimettere piede in patria senza rischio della vita, non bastando a salvaguardarlo dal rancore del marchese l’immunità diplomatica. Difatti, in una lettera alla madre, datata 1 Novembre 1504, Castiglione scrive: «Io non voglio per niente venir a Mantua, per adesso: bastaràmi per adesso visitar la M.V. cum queste littere, ché mai non penso di Mantua, che non mi venga un capillo canuto. E se non fosse la M.V., io non li pensaria mai» (B. Castiglione, Le lettere, a c. di G. La Rocca, I, Milano 1978, 35).