Le nozze di Castiglione con Ippolita Torelli vengono celebrate a Mantova il 19 ottobre 1516. Il 3 agosto 1517 nasce il primogenito Camillo. Il 17 luglio 1518 nasce la figlia Anna; il 14 agosto 1520, infine, viene alla luce la figlia Ippolita. Il 25 agosto 1520, però, Ippolita Torelli muore, non ancora ventunenne, probabilmente sfibrata dalle gravidanze susseguitesi senza intervallo.
Ancora ignaro del dramma, il 27 agosto, da Roma, Baldassarre scrive alla madre Aloisia comunicandole, nel medesimo tempo, la propria soddisfazione e i propri timori: “Heri, che fu alli 25, hebbi la littera de V.S., nella quale la mi avisava el parto de la mia consorte et el nascimento d’una figliola femina. Nostro S.re Dio ne sia laudato. Vero è ch’io havevo posto un poco de oppenione che dovesse esser maschio: pur questa anchor mi è carissima. [...] Penso che la mia consorte stia bene, perché, se quella febre gli fosse andata inanti, V.S. me lo haria pur avisato” (B. Castiglione, Le lettere, a c. di G. La Rocca, I, Milano 1978, 587-588).
La terribile notizia viene riferita a Castiglione dall’amico Bernardo Dovizi da Bibbiena, e, come quest’ultimo testimonia in una lettera a Federico Gonzaga, “gli apportò tanto cordoglio et tanto affanno che non fu di noi chi non lagrimasse di pietà” (V. Cian, Un illustre nunzio pontificio del Rinascimento. Baldassar Castiglione, Città del Vaticano 1951, 91). Per commemorare la defunta, e dichiarare pubblicamente il suo perpetuo amore, Baldassarre scrive allora un intenso epitaffio, destinato a essere poi riprodotto sulla tomba di Ippolita, in una cappella laterale della Chiesa di S. Maria delle Grazie, presso Mantova, costruita secondo le disposizioni testamentarie del 1523.
Di fronte alla morte della amatissima moglie, le parole di Castiglione sono una testimonianza di eterna fedeltà alla memoria coniugale, non incrinata ma rafforzata dal dolore del lutto: “Non ego nunc vivo, coniunx dolcissima: vitam / corpore namque tuo fata meam abstulerunt; / sed vivam, tumulo cum tecum condar in isto, / iungenturque tuis ossibus ossa mea” (F. Berni, B. Castiglione, G. Della Casa, Carmina, a cura di M. Scorsone, Torino 1995, 56; tr. it.: Io non vivo più, dolcissima sposa: la vita / me l’ha portata via il fato, insieme al tuo corpo; / ma vivrò, quando sarò con te seppellito in questa tomba, / e le mie ossa si uniranno alle tue).