Quella dei Castiglioni è una delle più antiche famiglie milanesi. Fin dal Quattrocento la memoria dei più importanti membri del casato era celebrata in una serie di arazzi rappresentanti le vicende familiari e in rinomate gallerie di ritratti che decoravano i palazzi di Milano e le residenze di Castiglione Olona. I vari membri della parentela si distinsero come alti prelati /abati, vescovi, cardinali), giuristi,mercanti, commercianti, banchieri, cancellieri, segretari, e consiglieri ducali, furono impegnati nel mestiere delle armi e divennero stimati uomini di lettere, la loro fama raggiunse le Fiandre e l’Ungheria contribuendo a vivaci scambi culturali del mondo rinascimentale. Rami del casato si stanziarono a Bari e a Mantova; da quest’ultimo nacque il celebre Baldassare autore del IL CORTEGIANO,, testo simbolo del Rinascimento. Se in Milano i guelfi Castiglioni avevano il loro quartier generale attorno all’attuale piazza della Scala, nel contado la base geografica del loro potere corrispondeva in parte a quel corso dell’Olona su cui è insito il Borgo di Castiglione Olona.
Quello del castello di Castiglione Olona è una storia di continue distruzioni e rifacimenti. Il prefisso del toponimo (che contiene la parola castello) e la presenza delle vicine fortificazioni di Torba e Castelseprio portano a ipotizzare che a Castiglione sorgesse un castrum incluso nel sistema fortificato romano a controllo della valle dell’Olona e delle strade qui convergenti che collegavano Como a Novara e Milano alle Alpi. Le notizie certe del castello risalgono all’XI sec. Più volte smantellato e ricostruito nel Duecento nell’ambito dei conflitti tra Torriani e Visconti, l’edificio venne ricostruito a partire dal 1423 sui iniziativa dei Castiglioni guidati dal cardinale Branda. A partire da queste date, con la costruzione della Collegiata, il castello divenne anche il centro religioso del paese. Il castello e le cappellanie della Collegiata erano gestiti in condominio dal consorzio della nobile parentela dei Castiglioni, che eleggevano in assemblea il castellano e i cappellani, e partecipavano in comune alle spese di ristrutturazione della fortezza. Dopo la morte del duca Filippo Maria Visconti (1447), alcuni Castiglioni si fecero promotori della costituzione della Repubblica Ambrosiana e il loro castello nel Seprio venne occupato e in parte distrutto da Filippo Maria Visconti conte di Albizzate (1448-1451) e partigiano di Francesco Sforza (1451-1466). Con la fuga di Lodovico il Moro (1480-1499) e l’ingresso dei Francesi a Milano (1499) quasi tutti i membri della casata dei Castiglioni si schierarono dalla parte dei Francesi. Nei successivi dieci anni il castello venne più volte coinvolto nelle scaramucce tra i mercenari dei cantoni svizzeri e le armate del re di Francia: anche per i castiglionesi furono particolarmente duri i saccheggi del 1510. Con l’ascesa al trono ducale di Massimiliano Sforza i membri più in vista del casato Castiglioni vennero dichiarati ribelli e confiscati nei beni. Nel 1513 il duca ordinò al senatore Giovanni Battista Pusterla la distruzione totale del borgo e del castello, ma i Castiglioni dietro l’esborso di un’ingente somma si accordarono con il capitano svizzero incaricato del saccheggio affinché venisse distrutto solo il castello, salvando così le chiese e i palazzi. Quanto sopravvissuto del fortilizio venne raso al suo definitivamente nel 1522 da Francesco II Sforza al rientro del quale i Castiglioni furono nuovamente condannati e confiscati.
Il castello sorgeva sullo sperone dominante la valle dell’Olona.Il circuito delle mura doveva essere pressochè quadrilatero e per tre lati la difesa principale era quella naturale costituita da uno strapiombo di circa venti metri sul fiume.Le fonti ricordano possenti torri che elevavano ulteriormente l’aspetto del complesso sulla vallata sottostante. Del castello resta soloil portone d’ingresso sito al termine della ripida strada che sale dal borgo e un tempo difeso anche da un ponte levatoio posato su un fosso ora interrato. Forse la torretta sita accanto alla sacrestia della chiesa, lo stesso campanile e l’edificio in cui è incluso il battistero sono i resti delle antiche torri fortificate del maniero. La chiesa dei Santi Stefano e Lorenzo (Collegiata)venne edificata in castello tra il 1421e 1428 in sostituzione di una vecchia chiesa dedicata a San Pietro, ad opera di Alberto Giovanni e Pietro Solari, figli del Marco da Corona (CH) architetto del Duomo di Milano.