Quando ero ragazzino, parecchi (troppi) decenni fa avevo fatto anche io questo ragionamento, ma all'atto pratico avevo poi dovuto ricredermi.
Non è una questione di interfacciamento, non ci sono difficoltà particolari sotto questo punto di vista, sensibilità ed impedenze si adattano senza particolari problemi, il rischio nasce dalla dinamica del segnale generato dallo strumento, specialmente se del tipo a corde (chitarra. basso) in cui è facile mandare in uscita segnali di livello elevato suonando certi pezzi, specialmente sul basso ed usando un plettro.
L'ampli probabilmente andrà in saturazione e, in ogni caso, per pochi attimi genererà dei picchi di tensione molto elevati che verranno spediti, amplificati, al diffusore.
Il fatto che esista un crossover (quello che tu chiami filtro) non risolve, ad un woofer arriverà tutta la gamma di frequenze generate dal basso, senza alcun filtraggio, i picchi saranno tali da imprimere uno spostamento del cono molto pericoloso, la dinamica di un brano musicale riprodotto non arriverà mai a questi livelli.
Anche se terrai il volume basso il picco ci può sempre scappare e ne basta uno ben fatto per rovinare il woofer.
Discorso analogo per il tweeter, in più qui ci sarà il problema della possibile distorsione, per cui c'è il rischio di trovarsi la bobina bruciata in un attimo.
Al tempo ho realizzato alcuni ampli per strumenti musicali, la parte elettronica era tutto sommato abbastanza normale (valvole). ma per gli altoparlanti avevo dovuto usare per forza quelli appositi per strumenti musicali.