Ne znam o cemu pricas. Da ne mislis mozda na determinante? Nisam siguran jer pominjes kvadratne matrice a determinante su sve kvadratne.

mozda mislis na matricu 2x2 da promeni u 3x3 .. ali ne razumem sta ce mu to ... ?

Znam na šta misli, ali se zaboravilo. Dijagonalna matrica je ona gde se jedini elementi različiti od 0 (ako ih ima) nalaze na glavnoj dijagonali.
Ovo se koristi kod prevodjenja jednačine npr. krive drugog reda u kanonski oblik, a ovo je zapravo traženje tranformacije koordinatnog sistema.
Ali, kao što rekoh, zaboravio sam postupak. Znam samo da nije baš elementarno, ali trebalo bi da ima u svakoj kjnizi iz linearne algebre.

Evo, malo kasnim sa odgovorom, ali bolje ikad nego nikad :), a možda još nekom zatreba.
Najbolje kroz primer :

Traži se matrica P tdj. :
Pritom je P ortogonalna matrica, tj. takva da je P^T=P^-1.
Za A se nalazi tzv. karakteristični polinom :

čije su nule :

Kolone matrice P su sopstveni vektori matrice A za sopstvene vrednosti 7 i -6, što bi trebalo (ovo nisam najsigurniji, ali radi) da se dobije kao neko netrivijalno rešenje jednačine
i analogno za drugo rešenje.
Tako dobijamo :

i konačno :


Sve to isto, samo malo više posla, za matrice višeg reda.