U ovom dokumentu u poglavlju 5 http://www.maths.manchester.ac.uk/~ahazel/EXCEL_C++.pdf možeš detaljni primer jednostavne funkcije napisane u C++(Visual Studio) i pozvane iz Excel-a.

Ako treba da kreiraš više funkcija koje pozivaš iz Excela možda je najbolje da napraviš dodatak Add-in za Excel sa tim funkcijama. Ovde možeš pogledati uputstvo kako to da uradiš sa Visual C++ http://support.microsoft.com/kb/178474

Jedan primer add-in za Excel sa izvornim kodom možeš naći ovde http://www.codeproject.com/KB/macros/InterpolationAddin.aspx. Taj add-in dodaje nove funkcije koje se mogu pozvati sa radnog lista.

Nemam ličnog iskustva sa ovim, pa ti ne mogu više pomoći. Ja sam pre dosta vremena koristio u Excelu neke Activex kontrole napisane u C# bez nekih problema.

to je to što mi je trebalo.
pozabavit ću se i drugim kompajlerima jer ms c++ kompajler ne volim.