To nazubljivanje je "normalno" za Canvas zato što on ne podržava anti-aliasing. Povećavanje DPI ti neće pomoći ako pričamo o iscrtavanju po ekranu, zato što je DPI ekrana direktno proporcionalan rezoluciji koju trenutno koristiš. Jedino što ti može pomoći je da koristiš GDI+. To je napredan sistem za rad sa bitmapiranom i vektorskom grafikom koji koristi hardversku akceleraciju (ukoliko je dostupna), čime se drastično ubrzava iscrtavanje i omogućavaju se određene kompleksne operacije nad onime što se crta (kao što je anti-aliasing svih linija).

Evo nekoliko linkova sa informacijama o GDI+, najpoznatijim Delphi GDI+ implementacijama, kao i par biblioteka koje ne koriste GDI+ ali su jednako dobre:

http://msdn.microsoft.com/en-us/library/ms533797(v=vs.85).aspx
http://msdn.microsoft.com/en-us/library/ms533798(v=vs.85).aspx
http://en.wikipedia.org/wiki/Graphics_Device_Interface

http://www.bilsen.com/gdiplus/index.shtml
http://www.progdigy.com/?page_id=7

http://www.antigrain.com/about/
http://graphics32.org/wiki/
http://angusj.com/delphi/gr32_lines.php
http://www.imagemagick.org/script/index.php

Ja lično nisam radio sa GDI+ niti sa nekom od navedenih biblioteka pa ne mogu da dam više informacija ili primera, ali siguran sam da ovde ima takvih, pa ako treba još informacija, slobodno pitaj dalje.