貫通穴を歪まずに斜めに抜く方法

一般論としては、
1．最初にセンタードリルなどの太く、高剛性な刃具にてガイド穴をあける。
2．次にスターティングドリルなど極力溝の短いドリルでできる限り切削する。
3．スターティングドリルでの限界深さに達してから、通常のドリルで切削する。この時も、ドリルの溝長さドリル突き出し長さを極力短くする。
4．ドリル先端は月光ドリルやXシンニングなどチゼルに切れ刃を形成した物を用い、スラスト抵抗を低減する。(スラスト抵抗抵抗が少なければ、ドリル座屈による曲がりを防げる。)
5．ドリルは超硬合金製を用い、ヤング率によって剛性を高める。

ドリルの保持はドリルチャックではなく、コレットチャックや焼きばめチャックが望ましいです。

押しすぎ

機械
ホルダー
ドリルの型式
を開示してください

穴曲がりの原因は色々あります。
ドリルの剛性、ドリルの振れ、被加工物の硬さ、切りかす、加工時の熱、
センター穴のズレ（ガイド穴）などです。
加工する長さ（深さ）が書かれていませんが、ドリル径の3～5倍を超える
加工では、曲がりの発生が中々抑えられません。

加工方法とすれば、ドリルの剛性を確保するために、チャックから出す量を
徐々に多くしていきます。
刃先は、機械研磨または新品を使い、リップハイト差（肩）を左右均等に
する必要があります。
ドリルを入れて加工する長さは短めにして、穴から抜いて切りかすを除去
します。

以下、参照して下さい。
https://jp.misumi-ec.com/tech-info/categories/machine_processing/mp03/b0017.html

それはドリルの持ち方が斜めになっているからです。自分では直角に
支えて居るつもりが、実際は僅かに傾いているんですね。これは誰に
でもある癖なので十分に注意しても斜めになります。

旋盤がありますが、これを使用するしか方法がありません。
旋盤はホームセンターで１～１．５万円で買えます。