切削目の粗さについて

５面加工機で切削した箇所の切削目の少なくなる加工方法を教えてください。
図面指示にあるＲa6.3（▽▽）は精度的に出来ています。
しかし、切削目が均一に出ておらず見た目が良くないと顧客に言われ困っています。
段差がある部分の加工のためエンドミルで加工しており又材質はSS41のためか所々「むしり取ったような」箇所があり、フルバックの刃で切削したような面の均一さは出ません。また構造上ビビリが発生しやすくうまく出来ないと加工先から言われております。
加工方法、切削条件を調整する範囲でクリヤーできるものなのでしょうか？
現在の切削条件は（エンドミル）
1.仕上げ加工時：主軸回転数（500RPM)送り速度（２00ミリ）削り代0.05
　（2回かけている）
2.荒仕上げ　　：主軸回転数（500RPM)送り速度（300ミリ）削り代0.5から1
3.切削する面の長さ：約2600mm3000?
となっています。なお荒削り時の目の粗さが仕上げ時に残っているのでは？　
との疑問もあります。
何か良い方法があればご指導ください。