不当な理由がない限り、基本的に断ることはできません。
就業規則等に異動のない旨が明示されている場合や職種限定特約が規定されている場合は別ですが、異動(配転・転勤)の可能性が明示されている場合や特に取り決めがない場合(現実にはこちらの方が圧倒的に多いです)については、基本的に断ることはできません。
まともな企業であれば、異動には何らかの正当な理由があるものです。特に若手総合職に対して行われる異動は、能力開発や適性配置など、社員の育成や業務効率の向上を意図して行われるものが殆どです。新たな仕事・職場に就くというのは誰しも抵抗や不安があるものですが、個人の好き嫌いや我侭をいちいち聞いていたら、組織だって成り立ちません。
そもそも人は慣れ親しんだ環境で同じ仕事ばかりをやっていては成長しません。イチロー選手や桑田投手のような自己啓発力に秀でた人は別格でしょうが、凡人の場合、必ずマンネリ化を招くものです。もっとも「いじめ」や「嫌がらせ」「解雇目的」など、不当な理由に基づく異動命令であれば戦う必要もありますが(労働基準監督署へ相談を!)、そうでない場合は「成長のための試練」として甘んじて受けるべきでしょう。
但し、職務内容や人間関係が変わることが原因でノイローゼや鬱病になる人もいますし、転勤を伴う場合など、家庭の事情や経済的な負担を強いられる場合もあります。過去の判例では、育児や介護などを理由とする転勤拒否すら認めていないなど、労働者に対して極めて不利で時代遅れな見解が示されてはいますが、法律がどうあれ、この辺りはむしろ企業側の方が柔軟な対応を示すことも多いです。もし自力では消化できそうもない拒否反応があったり、物理的に受容困難な事由があるのなら、悩みを無理に抱え込まず、上司や人事に相談してみて下さい。