『払いたくない』『離婚後は自分の子どもでなくなるから』『時々しか会えないから』
『別れた妻に渡す金はない』『親権者ではないので払いたくない』
これらの言い分は『養育費を払いたくない・払わない人』の言い訳です。
何か焦点がずれていることに、気付いていない人の勝手な言い訳です。
そもそも養育費とは『誰に対して支払うべきものなのか？』『なぜ支払わなくてはいけないのか？』の部分が忘れ去られています。

養育費とは・・・
子どもの養育などのための費用。
実際に子供を育てる者か、養育義務のある法律上の親に対して請求するもの、離婚した父母のうち子どもを育てるもう一方の親に対して請求するものをいう。

親権の有無にかかわらず親は当然、子の養育費を負担する義務があるのです。
離婚後、自分の子どもでなくなると理解しようが、時々しか会えないからと言おうが、子どもには『自己と同等の生活レベルを保持させなくてはならない』という生活保持義務があるのです。
父・母どちらが一緒に生活をしたとしても、子どものことに関しては離婚後も協力し合わなくてはいけないのです。それが親としての最低限の役割なのです。

養育の割合は父母の資産・職業・収入などの事情を考慮して決めるために、離婚の際に支払方法を定めておくことが良いとされています。（子どもが何歳になるまで支払う・金額・など）
生活状況に変化があった場合でも、子どもは独自の権利として親に対し扶養料請求もできるのです。その一方で、支払い側が経済的な事情により困窮した場合には、家庭裁判所にて変更または取り消すこともできます。

上記のような勝手な言い分で、話し合いがまとまらなければ家庭裁判者へ調停を申し立てることもできます。
トラブルにならないためにも、公正証書を作成することをお勧めします。
２００５年４月から、養育費の不払いに家庭裁判所が制裁金を科す制度が導入されています。