新公司不开票就不用进行税务登记吗？

 不是的。不办理税务登记除了无法开票外，还有可能无法开立银行账户，面临行政罚款。

根据税务登记管理办法（国家税务总局令第48号）第一章之有关内容，纳税人在办理下列事项时，必须提供税务登记证件：（一）开立银行账户；（二）领购发票。纳税人办理其他税务事项时，应当出示税务登记证件，经税务机关核准相关信息后办理。

根据第二章之有关内容，企业从事生产、经营的纳税人领取工商营业执照的，应当自领取工商营业执照之日起30日内申报办理税务登记，税务机关发放税务登记证及副本。

根据第九章之有关内容，纳税人不办理税务登记的，税务机关应当自发现之日起3日内责令其限期改正；逾期不改正的，可以处二千元以下的罚款；情节严重的，处二千元以上一万元以下的罚款。