工厂休假扣工时是否合法需要根据具体情况来判断。

一般来说，在正常的工作制度下，如果工厂按照法律法规和劳动合同的约定，给予员工应有的休假权利，比如法定节假日、带薪年假等，在这些休假期间是不应该扣工时的。因为这些休假是员工依法享有的权益，工厂不能以此为由扣除员工的工时或工资。

然而，如果员工的休假并非是法定的或者合同约定的，比如未经批准的私自休假、旷工等，那么工厂有权根据相关规定扣除相应的工时或采取其他惩罚措施。

另外，在一些特殊情况下，工厂可能会因为生产经营的需要调整工作时间和休假安排。如果工厂提前与员工进行了充分的沟通和协商，并按照合法的程序进行操作，那么在一定程度上扣除工时也可能是被允许的，但前提是要保障员工的基本权益和合理报酬。

还需要注意的是，工厂的扣工时规定必须符合法律法规的要求，不能存在不合理、不公正的情况。如果员工认为工厂的扣工时行为不合法或不合理，可以通过与工厂协商、向劳动监察部门投诉或通过法律途径来维护自己的权益。

总之，判断工厂休假扣工时是否合法不能一概而论，需要综合考虑多种因素，包括休假的性质、工厂的规定以及法律法规的要求等。员工应该了解自己的权益和义务，同时工厂也应该依法依规进行管理和操作，以确保劳动关系的和谐稳定。

《中华人民共和国劳动争议调解仲裁法》第二条