撞到线杆属于道路交通违法行为，违反了交通安全规定，扣分应综合考虑事故情节和驾驶人的过失程度。根据《道路交通安全法实施条例》规定，驾驶机动车发生交通事故，负事故全部责任的，应当扣12分；负事故主要责任的，应当扣6分；负事故次要责任的，不扣分。因此，具体扣几分要结合事故的性质、情节和责任人的过错程度，交警会依据相关法律法规，进行合理认定。同时，驾驶人应该遵守交通安全规定，提高交通安全意识，减少交通事故的发生。