തൃശൂരില് രണ്ടാം വട്ടം തോറ്റപ്പോള് തന്നെ കോണ്ഗ്രസ് വിട്ട് പോകണമെന്ന് തീരുമാനിച്ചിരുന്നു. സഹോദരന് മൂന്ന് പാര്ട്ടിയുടെ പ്രസിഡന്റായിരുന്നു. പിതാവ് കെ കരുണാകരന് ജീവിച്ചിരുന്നെങ്കില് കോണ്ഗ്രസ് വിടുമായിരുന്നുവെന്നും അവര് പറഞ്ഞു. കൂടാതെ ചന്ദനക്കുറിയിടുന്നതിന് പാര്ട്ടിയിലെ പലരും എതിര്ത്തിരുന്നുവെന്നും പത്മജ പറഞ്ഞു.