从你的描述看,你这种情况有可能是西医上的男子乳房发育症,有可能是吃药引起的,也有可能是肝功能异常导致的雌激素灭活减少。
建议去内分泌科就诊,做乳腺彩超检查,查一下肝功能,以明确诊断,平时适当运动保持心情舒畅,勿食油腻,勿食辛辣,多吃新鲜水果蔬菜及高蛋白食物。