您的这种情况可以见于颈椎病、肩关节炎等的,还可以见于脑血管病变包括脑梗塞、脑部供血不足等的。建议最好去医院做做相关的检查比如颈椎、肩关节X线、头颅CT、血压、血糖等进一步明确病情,及时进行治疗比较好。
根据你的描述,在没有外伤的情况下,先是右胳膊,然后是左胳膊,出现酸痛无力。现在是冬季,不知道你夜间睡觉胳膊有没有在外受寒的原因,排除了这个原因,症状不缓解,建议去医院诊治。