鉴别矿物的物理性质主要依据包括颜色、光泽和硬度。这些性质是矿物成分和结构的不同所导致的独特特征,因此是鉴别矿物的关键依据。而质量和结构虽然也是矿物的属性,但并不是鉴别矿物的主要依据。因此,正确答案是A、B、C。