这种情况确实需要谨慎对待。你的银行卡关联着个人身份信息，所有资金流动都会留下记录。如果是正常的商业往来、合法交易倒也无妨。但万一涉及非法洗钱、虚假账目等违法行为，作为账户持有人你也难逃干系。即便只是普通的债务纠纷或赖账行为，你也可能被卷入其中。

当建筑公司老板利用你的银行卡从事违法勾当时，作为卡主的你很可能被牵连其中。这种情况下，建议立即向劳动监察部门和银保监机构举报投诉。

另外，长期掌控你的银行卡和密码的行为，本质上等同于变相扣押个人财产，对你极为不利。即便不是违法行为，也可能是为了拖欠工资做准备——虽然每月往卡里打钱，但实际控制权却不在你手中。

老板这番操作八成是为了应付监管检查。把工资打进银行卡看似正规，实则暗藏玄机——账面上做得漂漂亮亮，私下里却用现金发放工资。这样一来，既能在检查时拿出正规凭证，又能随心所欲地操控实际发放金额。

正所谓"道高一尺，魔高一丈"，这些黑心企业主总能想出各种钻空子的花招。他们深谙如何在法律边缘游走，既不会踩到红线，又能把员工玩弄于股掌之间。这种表面合规、暗箱操作的做法，把打工人的权益当成了可以随意摆弄的玩物。

关于工资卡被扣留的法律维权建议：

根据我国现行法律规定，您有权要求用人单位返还被扣留的工资卡。具体法律依据如下：

1. 《中华人民共和国民法典》相关规定：

- 第1167条：明确规定了财产返还请求权

- 第1184条：对财产权的保护条款

2. 劳动保障相关法规：

- 《工资支付暂行规定》明确禁止用人单位克扣或无故拖欠劳动者工资

- 《劳动合同法》规定用人单位不得扣押劳动者证件或财物

维权建议步骤：

1. 首先以书面形式向用人单位提出返还要求

2. 如遭拒绝，可向当地劳动监察部门投诉

3. 必要时可申请劳动仲裁或提起诉讼

注意事项：

1. 注意收集和保存相关证据

2. 维权过程中注意方式方法，避免激化矛盾

3. 建议咨询专业劳动法律师获取针对性建议

以上法律救济途径均可主张要求用人单位停止侵权行为并返还财产。