准确的编码规则,或者提供一份最新的码表。不然清洗后的数据,这个字段不可用。”
王海凑近看了看陈默指出的那些异常样本,眉头皱了起来。他手指在屏幕上敲了敲:“这么多乱七八糟的?”
“嗯,比例不低。而且分散在不同时间段,不像是偶然错误。”陈默说。
王海直起身,摸着下巴,思考了几秒钟。“联系天晟……他们那边IT对接人你又不是不知道,效率低,问个问题三天不回。而且这种细节问题,去问他们,显得我们水平不够,连个数据清洗都搞不定。”他摇摇头,“时间不等人。这样,你先按他们给的那个旧码表来,能对上的就归类,对不上的……”他顿了顿,“对不上的,你先统一归到一个‘其他’或者‘未知’类别里。标注一下比例。我们分析的时候,可以暂时把这类‘未知’交易单独拿出来看,或者按比例分摊到已知类别里做个估算。先把主干数据跑通,出个初步方向。细节问题,等后面深入分析的时候,有必要再去问。”
陈默看着王海:“王组,这样处理的话,如果‘未知’比例很高,或者‘未知’里的交易性质特殊,可能会对后续分析结论产生比较大的偏差。尤其是风险判断,可能失准。”
“我知道有风险。”王海语气有些不耐烦了,但很快又调整回来,拍拍陈默肩膀,“但咱们做项目,不能追求百分百完美,尤其是在时间紧的情况下。要抓住主要矛盾。你现在卡在这里,后面所有工作都得停。先按我说的办法处理,出一个可用的基础数据集。这是当前最重要的。有点偏差,我们在后续建模的时候,可以通过设置误差范围、做敏感性测试来弥补。快去弄吧,抓紧时间。”
陈默沉默了两秒,说:“行。那我先按现有码表清洗,无法识别的归为‘未知’,并记录比例和样例。但这个风险点,我会在数据说明文档里重点标注。”
“可以,标注清楚。就这样,快去。”王海挥手。
陈默回到座位,看着屏幕上那一片混乱的编码。他新建了一个“编码映射与问题记录”的子文件,详细写下了问题描述、王海的处理意见、以及自己将采取的具体步骤。然后,他修改清洗脚本,增加了按照旧码表映射、无法
本章未完,请点击下一页继续阅读!