【话题讨论】基础数据的采集与整理如何能够化繁为简

这话题有点意思.发表点个人陋见.

从个人经验看,这个问题的解决需要业务\技术人员的相互配合,并且需要有了解业务过程且知晓技术处理过程的人员参与才能做到事半功倍,单靠某一方面的人员都难以完成.

业务人员首先要对现有数据或业务进行分析,将不概括性的信息用标准化的数据进行枚举,并将规则明确为计算机可识别的逻辑,这样才能实现信息向标准化数据的转化.

技术人员在业务人员梳理业务逻辑的过程中一定要跟随学习业务处理过程,并向业务人员讲解和演示技术处理方法,让业务人员知道什么是计算机能处理的,什么是计算机无法处理的,实现业务处理与技术处理的统一性,防止各干各的,最后搞出个什么都不是的东东.知识的双向充分互融学习是系统建设成功的重要保证.

业务需求完成后,技术人员完成业务规则的技术转化,并由业务人员实际操作来验证业务逻辑实现的正确性与便利性,再让未参与业务需求编写的熟练业务人员来试用,不设操作条件的试用,以发现技术处理问题或业务操作问题,完善计算机程序.

数据项一定要尽量少且明确,且数据项的重复性越少则数据的准确度会越高,操作界面中数据项间业务逻辑控制一定要正确,才有防止不符合业务逻辑数据的进入;同时,应在界面中为每个数据项提供规范性帮助内容,帮助用户了解并知晓该数据项的用途与业务关系.在数据采集过程中,应提供实时的互联界面,实现基层用户与上级高级用户或系统管理人员的问题解答,促进问题的实时解决.

在数据录入过程中,应有业务数据分析人员参与,通过常规和非常规分析方法查阅正在录入的各类数据,了解数据的准确性与业务数据的必要性,发现问题及时通过技术调整解决录入过程问题.

日常的业务数据分析应用中,应有专门人员抽查数据与对数据的验证,对于不符合业务逻辑的数据,应通过一定的途径进行修正,提高数据的可用性.

最后就是业务部门对数据要根据其敏感性确定出相应的容错性范围.

最后就是如有可能,应有一帮专门人员对非标准化信息的标准化数据转化模型进行开发与研究,实现高效的数据化处理过程,完全靠人工的规范性录入数据是比较低效的一种方式.