关于数据预处理+清洗，如何跟 AI 相结合的问题思考与探讨

补充：80%的产品，会有 50~150 种不同的参数。 举例：颜色，重量，体积，长宽高，电源，功率，输出，usb 接口类型、个数，电池容量，待机时间，，，，，，，， 类似参数很多 还有更多专业参数，不一一列举。

参数数据模型、清洗归一字典、同义词表、向量化、相似性搜索

给 AI 分步处理呗，先让 AI 获取参数字段，再传入参数字段获取值，这就简单了

这个是数据归一化+分类处理
数据实际值为 a1, a2 ，分类标准为 b ，寻找 a1/a2/b 对应关系
如果 b 为准确的、不可变的，一般有两种做法
1. a1/a2 分别向 b 分类(逼近)，b 相同则 a1/a2 为对应
2. 如果 a1/a2 有较容易匹配的关系，可以将其中一个设为分类标准 A ，另一个为 A1 ，A1 向 A 寻找对应关系，然后将 A 和 b 寻找对应关系，这样三者也能建立对应关系

此题“客户需求场景”为 b ，“商品供应方”和“商品需求方”为 a1,a2
现在 b 有几十万，涵盖是比较高的，而且入库标准就是 b ，应该不是大到小的聚类，而是直接特征匹配；所以两端逼近法可能合适，a1/a2 各自找出“特征”，和 b 匹配

现在关键是不知道这些数据中 a1/a2 是怎么描述的，如果关键字明显，基本做文字匹配就可以了；但如果不明显，例如你说的同一个参数名好几种名称叫法，这可能需要一个字典（相当于人工打 tag ）

不过以目前 llm 的理解能力，都不容易做，估计反向验证步骤少不了，甚至需要人工验证

这类问题全用 AI 难出结果，一般是结合 AI ，该用数据库的用数据库，能用其他工具的也用上；
最后可使用 AI Agent+各类工具（如 db tool, search tool ）来处理，效果会好些（但 AI 的特点就是不能 100%准确，这要考虑到）

谢谢各位的建议，我也认为这是一个需要传统方法去解决的问题，AI 可以做部分协助，整体的自动处理流程上，AI 还是参与不上 ，，，
（客户强调用 AI 协助处理 并且可以他们配置高性能服务器几显卡等等，还是想不出很好的 AI 参与方式，如仅仅是问答和大量文本内容抽取参数的关键词啥的，也无法很好的格式化 参与到应用中）

没实践过。但个人思路同 #4 一致。或许人工打 Tag 那块可以用 LLM 辅助。

emmmm ，如果是客户强烈要求。咋做都行,只要不是 100%正确。就是 bug 。现阶段 llm 做不到 100%