问题描述
在为灰度算法写tf serving的py客户端时,预测1000条样本,竟然要1200ms,发现预测的时间其实很短,不到5ms,95%的时间耗在了tf.make_tensor_proto这个方法上。
BTW:java api似乎没有碰到这个问题。
1 | def tf_serving(ids_list, vals_list): |
解决方法
方法1:
这个方法有比较明显的效果,同样1000条样本,数据处理时间能降到400ms。
1 | from tf.contrib.util import make_tensor_proto |
方法2:
直接导入相关模块,这个方法有非常明显的效果,数据时间能降到10ms左右。
1 | def tf_serving(ids_list, vals_list): |