1.Q：time_stamp的编码格式？
A：所有时间统一为“yyyy-mm-dd hh:mi:ss”格式。其中yyyy表示年，mm表示月，dd表示日，hh表示小时，mi表示分钟，ss表示秒。

2.Q：空值的表示方式？
A：数据文件中，两个逗号间没有内容即表示该属性为空。例如，“2,哈尔滨,64,19,,,1,超市便利店,超市,” 对应为：

3.Q：空值的意义？
A：score，comment_cnt属性的空值代表没有人进行过评分或评论。cate_3_name属性的空值代表不存在第三级分类。

4.Q：文件的编码方式？
A：所有文件均采用UTF-8编码。

5.Q：提交结果后Loss显示为NaN？
A：NaN代表您的提交存在错误。请检查提交文件内容的完整性，以及格式的正确性。可以参考prediction_example.csv的格式。
首先请确认shop_id是否正确。shop_id应该为1至2000的整数值。缺少或异常的shop_id都会导致提交错误。
其次请确认预测结果格式是否正确。预测结果应为非负整数，而且不能为空。

6.Q：如果真实客户流量为0，提交预测结果也为0，则loss为？
A：Loss定义为0。

7.Q：数据时间段的问题？
A：user_pay表的具体数据时间范围是2015-06-26 06:00:00至2016-10-31 23:00:00。
user_view表的具体数据时间范围是2016-06-22 00:00:00至2016-10-31 23:00:00。
extra_user_view是额外提供的用户浏览数据，其数据结构同user_view表相同，其具体数据时间范围是2016-02-01 00:00:00至2016-06-21 23:00:00。
user_pay表中，存在某些商家在某一时间区间内没有用户支付行为的情况。这是由于该商家在该时间段因某些原因没有正常经营导致的。

我们保证在预测区间2016.11.01-2016.11.14内，所有商家都在正常经营。

8.Q：数据的详细描述？
A：user_pay表是用户线下（非外卖消费，是到店消费）前往口碑店铺使用支付宝进行消费的记录。
user_view表是用户线上在口碑平台浏览商家产生的记录。浏览行为指点击进入商家详情页浏览的行为。
shop_info中，处于同一个location_id的商家相互距离小于2km，而且location_id本身没有实际意义。
shop_level是口碑平台对商家规模的一个评价指标，例如个体餐饮商家的门店等级低于大型全国连锁的商家。

9.Q：如果一个用户在一天内在某商家里支付了2次，那么客户流量算2还是1？
A：2。每次支付算一次做客户流量。

10.Q：数据共享的问题？
A：首先，数据渠道必须公开，处理思路也要描述。其次，是否上传具体分析。
举例来说：
处理过的公开爬取的数据最后需上传提交，是否在论坛公开由参赛者自行决定。
如果使用付费数据，不必上传，也不必公开。只要说明来源和处理思路即可。

处理思路：

1、目的：预测 所有店铺 （2000家）在2016.11.01-2016.11.14（14天）内 各自每天（00:00:00-23:59:59）的客户流量。预测结果为非负整数。

一共2000行，每行第一列A代表shop_id商家的id，第二列B到第十五列O代表未来14天，每天的客流量

2、知道要做什么了，然后开始着手做，第一步：观察先用的数据集

1. shop_info：商家特征数据

2.     user_pay：用户支付行为

3.     user_view：用户浏览行为

现在有这三个表，一个是商户特征数据，一个是用户支付行为，还有一个是用户浏览行为

发现没有最主要的 label 客户流量 

所以现在首先应该处理数据

我们现在想知道的是：

1、2000 家 商户 在 2015.07.01 – 2016.10.31 每天有多少个用户发生支付行为？

2、影响支付数量也就是客户流量的原因是什么？

3、有了上面的数据，要把这些数据分为训练集、验证集、测试集

4、预测 2000 家商户 在 2016.11.01 – 2016.11.14（14天）每天的客户流量

那么先处理第一个问题，怎么把2000家 商户 在2015.07.01 – 2016.10.31的客流量计算出来

 影响支付数量也就是客户流量的原因是什么？

Well, when we initialize a neural network, we don\’t know what information will be most important in making a decision.

It\’s up to the neural network to learn for itself which data is most important and adjust how it considers that data.

 It does this with something called weights.

根据商家的特征数据的不同权重，单个人会不会选择支付消费是可以通过深度学习来完成的，

The sigmoid function is bounded between 0 and 1, and as an output can be interpreted as a probability for success.

得到一个概率，比如一个人大概会有75%的人会选择，就是附近有100个浏览量，可以对应会有75个支付量吗？

还有一个问题，是会有多少人来选择呢 

这里涉及到这个商家的地理位置附近有多少人，根据浏览量，可以判断出大致总人数，根据支付人数，

可以确定大致比例 = =～（这样想对不对？）

周健，曹瑞霞，王兆卫的餐饮业短期客流量预测方法   文中部分摘要：

餐饮行业客流预测属于时间序列短期预测，对
于短期预测，目前主要采用时间序列分析法和反向
传播(back propagation，BP)神经网络预测方法[4-5]．
客流系统是一个有人参与、时变、复杂、具有高度不
确定性的非线性系统，因此很难建立合适的数学模
型．正如文献[63指出，由于餐饮客流变化趋势是非
线性的，建立相关数学模型非常困难，因而使用时间
序列分析建模方法对系统行为的精确预测效果也难
以令人满意．而神经网络作为一个具有较强的鲁棒
性和容错能力的非线性动态系统，对多因素非线性
的预测问题具有很好的适用性，并能获得较为精确
的预测结果[7{]．神经网络应用的基础是具有足够、
有效的样本．而对于餐饮业来说可以根据以往的服
务情况记录大量和真实的样本来满足这一条件．但
是，由于影响就餐客流的因素相对较多，并且很多因
素之间存在耦合关系．因此，针对某些具体影响条件
下的样本量却不足以对神经网络进行有效的训练，
导致了这些情况下的客流预测精度偏差较大．
灰色一马尔可夫链系统理论[1¨1]是一种研究少
数据、贫信息、不确定性问题的新方法．灰色系统预
测适用于数据较少但系统状态基本连续条件下的预
测问题．根据以往的数据可知，在某些状态下，虽然
历史样本不充分，但系统状态基本是连续的，因此可
以进行数据充分性不足情况下的客流预测．

基于反向传播神经网络的餐饮客流量预测模型
(1)训练样本的确定与处理．训练样本的选取在
于其正确性和准确性，样本数据分布越均衡、数据规
模越大，精度越高．故选择大样本类别作为训练数
据．另外，为监控训练过程，使之不发生“过拟合”现
象，并进一步评价所建模型的性能和泛化能力，把样
本集按70％，15％和15％的比例分为训练样本、验
证样本和检验样本．另外，由于神经网络的多数学习
算法不能适应很宽的数据变化范围，因此需要对样
本进行归一化处理．
(2)神经网络的输入、输出．通过对影响客流量
的因素分析，选取星期、天气和寒暑假这3个因素作
为神经网络的输人，日客流量作为输出，即神经网络
的输入层拥有3个节点，输出层拥有1个节点．
(3)隐含层及隐含层节点数的确定．现有理论证
明一个3层BP神经网络能以任意精度逼近任何非
线性函数，故选用一个3层BP模型用于预测．隐含
层节点数的确定是神经网络设计中非常重要的一
环，隐含层节点数往往根据设计所得经验和进行试
验来确定．通过神经网络训练来确定隐含层的节点
数：首先根据经验公式(1)确定隐含层节点数目的范
围；其次设计一个隐含层神经元数目可变的BP网
络，通过3种样本误差和相关系数的对比确定最佳
的隐含层结点数目n₁．
　　　　n₁ = √(n+m) + a₀　　　　　 (1)
式中：以为输入层节点数目；m为输出层节点数目；
a₀为o～10之间的任意常数．
(4)训练函数及训练参数的确定．由于
Levenberg-Marquardt算法具有收敛速度快、所占内
存小和训练结果好的优点，选用训练函数trainlm；
系统学习过程的稳定性受学习率的影响，为保证学
习过程的收敛性，选取较小的学习率；由于在神经网
络模型训练过程中，对有限的样本进行反复训练可
能会造成网络过拟合现象，因此在实际模型训练中
采用设定最大迭代次数和训练目标来避免．
(5)训练网络，构建面向餐饮客流的预测模型．

1、使用Navicat for MySQL 处理数据，先统计每家店每天的流量

–>对表user_pay：用户支付行为  –>  操作

Field

select study.shop_id,left(study.time_stamp,10),count(*)
from study
group by  study.shop_id,left(study.time_stamp,10)

2、使用Navicat for MySQL处理数据，把日期与星期对应起来

DayOfWeek() 对于一个日期，返回对应的星期几，

1表示星期日，2表示星期一，3表示星期二，4表示星期三，5表示星期四，6表示星期五，7表示星期六；

示例：

 SELECT DayOfWeek(\'2016-01-01\');  

结果为：

+-------------------------+
| dayofweek(\'2016-01-01\') |
+-------------------------+
|                       6 |
+-------------------------+
1 row in set (0.00 sec)

DayName() 返回一个日期对应的星期几的英文名

示例：

SELECT DayName(\'2016-01-01\');  

结果为：

+-----------------------+
| dayname(\'2016-01-01\') |
+-----------------------+
| Friday                |
+-----------------------+
1 row in set (0.00 sec)

SELECT
user_pay_count.shop_id,
user_pay_count.time_stamp,
DayOfWeek(user_pay_count.time_stamp) AS week,
user_pay_count.count
FROM
user_pay_count

3、使用EXCEL处理数据，添加日期对应的节假日

使用辅表：

表格所列是国务院办公厅公布的2015年和2016年节日假期和调整工作日的安排。

名词解释：

节日假期——法定节假日放假的日期。

调整工作日——本来是周末双休日，但因节日假期的安排而调整为工作日。

现在我们来分析一下，一个日期是休息日需要满足下面两个条件之一：

1. 是节日假期 

2. 是周末同时不是调整工作日

换言之，两个条件只要满足一个就是休息日，如果两个都不满足，就是工作日。

用Excel函数表述是这样：

if(是节假日,”休息日”,if(是周末,if(不是调整工作日,”休息日”,”工作日”),”工作日”))

判断一个日期是否为周末（周六、周日）可以用weekday()函数：

=if(weekday(today(),2)>=6,”周末”,”不是周末”)

但是要判断一个日期是否为休息日，就要复杂一些，因为要涉及到法定节假日、调休和调整工作日等。

假设要判断的日期放在B1单元格。上面表述中三个条件：“是节日假期”、“是周末”、“不是调整工作日”分别用函数代替。

是节日假期（在I列中能找到B1的值）–COUNTIF(I:I,B1)>=1

是周末（是一周中的第6或第7天）–WEEKDAY(B1,2)>=6

不是调整工作日（在J列中找不到B1的值）–COUNTIF(J:J,B1)=0

最终的公式如下：

=IF(COUNTIF(I:I,B1)>=1,”节假日”,IF(WEEKDAY(B1,2)>=6,IF(COUNTIF(J:J,B1)=0,”周末”,”工作日”),”工作日”))

把公式复制到要填写的单元格里。

然后使用shift、ctrl+c和ctrl+v 快速复制单元格（带填充格式）

因为我们最后要预测的是2016.11.01 – 2016.11.14（14天）每天的客户流量

既不是寒假也不是暑假，所以，先可以不用考虑这个因素，

有上面论文提及：虽然星期、天气、节假日、寒暑假这4个因素均对客流量影响显著，

但客流量随着星期和节假日这两个因素水平的变化起伏较大。

所以我们可以先使用这两个因素来尝试下