接上篇文章《自然语言处理入门小白从0开始学自然语言处理+学习笔记（一）》

  • 自然语言处理（NLP）开发环境搭建√
  • 分词demo（搭建helloworld工程）√
  • 案例：nlp实现预测天气冷暖感知度 √
  • —案例需求和数据准备√
  • —可视化数据分析√
  • —KNN模型原理及欧式距离计算√
  • —KNN分类器模型实现
  • —利用KNN分类器采访随机游客预测天气感知度
  • —机器学习库sklearn实现预测天气冷暖感知度
  • 自然语言处理学习总结归纳

上代码
#coding=utf8
from audioop import reverse

  1. 	import numpy as np
  2. 	from numpy import *
  3. 	import matplotlib
  4. 	import matplotlib.pyplot as plt
  5. 	'''创建数据源、返回数据集和类标签'''
  6. 	def creat_dataset():
  7. 			datasets = array([[8,4,2],[7,1,1],[1,4,4],[3,0,5]])#数据集
  8. 			labels = ['非常热','非常热','一般热','一般热']#类标签
  9. 		return datasets,labels
  11. 	'''可视化数据分析'''
  12. 	def analyse_data_plot(x,y):
  13. 			plt.scatter(x,y)
  14. 			plt.show()
  16. 	'''构造KNN分类器'''
  17. 	def knn_Classifier(newV,datasets,labels,k):
  18. 			import operator
  19. 			#1.计算样本数据与样本库数据之间的距离
  20. 			SqrtDist = EuclideanDistance3(newV,datasets)
  21. 			#2.根据距离进行排序，按照列向量进行排序
  22. 			sortDistIndexs = SqrtDist.argsort(axis=0)
  23. 			#print(sortDistIndexs)
  24. 			#3.针对K个点,统计各个类别的数量
  25. 			classCount = {}#统计各个类别分别的数量
  26. 			for i in range(k):
  27. 					#根据距离排序索引值，找到类标签
  28. 					votelabel = labels[sortDistIndexs[i]]
  29. 					#print(sortDistIndexs[i],votelabel)
  30. 					#统计类标签的键值对
  31. 					classCount[votelabel] = classCount.get(votelabel,0)+1
  32. 			#print(classCount)
  33. 			#4.投票机制，少数服从多数原则
  34. 			#对各个分类字典进行排序，降序，itemgetter按照value排序
  35. 			sortedClassCount = sorted(classCount.items(), key = operator.itemgetter(1),reverse=1)
  36. 			#print(newV,'KNN投票预测结果：',sortedClassCount[0][0])
  37. 			return sortedClassCount
  39. 	'''欧氏距离计算1：d²=（x1-x2）²+（y1-y2）²'''
  40. 		def ComputerEuclideanDistance(x1,y1,x2,y2):
  41. 			d = math.sqrt(math.pow((x1-x2),2)+math.pow((y1-y2),2))
  42. 		return d
  44. 	'''欧氏距离计算2：多维度支持'''
  45. 	def EuclideanDistance(instance1,instance2,length):
  46. 			d = 0
  47. 			for i in range(length):
  48. 				d += pow((instance1[i]-instance2[i]),2)
  49. 				return math.sqrt(d)
  50. 	'''欧氏距离计算3'''
  51. 	def EuclideanDistance3(newV,datasets):
  52. 			#1.获取数据向量的行向量维度和纵向量维度值
  53. 			rowsize,colsize = datasets.shape
  54. 			#2.各特征向量之间做差值
  55. 			diffMat = tile(newV,(rowsize,1)) - datasets
  56. 			#3.对差值平方
  57. 			sqDiffMat = diffMat ** 2
  58. 			#4.差值平方和进行开方
  59. 			SqrtDist = sqDiffMat.sum(axis=1) ** 0.5
  60. 			return SqrtDist
  62. 	if __name__ == '__main__':
  64. 			#1.创建数据集和类标签
  65. 			datasets,labels = creat_dataset()
  66. 			print('数据集:\n',datasets,'\n','类标签:\n',labels)
  68. 			#2.数据可视化分析
  69. 			#analyse_data_plot(datasets[:,0],datasets[:,1])
  71. 			#3.1.欧式距离计算
  72. 			d = ComputerEuclideanDistance(2,4,8,2)
  73. 			print('欧氏距离计算1：',d)
  75. 			#3.2.欧式距离计算
  76. 			d2 = EuclideanDistance([2,4],[8,2],2)
  77. 			print('欧式距离计算2：',d2)
  79. 			#3.3.欧式距离计算，可支持多维
  80. 			d3 = EuclideanDistance3([2,4,4],datasets)
  81. 			print('欧式距离计算3：',d3)
  83. 			#KNN分类器
  84. 			newV = [2,4,4]
  86. 			#4.1.单实例构造KNN分类器
  87. 			res = knn_Classifier(newV,datasets,labels,3)
  88. 			print(newV,'单实例KNN投票预测结果是：',res)
  90. 			#4.2.多实例构造KNN分类器
  91. 			vecs = array([[2,4,4],[3,0,0],[5,7,2]])
  92. 			for vec in vecs:
  93. 					res = knn_Classifier(vec,datasets,labels,3)
  94. 					print(vec,'多实例KNN投票预测结果是：',res[0][0])

运行结果：
file

file
上代码：

  1. 		#coding=utf8
  2. 		from audioop import reverse
  4. 		import numpy as np
  5. 		from numpy import *
  6. 		import matplotlib
  7. 		import matplotlib.pyplot as plt
  8. 		'''创建数据源、返回数据集和类标签'''
  9. 		def creat_dataset():
  10. 				datasets = array([[8,4,2],[7,1,1],[1,4,4],[3,0,5]])#数据集
  11. 				labels = ['非常热','非常热','一般热','一般热']#类标签
  12. 				return datasets,labels
  14. 		'''可视化数据分析'''
  15. 		def analyse_data_plot(x,y):
  16. 				plt.scatter(x,y)
  17. 				plt.show()
  19. 		'''构造KNN分类器'''
  20. 		def knn_Classifier(newV,datasets,labels,k):
  21. 				import operator
  22. 				#1.计算样本数据与样本库数据之间的距离
  23. 				SqrtDist = EuclideanDistance3(newV,datasets)
  24. 				#2.根据距离进行排序，按照列向量进行排序
  25. 				sortDistIndexs = SqrtDist.argsort(axis=0)
  26. 				#print(sortDistIndexs)
  27. 				#3.针对K个点,统计各个类别的数量
  28. 				classCount = {}#统计各个类别分别的数量
  29. 				for i in range(k):
  30. 						#根据距离排序索引值，找到类标签
  31. 						votelabel = labels[sortDistIndexs[i]]
  32. 						#print(sortDistIndexs[i],votelabel)
  33. 						#统计类标签的键值对
  34. 						classCount[votelabel] = classCount.get(votelabel,0)+1
  35. 				#print(classCount)
  36. 				#4.投票机制，少数服从多数原则
  37. 				#对各个分类字典进行排序，降序，itemgetter按照value排序
  38. 				sortedClassCount = sorted(classCount.items(), key = operator.itemgetter(1),reverse=1)
  39. 				#print(newV,'KNN投票预测结果：',sortedClassCount[0][0])
  40. 				return sortedClassCount
  42. 		'''欧氏距离计算1：d²=（x1-x2）²+（y1-y2）²'''
  43. 		def ComputerEuclideanDistance(x1,y1,x2,y2):
  44. 				d = math.sqrt(math.pow((x1-x2),2)+math.pow((y1-y2),2))
  45. 				return d
  47. 		'''欧氏距离计算2：多维度支持'''
  48. 		def EuclideanDistance(instance1,instance2,length):
  49. 				d = 0
  50. 				for i in range(length):
  51. 						d += pow((instance1[i]-instance2[i]),2)
  52. 				return math.sqrt(d)
  53. 		'''欧氏距离计算3'''
  54. 		def EuclideanDistance3(newV,datasets):
  55. 				#1.获取数据向量的行向量维度和纵向量维度值
  56. 				rowsize,colsize = datasets.shape
  57. 				#2.各特征向量之间做差值
  58. 				diffMat = tile(newV,(rowsize,1)) - datasets
  59. 				#3.对差值平方
  60. 				sqDiffMat = diffMat ** 2
  61. 				#4.差值平方和进行开方
  62. 				SqrtDist = sqDiffMat.sum(axis=1) ** 0.5
  63. 				return SqrtDist
  65. 		#利用KNN分类器预测随机访客天气感知度
  66. 		def Predict_temperature():
  67. 				#1.创建数据集和类标签
  68. 				datasets,labels = creat_dataset()
  69. 				#2.采访新游客
  70. 				iceCream = float(input('Q:请问你今天吃了几个冰激凌？\n'))
  71. 				drinkWater = float(input('Q:请问你今天喝了几杯水？\n'))
  72. 				playAct = float(input('Q:请问你今天户外活动了几个小时？\n'))
  73. 				newV = array([iceCream,drinkWater,playAct])
  74. 				res = knn_Classifier(newV,datasets,labels,3)
  75. 				print('该访客认为北京的天气是：',res[0][0])
  77. 		if __name__ == '__main__':
  79. 				#1.创建数据集和类标签
  80. 				datasets,labels = creat_dataset()
  81. 				#KNN分类器预测随机访客天气感知度
  82. 				Predict_temperature()

运行结果：
file
file

上代码：

  1. 		# coding = utf8
  3. 		from sklearn import neighbors
  4. 		from numpy import *
  5. 		import nlp001.knn as KNN
  7. 		def knn_sklearn_predict(newV,datasets,labels):
  8. 				#调用机器学习库knn分类器算法
  9. 				knn = neighbors.KNeighborsClassifier()
  10. 				#传入参数、特征数据、分类标签
  11. 				knn.fit(datasets,labels)
  12. 				#knn预测
  13. 				predictRes = knn.predict([newV])
  14. 				print('该访客认为北京天气是：\t',predictRes,'非常热' if predictRes[0] == 0 else '一般热')
  16. 		#利用KNN分类器预测随机访客天气感知度
  17. 		def Predict_temperature():
  18. 				#1.创建数据集和类标签
  19. 				datasets,labels = KNN.creat_datasets()
  20. 				#2.采访新游客
  21. 				iceCream = float(input('Q:请问你今天吃了几个冰激凌？\n'))
  22. 				drinkWater = float(input('Q:请问你今天喝了几杯水？\n'))
  23. 				playAct = float(input('Q:请问你今天户外活动了几个小时？\n'))
  24. 				newV = array([iceCream,drinkWater,playAct])
  25. 				knn_sklearn_predict(newV,datasets,labels)
  27. 		if __name__ == '__main__':
  28. 				Predict_temperature()

knn.py中新增函数(该示例中包含调用knn.py中的模块)

  1. '''创建数据源、返回数据集和类标签'''
  2. def creat_datasets():
  3.     datasets = array([[8,4,2],[7,1,1],[1,4,4],[3,0,5],[9,4,2],[7,0,1],[1,5,4],[4,0,5]])#数据集
  4.     labels = [0,0,1,1,0,0,1,1]#类标签:0代表非常热，1代表一般热
  5.     return datasets,labels

file

版权声明：本文为dreamzhiya原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/dreamzhiya/p/12930939.html