In [1]:
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
In [2]:
pip list
导入数据¶
In [3]:
data = pd.read_csv('kmeans.csv', header=None)
data
Out[3]:
In [4]:
# 载入数据
#data = np.genfromtxt("data.txt", delimiter=" ")
plt.scatter(data.iloc[:,0],data.iloc[:,1]) # 第一列作为x轴坐标，第二列作为y轴坐标
plt.show()
In [5]:
data.shape
Out[5]:
辅助函数1：计算距离¶
In [6]:
def euclDistance(vector1, vector2):
"""
函数说明:计算距离
Parameters:
vector1 - numpy.ndarray，质心坐标
vector2 - numpy.ndarray，样本点坐标
Returns:
np.sqrt(sum((vector2 - vector1)**2)) - float，距离
"""
# 欧氏距离
return np.sqrt(sum((vector2 - vector1)**2))
辅助函数2：初始化质心¶
In [7]:
def initCentroids(data, k):
"""
函数说明:初始化质心，随机从样本点中抽取一个样本。
Parameters:
data - DataFrame，数据集合
k - int，聚类个数参数
Returns:
centroids, - numpy.ndarray，簇的中心点坐标，每个数据表示一组点坐标，即图上五角星的坐标。
"""
numSamples, dim = data.values.shape
# k个质心，列数跟样本的列数一样
centroids = np.zeros((k, dim))
# 随机选出k个质心
for i in range(k):
# 随机选取一个样本的索引
index = int(np.random.uniform(0, numSamples))
# 根据index索引从data中拿到数据作为初始化的质心
centroids[i, :] = data.values[index, :]
return centroids
辅助函数3：画图¶
In [8]:
def showCluster(data, k, centroids, clusterData):
"""
函数说明:显示结果
Parameters:
data - DataFrame，数据集合
k - int，聚类个数参数
centroids, - numpy.ndarray，簇的中心点坐标，每个数据表示一组点坐标，即图上五角星的坐标。
clusterData - numpy.ndarray，第一列保存该样本属于哪个簇，第二列保存该样本跟它所属簇的误差。
Returns:
"""
numSamples, dim = data.shape
if dim != 2:
print("dimension of your data is not 2!")
return 1
# 用不同颜色形状来表示各个类别
mark = ['or', 'ob', 'og', 'ok', '^r', '+r', 'sr', 'dr', '<r', 'pr']
if k > len(mark):
print("Your k is too large!")
return 1
# 画样本点
for i in range(numSamples):
markIndex = int(clusterData[i, 0])
plt.plot(data.values[i, 0], data.values[i, 1], mark[markIndex])
# 用不同颜色形状来表示各个类别
mark = ['*r', '*b', '*g', '*k', '^b', '+b', 'sb', 'db', '<b', 'pb']
# 画质心点
for i in range(k):
plt.plot(centroids[i, 0], centroids[i, 1], mark[i], markersize = 20)
plt.show()
主函数：训练模型¶
In [9]:
def kmeans(data, k):
"""
函数说明:传入数据集和k的值
Parameters:
data - DataFrame，数据集合
k - int，聚类个数参数
Returns:
centroids, - numpy.ndarray，簇的中心点坐标，每个数据表示一组点坐标，即图上五角星的坐标。
clusterData - numpy.ndarray，样本的属性，第一列保存该样本属于哪个簇，第二列保存该样本跟它所属簇的误差。
"""
numSamples = data.shape[0] # 样本个数
clusterData = np.array(np.zeros((numSamples, 2))) # clusterData第一列保存该样本属于哪个簇，第二列保存该样本跟它所属簇的误差。
clusterChanged = True # 质心是否要改变？当质心不改变时为False即终止循环。
# 初始化质心
centroids = initCentroids(data, k)
while clusterChanged:
clusterChanged = False
# 循环每一个样本
for i in range(numSamples):
# 最小距离
minDist = 100000.0
# 定义样本所属的簇
minIndex = 0
# 循环计算每一个质心与该样本的距离
for j in range(k):
# 循环每一个质心和样本，计算距离
distance = euclDistance(centroids[j, :], data.values[i, :])
# 如果计算的距离小于最小距离，则更新最小距离
if distance < minDist:
minDist = distance
# 更新最小距离，保存在clusterData第2列
clusterData[i, 1] = minDist
# 更新样本所属的簇
minIndex = j
# 如果样本的所属的簇发生了变化
if clusterData[i, 0] != minIndex:
# 质心要重新计算
clusterChanged = True
# 更新样本的簇，clusterData第1列保存样本所属的簇。
clusterData[i, 0] = minIndex
# 更新质心
for j in range(k):
# 获取第j个簇所有的样本所在的索引
cluster_index = np.nonzero(clusterData[:, 0] == j)
# 第j个簇所有的样本点
pointsInCluster = data.values[cluster_index]
# 计算质心
centroids[j, :] = np.mean(pointsInCluster, axis = 0)
return centroids, clusterData
启动函数¶
In [10]:
# # 设置k值
# k = 2
# centroids, clusterData = kmeans(data, k) # 下图五角星是聚类重心点
# # centroids中出现任意空值就报错。
# if np.isnan(centroids).any():
# print('错误！centroids含有空值，不合法！')
# else:
# print('聚类成功！')
# # 显示结果
# showCluster(data, k, centroids, clusterData)
In [11]:
# 设置k值
k = 4
min_loss = 10000
min_loss_centroids = np.array([])
min_loss_clusterData = np.array([])
for i in range(50):
# centroids 簇的中心点
# cluster Data样本的属性，第一列保存该样本属于哪个簇，第二列保存该样本跟它所属簇的误差
centroids, clusterData = kmeans(data, k)
########################################## 代价函数 ################################################
loss = sum(clusterData[:,1])/data.shape[0] # 损失函数
if loss < min_loss:
min_loss = loss
min_loss_centroids = centroids
min_loss_clusterData = clusterData
print('循环：loss',min_loss)
####################################################################################################
print('最终：loss',min_loss)
centroids = min_loss_centroids
clusterData = min_loss_clusterData
# 显示结果
showCluster(data, k, centroids, clusterData)
做预测¶
In [12]:
# 做预测
x_test = [0,1]
np.tile(x_test,(k,1))
Out[12]:
In [13]:
# 误差
np.tile(x_test,(k,1))-centroids
Out[13]:
In [14]:
# 误差平方
(np.tile(x_test,(k,1))-centroids)**2
Out[14]:
In [15]:
# 误差平方和
((np.tile(x_test,(k,1))-centroids)**2).sum(axis=1)
Out[15]:
In [16]:
# 最小值所在的索引号
np.argmin(((np.tile(x_test,(k,1))-centroids)**2).sum(axis=1))
Out[16]:
In [17]:
def predict(datas):
return np.array([np.argmin(((np.tile(data,(k,1))-centroids)**2).sum(axis=1)) for data in datas])
画出簇的作用区域¶
In [18]:
# 获取数据值所在的范围
# 生成网格矩阵，通过生成网络点坐标，代入预测函数得到聚类结果以绘制出作用区域。
x_min, x_max = data.values[:, 0].min() - 1, data.values[:, 0].max() + 1
y_min, y_max = data.values[:, 1].min() - 1, data.values[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
np.arange(y_min, y_max, 0.02))
z = predict(np.c_[xx.ravel(), yy.ravel()])# ravel与flatten类似，多维数据转一维。flatten不会改变原始数据，ravel会改变原始数据
z = z.reshape(xx.shape)
# 等高线图
cs = plt.contourf(xx, yy, z)
# 显示结果
showCluster(data, k, centroids, clusterData)
In [ ]: