城市计算概述（introduction to urban computing） 笔记

南半球小飞鱼

本文为城市计算领域大牛郑宇2015年发表的一篇概述性文章。
摘要

城市计算是计算机科学中以城市为背景， 与城市规划、 交通、 能源、 环境、 社会学和经济等学科融合的新兴领域。 城市计算通过不断获取、 整合和分析城市中多种异构大数据来解决城市所面临的挑战。 本文介绍了城市计算的定义、 框架和主要研究问题， 概述了城市计算的典型应用和所需要的技术。

各种大数据的产生，如 交通流（traffic flow）、气象数据（meteorological data ）、道路网络（road network）、兴趣点（POI，point of interest）、移动轨迹（moving trajectory）、社交媒体（social media）、能耗数据（Energy consumption data）等，不仅可以及时反映出城市中存在的问题， 也可以用来解决城市所面临的挑战。

城市计算就是要用城市中的大数据来解决城市本身所面临的挑战， 通过对多种异构数据的
整合、 分析和挖掘， 来提取知识和智能， 并用这些 智能来创造“人环境城市”三赢的结果。

城市计算的定义和框架

• 城市计算的定义：
  

城市计算是一个通过不断获取、 整合和分析城 市中多种异构大数据来解决城市所面临的挑战（如环境恶化、 交通拥堵、 能耗增加、 规划落后等） 的过程。
城市计算帮助我们理解各种城市现象的本质， 甚至预测城市的未来  
reference ：Urban conputing：concept，methodologies and applications

2. 城市计算是一个“多数据、多任务”的系统，其框架如下

（1）城市感知及数据捕获
（2）城市数据管理
（3）城市数据分析
（4）服务提供

3. 城市计算的核心问题可分为以下4个方面
（1）城市感知（计算）。 如何利用城市中现有的资源（如手机、 传感器、 车辆和人等） ， 在不干扰人们生活的前提下， 不断地自动感知城市的韵律， 是一个重要的研究课题。 如何从大量的传感器和设备中高效而可靠地收集、 传送数据将挑战现有的传感器网络技术。 此外， 人作为传感器参与到城市感知过 程 是一个新概念（通常也称为群体感知） 。

群体感知的挑战：其产生的数据更为自由无序、 间接隐晦；数据的产生时间也变得难以预测和不可控， 数据的空间分布也会随着人群的移动而变得很不均匀；不能期望所有的用户都参与到感知过程中来贡献数据， 因此， 能拿到的数据仅仅只是数据全集中的一个样本。 这个样本可能会跟数据全集存在偏差。

城市感知不再只是感知的过程， 也包含能够从复杂、隐晦、 缺失和非均匀分布的数据中获取有效知识 的计算环节
（2）海量异构数据管理
城市产生的数据属 性差别很大。 例如， 气象是时序数据， 兴趣点是空 间点数据， 道路是空间图数据， 人的移动是轨迹数 据（时间＋ 空间），交通流量是流数据， 社交网上用 户发布的信息是文本或图像数据。在一个应用中使用多种数据时， 只有提前建立起不同数据之间的关联， 才能让后面的分析和挖掘过程变得高效、可行。
（3）异构数据的协同计算

如何从不同的数 据源中获取相互增强的知识；
在保证知识提取 深度的同时， 如何提高对大数据的分析效率， 从而 满足城市计算中众多实时性要求较高的应用（ 如 空气质量预测、 异常事件监测等）；
数据维度的增加也容易导致数据稀疏性问题。当数据规模达到一定程度时， 简单的矩阵分解算法都变得很难执行。  大数据和数据稀疏性并不矛盾。

（4） 虚实结合的混合式系统
城市计算常常催 生混合系统， 比如云加端模式， 即信息产生在物理 世界， 通过终端设备被收集到云端（ 虚拟世界） 分 析和处理， 最后云再将提取的知识作为服务提供 给物理世界的终端用户。 数据在物理和虚拟世界 中来回穿行， 从分散到集中， 再到分散。
4.城市计算应用分类
城市计算主要涉及（但不限于）以下七类应用：

城市规划：人流量预测
智能交通： 出租车/自行车 供需预测，公交车系统改进，...
城市环境： 天气，空气质量，降雨量预测
城市能耗：
社交与娱乐：
城市安全：犯罪地点、易发生火灾/交通事故地点预测

城市计算典型应用

• 城市规划
  

利用高速和环路等主干道将城市分割成区域， 然后分析大规模车流轨迹数据在不同区域之间行驶的一些特征， 便可找到连通性较差的区域， 从而发掘现有城市道路网的不足之处；
可以验证一些已经实施的规划（如新建道路和地铁） 是否真的有效；
城市的不断发展催生了不同的功能区域， 如文教、 商业和住宅区等。 准确掌握这些区域的分布对制定合理的城市规划有着极其重要的意义。

2. 智能交通

估计路网上一条路线的通行时间是很多交通相关应用中常常面临的问题；
T-Driver系统利用装有GPS传感器的出租车来感知交通流量， 并为普通用户设计真正意义上的最快驾车线路；

3. 环境

城市空气质量：U-Air利用有限个地面监测站的实时和历史空气质量数据， 结合交通流、 道路结构、 兴趣点分布、气象条件和人们流动规律等大数据， 利用机器学习算法建立数据和空气质量的映射关系，从而推断出整个城市细粒度的空气质量。
城市噪音：对整个城市的噪音建模却非常困难。 首先， 噪音随时间变化很快（转
瞬即逝） ， 随空间变化剧烈（ 百米外的噪音情况可能跟当前地点的差异很大）。噪音污染的衡量不仅取决于噪音的强弱（分贝数） ， 还取决于人们对噪音的容忍度， 而后者会随着时间的变化而变化；噪音通常是多种声音源的混合体。单纯的传感器数据只能反应声音的强弱， 却不能告诉我们噪音的构成。 为解决数据的稀疏性问题，CityNoise结合路网数据、 兴趣点数据和社交媒体中的签到数据来协同分析各个区域在不同时间段和噪音类别上的污染指数。 有了这样细粒度的噪音指数，可以对不同区域在不同时间按照不同的指标来排名。

4.能源消耗相关应用

eg1. 利用装有GPS的出租车在加油站的等待时间去估计加油站的排队长度， 从而估算出此时加油站内的车辆数目及加油量。 将全城的加油站数据汇总， 便可计算出任意时刻有多少燃油被消耗掉（ 加入到汽车的油箱里）。可被应用于： （1）给需要加油的用户提供推荐信息， 寻找排队时间最短的加油站。（2）可让加油站运营商知道各个地区的加油需求， 从而考虑增加新的站点或动态调整某些加油站的工作时间。（3）政府可以实时掌握整个城市
的油耗， 制定合理的能源战略
eg2 利用城市中一部分车辆（如出租车） 的 ＧＰＳ 轨迹信息进一步分析了整个路网上行驶汽车的实时油耗和尾气排放情况。这项研究不但可以向用户建议最低油耗路线， 还可以做到细粒度的空气污染预警。还可以发现城市中高能耗路段（建议改进城市规划）

5.社交和娱乐

基于用户的关系图、位置信息（签到和轨迹）、照片视频等挖掘人的喜好和规律，制定推荐系统（朋友推荐，社区推荐，地点推荐，出行路线推荐，行为活动推荐等）；
社交媒体数据同时也向城市计算的其他方面有所贡献。 比如， 通过网民在社交网络中发布的信息来预测总统选举结果、 疾病蔓延和房价走势，发现异常事件和灾难， 分析交通流量， 以及设计广告推送和商业选址。 通过社交媒体还能分析一个城市的风格以及不同城市之间的相似性。

6.经济

eg1 分析决定土地价格的因素、 土地使用限制对经济的影响， 公司选址和人们选择的住宅位置对未来经济将产生的影响
eg2 通过分析大量用户的签到数据来为商业选址提供位置建议。
eg3 结合道路结构、 兴趣点分布、 人口流动等诸多因素来对房屋的价值排序。 即在市场向
好时， 哪个小区的房价将会涨得更多； 相反， 市场下行时， 哪些小区比较抗跌

7 城市安全和应急响应

eg 紧急突发事件预测

城市计算的主要技术

• 传感器技术
  

传感器网络技术实现现有专业传感器之间的互联互通，完成数据的快速收集
主动参与式感知技术
被动群体感知

2. 数据管理技术

流数据管理技术
轨迹管理技术；交通流、 人的移动， 以及带位置标签的社交媒体都可以表示为轨迹数据（即带有时间戳并按时间排序的点序列）
图数据管理技术；社交网络中人的关系、不同地区之间的人口流动、 道路上的交通流等都可表达为图模型。城市计算的应用中更多会用到带有时空属性的图模型， 即每个节点都有空间坐标信息， 图中边和点的属性（ 甚至图结构） 会随时间而变化。
时空索引技术。有效的索引可以大大提高数据提取的效率利用时空索引技术将不同种类的数据（如文本、 车流等） 关联和组织起来， 为之后的高效数据挖掘和分析做好准备

3.数据挖掘技术
需要重点考虑以下两个因素：
（1）从异构数据中学习到相互增强的知识。实现这个目标的方式有三种：

第一种方法是分别从不同的数据中提取特征， 然后简单地将这些特征直接拼接并归一化到一个特征向量里，输入到机器学习的模型中。由于不区分不同数据的特性， 实践证明这种方法并不是最有效的；
其二， 在计算模型的不同阶段先后使用不同数据
第三种方法是将不同的数据分别输入到同一个计算模型的不同部分

多源，多视角，混合...
（2）应对数据稀疏性
大数据与数据的稀疏性并不矛盾。 以预测城市的细粒度空气为例， 能观测到的交通流、 人流、道路和兴趣点数据都是大数据， 但由于只有有限个监测站能产生空气质量的读数， 因此， 训练数据很稀疏（虽然特征数据很大）。应对数据的稀疏性通常可采用以下三种方
法：

1） 采用矩阵（ 或张量） 分解算法和协同过滤；这种手段， 其实也是一种数据融合的方法。
2）使用半监督学习算法或转移/迁移学习算法。半监督学习从具有不同分布的其他数据源中获取知识， 从而解决一个机器学习任务中训练样本不足的问题
3）基于相似性的聚类算法。 假设需要根据埋在地面的线圈传感器来估计行驶在道路上的车辆数， 由于并不是所有路面都埋有线圈， 很多道路上的流量无法估计。 根据道路的拓扑结果、 周边的兴趣点分布等信息， 我们可以计算不同道路之间的相似性， 从而对道路进行聚类。 这样， 被分在同一个类里的道路很可能具有相同的车流模式。 于是， 在一个类中， 可以将有传感器道路的读数赋给那些没有传感器的道路

4. 优化技术

时空搜索技术
路径优化技术
线性规划技术
动态规划技术
...

5. 混合数据的可视化技术
可视化以直观的方式帮助我们理解获取的知识和模式。 与单一数据可视化不同， 城市计算中
的可视化技术需要同时考虑多个维度， 其中， 空间和时间是两个至关重要的维度。这些可视化不仅帮助我们展现数据和结果，也有利于进一步发觉更深层次的知识， 并对城市面临的问题做出相应的决策。
如热力图，折线图等

一醉三千年

总结的很好[赞]