大数据相关介绍
gartner定义big data;
《大数据时代》;
大数据生态应用领域;
target一家企业
twitter
tesco
facebook
婚嫁后推荐(拍婚纱照的价位,品味推后续生活产品)
大数据应用技术
语义网(目的:让计算机读懂文档知识)
知识图谱(给AI装个大脑,基于图数据,是图存储,优势是更清晰) 打破元无知
自然语言处理
机器智能>gpu处理硬件处理(深度学习,频繁迭代运算)
历史和应用:
team 91年发明万维网(就是存储数据),之后,提出语义网
2012年谷歌发表一个知识图谱
facebook知识图谱
阿里知识图谱
亚马逊知识图谱
美团大脑
汽车之家
反欺诈应用
企业知识图谱(企查查,天眼)()
问答系统应用
知识图谱采用三元组模式存储知识
知识图谱验证:不一致性认证
知识图谱的建立:
最耗时的是数据获取(爬虫、深度学习)、数据结构化、数据处理(融合、整理、处理矛盾、判断同义词近义词、全称简称编码、推理关联可需要人手动总结、数据更新知识更新)和存储
知识图谱的查询:(用特有语法查询类似sql)
深度学习(机器学习):2010年复兴
资料:
吴文达deepleaning网站
callsearn
斯坦福公开课
应用:
识别图片猫狗
来源:
编程方法已经不能解决判断猫狗判断橘子甜不甜,所以,让机器复原人的辨别能力(复原人的成长过程),即让机器学会“经验思路,经验总结”即“已有数据总结规律,来进行未知数据预测”,所以,才有了机器学习。
机器学习有开源代码。
机器学习要求分布式计算,特征工程,调参,模型验证,误差分析,上线运行。
硬件发展促进深度学习和神经网络
gpu(图形处理器,计算单元很多,多人小学生干活)
cpu(像老教授,)
npu
tpu(张量处理器,定制化芯片)
神经处理器
深度学习(天生分布式计算,不需要大量的参数提取)
神经网络
DMP数据管理平台(用户画像)产品:
京东DMP
阿里DMP(达摩盘+阿里妈妈)
今日头条DMP(人群数据定向+人群洞察+投放(定向or排除))
以京东DMP为例:
DMP数据管理平台(用户画像)
功能:筛选数据,实现形成目标客户画像。
数据来源:广告主提供数据+第三方+京东自己的数据
9大行业垂直标签:游戏人群+母婴人群+
龙果学院(什么是画像?)
多端开发工具
ACP Agile Certified Practitioner