Enviar búsqueda
Cargar
Java@taobao
•
Descargar como PPT, PDF
•
60 recomendaciones
•
8,096 vistas
V
vanadies10
Seguir
Introduction of the use of Java technique at taobao.com
Leer menos
Leer más
Tecnología
Denunciar
Compartir
Denunciar
Compartir
1 de 91
Descargar ahora
Recomendados
淘宝网架构变迁和挑战(Oracle架构师日)
淘宝网架构变迁和挑战(Oracle架构师日)
vanadies10
大型系统的Java中间件实践q con北京
大型系统的Java中间件实践q con北京
vanadies10
淘宝Java中间件之路 it168
淘宝Java中间件之路 it168
vanadies10
淘宝双11双12案例分享
淘宝双11双12案例分享
vanadies10
20120613联动优势数据访问层DAL架构和实践4(刘胜)最新特性
20120613联动优势数据访问层DAL架构和实践4(刘胜)最新特性
liu sheng
20140326联动优势数据访问层DAL架构和实践7(刘胜)工行交流
20140326联动优势数据访问层DAL架构和实践7(刘胜)工行交流
liu sheng
阿里巴巴运维团队的无状态运维思路
阿里巴巴运维团队的无状态运维思路
mysqlops
D baa s_in_xiaomi
D baa s_in_xiaomi
hdksky
Recomendados
淘宝网架构变迁和挑战(Oracle架构师日)
淘宝网架构变迁和挑战(Oracle架构师日)
vanadies10
大型系统的Java中间件实践q con北京
大型系统的Java中间件实践q con北京
vanadies10
淘宝Java中间件之路 it168
淘宝Java中间件之路 it168
vanadies10
淘宝双11双12案例分享
淘宝双11双12案例分享
vanadies10
20120613联动优势数据访问层DAL架构和实践4(刘胜)最新特性
20120613联动优势数据访问层DAL架构和实践4(刘胜)最新特性
liu sheng
20140326联动优势数据访问层DAL架构和实践7(刘胜)工行交流
20140326联动优势数据访问层DAL架构和实践7(刘胜)工行交流
liu sheng
阿里巴巴运维团队的无状态运维思路
阿里巴巴运维团队的无状态运维思路
mysqlops
D baa s_in_xiaomi
D baa s_in_xiaomi
hdksky
盛大游戏运维体系
盛大游戏运维体系
Ken Liu
鹰眼下的淘宝_EagleEye with Taobao
鹰眼下的淘宝_EagleEye with Taobao
terryice
淘宝Java中间件之路
淘宝Java中间件之路
mysqlops
Accelerate Database as a Service(DBaaS) in Cloud era
Accelerate Database as a Service(DBaaS) in Cloud era
Junchi Zhang
张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析
Leechael
MySQL 高可用方案及成功案例
MySQL 高可用方案及成功案例
郁萍 王
中大型规模的网站架构运维 Saac
中大型规模的网站架构运维 Saac
Chao Zhu
MySQL 網路參考架構
MySQL 網路參考架構
郁萍 王
MySQL5.6&5.7 Cluster 7.3 Review
MySQL5.6&5.7 Cluster 7.3 Review
郁萍 王
艺龙旅行网架构案例分享-Qcon2011
艺龙旅行网架构案例分享-Qcon2011
Yiwei Ma
腾讯大讲堂24 qq show2.0重构历程
腾讯大讲堂24 qq show2.0重构历程
areyouok
Bdwf11 netezza james_zheng
Bdwf11 netezza james_zheng
bigdatawf
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
Wensong Zhang
Memcached vs redis
Memcached vs redis
qianshi
数据访问层开发实践
数据访问层开发实践
xcq
MySQL5.6新功能
MySQL5.6新功能
郁萍 王
分布式系统日志处理调研
分布式系统日志处理调研
klandor
Selling sybase hds solution for banking
Selling sybase hds solution for banking
focusbi
Cassandra简介.ppt
Cassandra简介.ppt
james tong
低功耗服务器定制与绿色计算
低功耗服务器定制与绿色计算
Wensong Zhang
Mocha Bsm
Mocha Bsm
王 莆中
网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维
guiyingshenxia
Más contenido relacionado
La actualidad más candente
盛大游戏运维体系
盛大游戏运维体系
Ken Liu
鹰眼下的淘宝_EagleEye with Taobao
鹰眼下的淘宝_EagleEye with Taobao
terryice
淘宝Java中间件之路
淘宝Java中间件之路
mysqlops
Accelerate Database as a Service(DBaaS) in Cloud era
Accelerate Database as a Service(DBaaS) in Cloud era
Junchi Zhang
张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析
Leechael
MySQL 高可用方案及成功案例
MySQL 高可用方案及成功案例
郁萍 王
中大型规模的网站架构运维 Saac
中大型规模的网站架构运维 Saac
Chao Zhu
MySQL 網路參考架構
MySQL 網路參考架構
郁萍 王
MySQL5.6&5.7 Cluster 7.3 Review
MySQL5.6&5.7 Cluster 7.3 Review
郁萍 王
艺龙旅行网架构案例分享-Qcon2011
艺龙旅行网架构案例分享-Qcon2011
Yiwei Ma
腾讯大讲堂24 qq show2.0重构历程
腾讯大讲堂24 qq show2.0重构历程
areyouok
Bdwf11 netezza james_zheng
Bdwf11 netezza james_zheng
bigdatawf
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
Wensong Zhang
Memcached vs redis
Memcached vs redis
qianshi
数据访问层开发实践
数据访问层开发实践
xcq
MySQL5.6新功能
MySQL5.6新功能
郁萍 王
分布式系统日志处理调研
分布式系统日志处理调研
klandor
Selling sybase hds solution for banking
Selling sybase hds solution for banking
focusbi
Cassandra简介.ppt
Cassandra简介.ppt
james tong
低功耗服务器定制与绿色计算
低功耗服务器定制与绿色计算
Wensong Zhang
La actualidad más candente
(20)
盛大游戏运维体系
盛大游戏运维体系
鹰眼下的淘宝_EagleEye with Taobao
鹰眼下的淘宝_EagleEye with Taobao
淘宝Java中间件之路
淘宝Java中间件之路
Accelerate Database as a Service(DBaaS) in Cloud era
Accelerate Database as a Service(DBaaS) in Cloud era
张铁安:Feed系统架构浅析
张铁安:Feed系统架构浅析
MySQL 高可用方案及成功案例
MySQL 高可用方案及成功案例
中大型规模的网站架构运维 Saac
中大型规模的网站架构运维 Saac
MySQL 網路參考架構
MySQL 網路參考架構
MySQL5.6&5.7 Cluster 7.3 Review
MySQL5.6&5.7 Cluster 7.3 Review
艺龙旅行网架构案例分享-Qcon2011
艺龙旅行网架构案例分享-Qcon2011
腾讯大讲堂24 qq show2.0重构历程
腾讯大讲堂24 qq show2.0重构历程
Bdwf11 netezza james_zheng
Bdwf11 netezza james_zheng
开源+自主开发 - 淘宝软件基础设施构建实践
开源+自主开发 - 淘宝软件基础设施构建实践
Memcached vs redis
Memcached vs redis
数据访问层开发实践
数据访问层开发实践
MySQL5.6新功能
MySQL5.6新功能
分布式系统日志处理调研
分布式系统日志处理调研
Selling sybase hds solution for banking
Selling sybase hds solution for banking
Cassandra简介.ppt
Cassandra简介.ppt
低功耗服务器定制与绿色计算
低功耗服务器定制与绿色计算
Similar a Java@taobao
Mocha Bsm
Mocha Bsm
王 莆中
网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维
guiyingshenxia
网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维
colderboy17
众行业公司系统架构案例介绍
众行业公司系统架构案例介绍
mysqlops
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
drewz lin
王龙:百度数据库架构演变与设计
王龙:百度数据库架构演变与设计
YANGL *
大规模数据处理
大规模数据处理
Kay Yan
Sybase Analytic Appliance
Sybase Analytic Appliance
focusbi
构建基于Lamp的网站架构
构建基于Lamp的网站架构
Cosey Lee
Top100summit 高楼-7点测试-zee-性能测试案例分享
Top100summit 高楼-7点测试-zee-性能测试案例分享
drewz lin
《数据库发展研究报告-解读(2023年)》.pdf
《数据库发展研究报告-解读(2023年)》.pdf
markmind
Tup2 人人网张铁安
Tup2 人人网张铁安
yongboy
人人网技术经理张铁安 Feed系统结构浅析
人人网技术经理张铁安 Feed系统结构浅析
isnull
SWsoft_Prim@Telecom
SWsoft_Prim@Telecom
webhostingguy
Solution apc 4.0
Solution apc 4.0
ahnlabchina
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
corlin chen
大数据时代feed架构 (ArchSummit Beijing 2014)
大数据时代feed架构 (ArchSummit Beijing 2014)
Tim Y
天涯论坛的技术进化史-Qcon2011
天涯论坛的技术进化史-Qcon2011
Yiwei Ma
虚拟化介绍201012
虚拟化介绍201012
ITband
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
knuthocean
Similar a Java@taobao
(20)
Mocha Bsm
Mocha Bsm
网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维
网易 李弈远 网易服务集成框架的构建与运维
众行业公司系统架构案例介绍
众行业公司系统架构案例介绍
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
Top100summit 腾讯-周健-服务化与体系化解决大量定制小项目开发困境
王龙:百度数据库架构演变与设计
王龙:百度数据库架构演变与设计
大规模数据处理
大规模数据处理
Sybase Analytic Appliance
Sybase Analytic Appliance
构建基于Lamp的网站架构
构建基于Lamp的网站架构
Top100summit 高楼-7点测试-zee-性能测试案例分享
Top100summit 高楼-7点测试-zee-性能测试案例分享
《数据库发展研究报告-解读(2023年)》.pdf
《数据库发展研究报告-解读(2023年)》.pdf
Tup2 人人网张铁安
Tup2 人人网张铁安
人人网技术经理张铁安 Feed系统结构浅析
人人网技术经理张铁安 Feed系统结构浅析
SWsoft_Prim@Telecom
SWsoft_Prim@Telecom
Solution apc 4.0
Solution apc 4.0
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
E tom ngoss规范及siebel系统在电信行业的应用 陈永林
大数据时代feed架构 (ArchSummit Beijing 2014)
大数据时代feed架构 (ArchSummit Beijing 2014)
天涯论坛的技术进化史-Qcon2011
天涯论坛的技术进化史-Qcon2011
虚拟化介绍201012
虚拟化介绍201012
Ocean base海量结构化数据存储系统 hadoop in china
Ocean base海量结构化数据存储系统 hadoop in china
Java@taobao
1.
淘宝技术专场 [email_address]
2.
3.
4.
淘宝网的架构变迁
5.
6.
V1.0 :小而快
2003.5 – 2004.5
7.
8.
V2.0 :多层次结构,开始做自己的软件
2004.2 – 2008.3
9.
10.
11.
12.
13.
V3.0 :产品化思维及服务导向框架
2007.10-2009.11
14.
15.
16.
V4.0 : 系统化、智能化、专业化
2009.8-
17.
18.
19.
基于 Java 技术的基础产品
20.
计算机组成 计算机硬件结构图
外存 内存 运算 器 控制 器 输入设备 输出设备 数据、程序 CPU 主机 数据、程序 数据、程序 冯 . 诺依曼型计算机
21.
22.
23.
网站结构示意图 LoadBalancer WebApp
WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
24.
25.
中间件 LoadBalancer WebApp
WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
26.
27.
28.
29.
服务框架 调用者 服务提供者
调用者 服务提供者 服务注册查找中心
30.
中间件 LoadBalancer WebApp
WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
31.
32.
消息中间件 传统方式 使用消息中间件方式
33.
34.
35.
中间件 LoadBalancer WebApp
WebApp Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
36.
数据层
37.
数据层 User User1
User2 User1-M User2-M User2-S User1-S 分库分表 读写分离 数据库架构的演进
38.
数据层 User1-M User2-M
User2-S User1-S TAtomDataSource TGroupDataSource TDataSource 数据源的三层重构 业务可以灵活选择
39.
40.
LoadBalancer WebApp WebApp
Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
41.
HBase 图来源于:
http://goo.gl/d1T3Q
42.
43.
44.
LoadBalancer WebApp WebApp
Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
45.
终搜架构
46.
47.
Hbase 应用在历史库的搜索上
48.
LoadBalancer WebApp WebApp
Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
49.
50.
51.
52.
LoadBalancer WebApp WebApp
Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
53.
CSP 业务架构
54.
CSP 逻辑单元 逻辑单元
逻辑单元 逻辑单元 逻辑单元 收集 分析器 db 应用 系统 收集 分析器 db 收集 分析器 db 收集 分析器 db 收集 分析器 db 控制 服务 中心 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统 应用 系统
55.
56.
57.
58.
59.
LoadBalancer WebApp WebApp
Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
60.
61.
LoadBalancer WebApp WebApp
Service Service Cache 分布式存储 搜索 消息中间件 服务框架 CDN 数据层 DB 数据层 并行计算平台 DB DB(S) DB(S) 监控 运维平台
62.
业务中特色系统介绍
63.
SNS Feed 分发系统
64.
整体结构 14 台
Consumer, 高峰支撑 1500W Feed 的分发 , 下可线性扩展 10 台 Provider, 日均处理 3.5 亿次接口调用 , 其中 Feed 查询接口为 1 亿 6 台 EntityCache, 主数据区占用 100G, 命中率在 90% 以上 12 台 IndexCache, 已使用 60G, 可保证不发生淘汰
65.
核心流程
66.
67.
商品排查系统
68.
前端 Hadoop SST
查询 Zookeeper/DB 调度 处理中心 商品中心 生命周期 DFSProxy SST 排查 Job SSTBuildJob LifecycleMerge IVM-IFDL Common-Join MR-Job 数据源 生成指标 数据源 数据源 TimeTunnel && XData && 淘宝数据集市 @ DW&BI 生命周期数据 实时监控 整体结构
69.
70.
CTU 系统
71.
CTU 系统
72.
73.
PMC 系统
74.
整体结构
75.
76.
77.
SHINE
78.
整体架构 一个 Shine
的应用由服务自己的领域服务加上 Shine 平台上的资源构成。 Shine 平台负责页面的渲染,权限控制,调用服务等。
79.
80.
81.
TOP
82.
系统层次
83.
系统部署
84.
运行状况 2011 年
6 月 27 日 服务总访问: 11.1 亿 /day 服务有效访问: 10.24 亿 /day 成功访问: 9.82 亿 /day 上行数据流量: 1.2 T/day 独立用户数: 155w 业务平均处理时间 32ms 平台平均处理时间 5ms 有调用量的服务: 397 , 112 ( > 10w/day ), 18 ( >1000w ) 服务提供者系统错误率: 3‰ 开放平台系统错误率: 0.001‰ 有服务调用应用总数: 3.7 w 服务访问: 11600 (> 1w/day) , 57 (> 100w/day) , 10( > 1000w/day)
85.
86.
淘数据
87.
存储层 权限管理 基础平台
业务系统 统一访问门户( https://dw.taobao.ali.com ) 系统日志 WIKI MYSQL ( M/S ) 入口 应用层 框架层 UI Framework (YUI, TDC Common js framework) Web && business Framework (velocity 、 webx 、 spring) DB Persistent Framework (ibatis 、 hive 、 sshjdbc) HSF TFS SERVER TDC WEB Server Cluster ( 2 节点) dwsam ( 单节点 ) Apache + Jboss + Lucene 云梯 FTP JDBC SSH IDATA HSF XML ORACLE ( 4 节点) JDBC 全文搜索 自定义查询系统 报表系统 KPI 管理系统 数据质量监控系统 页面点击 卖家云图 路径分析 活动直播间 Redis ( M/S ) Jedis mstrweb IS1 IS2 BO web
88.
89.
广告实时结算系统
90.
91.
Thanks !
Notas del editor
每日承载接近 200 亿次的调用
基于 BDB JE 的存储系统 消息中间件自己的存储系统
1. M×N 的部署结构 2. 配置的中心化管理 3. 运行时的服务动态调整(新增服务,修改机器角色等) 4. 数据 Dump 逻辑和索引构建逻辑的分离(解耦)
中心化的配置管理, ZK 发布配置文件 抽象出通用化模型,产品化 Dump 机制,分为 client Dump (应用方控制)和 Server Dump( 终搜控制 ) 支持三十多个业务系统
中心化的配置管理, ZK 发布配置文件 抽象出通用化模型,产品化 Dump 机制,分为 client Dump (应用方控制)和 Server Dump( 终搜控制 ) 支持三十多个业务系统
中心化的配置管理, ZK 发布配置文件 抽象出通用化模型,产品化 Dump 机制,分为 client Dump (应用方控制)和 Server Dump( 终搜控制 ) 支持三十多个业务系统
其实监控系统有个特点,就是被监控的系统他们的关系是完全独立的 由于该系统中没有出现需要集中式的数据,所以采用完全分布式方案 1 、充分利用 db 和应用的特性,将 db 也部署在 appserver 上 2 、收集 app 、 db 、被监控系统的关联完全控制服务中心控制
Issue Feature Defination
Counter-Terrorist Unit
功能模块
节点调度器,调度节点运行,节点就是人物
Descargar ahora