账单127.0.0.1

思图场景人脸1:N比对为私有化部署,企业部署实施需要联系留下准确工单信息,我司运维人员将给您提供专业的部署服务.
本文档仅限内部交流使用.
未经许可,禁止外传;使用完毕,请放置到指定的资料回收处统一处理.
页码:1安装部署文档0.
安装包地址:安装包地址face_saas_1.
7.
15.
tar公司内:/mnt/ficusnas3/engineering_data/face/saas/release/1.
7.
15/face_saas_1.
7.
15.
tar外网地址:https://netdisk.
yitu-inc.
com/#group/18/lib/67181e34-2524-428f-9b40-0af96c2d59c3/yitu-release/face/FaceSaaS/%E7%A7%81%E6%9C%89%E4%BA%91%E5%AE%89%E8%A3%85%E5%8C%85/1.
7.
151.
准备:0.
环境准备依赖要求在所有机器上均安装好rsync,openssh-clients,openssh-server,sudo以及bash的版本要在4以上,可通过bash-version查看1.
解压安装包解压安装包$tarxvfface_saas_1.
7.
15.
tar可以看到两个压缩包:face_saas_1vN_console.
tar,billing_generator.
tar和一个脚本install_billing.
sh$tarxvfface_saas_1vN_console.
tar//解压出来的目录叫face_saas_1vN_console,存放着saas的安装程序,暂时不解压billing_generator.
tar2.
关闭要安装saas程序机器的防火墙(如果要部署多机版本,则每台机器都要修改)关闭防火墙一般情况下:$sudoiptables-F$sudoiptables-save对于centos7的系统:$sudosystemctlstopfirewalld.
service//停止防火墙服务$sudosystemctldisablefirewalld.
service//禁止防火墙开机启动$firewall-cmd--state//输出notrunning代表防火墙已经关闭对于版本低于7的CentOS,使用iptables命令:$sudochkconfigiptablesoff//永久关闭防火墙$sudoserviceiptablesstatus//检查防火墙状态对于suse11环境下运行$sudo/sbin/SuSEfirewall2stop//关闭防火墙3.
修改操作系统允许程序创建的最大线程数(程序运行时需要数千上万个线程,线程开的不够程序运行不稳定)(如果要部署多机版本,则每台机器都要修改)本文档仅限内部交流使用.
未经许可,禁止外传;使用完毕,请放置到指定的资料回收处统一处理.
页码:2修改操作系统允许程序创建的最大线程数(程序运行时需要数千上万个线程,线程开的不够程序运行不稳定)(如果要部署多机版本,则每台机器都要修改)修改操作系统允许程序创建的最大线程数对于centos版本>7.
0:使用sudo权限,修改/etc/security/limits.
conf,具体如下:将下面这一行:*softnproc4096替换为:*softnprocunlimited注:如果遇到问题,可以网上搜索2.
安装0.
说明说明名词解释:a.
$deploy_dir/:代表face_saas_1.
7.
15.
tar解压后的face_saas_1vN_console.
tar解压后的face_saas_1vN_console的根目录:比如,face_saas_1vN_console.
tar解压出来后的face_saas_1vN_console.
tar被解压至:/home/yituadmin/face_saas_1vN_console/,则$deploy_dir/代表/home/yituadmin/face_saas_1vN_console/目录b安装路径:代表程序将要被安装的路径,比如安装路径如果是/home/yituadmin/face_saas_runtime的话,表示程序将会被安装在/home/yituadmin/face_saas_runtime目录下(/home/yituadmin/一定要已经存在,程序会自动创建face_saas_runtime目录)(如果要部署多机版本,则程序将被安装在每台机器的/home/yituadmin/face_saas_runtime目录下)1.
修改程序的配置本文档仅限内部交流使用.
未经许可,禁止外传;使用完毕,请放置到指定的资料回收处统一处理.
页码:3修改配置修改$deploy_dir/底下的config/cluster_config.
json默认cluster_config.
json是:{"default":{"user_name":"yituadmin","password":"12345678","system_dir":"/home/yituadmin/face_saas_runtime","resource_capacity":{"file_uri":"config/slave_resource.
json"}},"machine_list":[{"id":1,"ip":"127.
0.
0.
1","resource_capacity":{"file_uri":"config/master_resource.
json"}}]}修改步骤是a.
将default中的user_name的值"yituadmin"改为这台机器上用户的名字b.
将default中的password的值改为步骤a中修改后的用户的密码c.
将default中的system_dir的值改为程序要安装的路径(使用绝对路径);d.
将machine_list的ip改为程序要安装的机器的ip(如果要部署多机则需要增加多个)例:假如要安装3台机器,3台机器的用户名是test,密码都是"HelloSaas"(3台机器的用户名密码必须要一样,如果不是的话,请在3台机器上各新建一个用户,拥有相同的账户名,密码),ip是10.
34.
44.
12,10.
34.
44.
13,10.
34.
44.
14,saas程序的安装路径是/home/test/face_saas_runtime(对于每台机器都应该是这个目录),则修改后的文件内容是:{"default":{"user_name":"test","password":"HelloSaas","system_dir":"/home/test/face_saas_runtime","resource_capacity":{"file_uri":"config/slave_resource.
json"}},"machine_list":[{"id":1,"ip":"10.
34.
44.
12","resource_capacity":{"file_uri":"config/master_resource.
json"}},{"id":2,"ip":"10.
34.
44.
13","resource_capacity":{"file_uri":"config/slave_resource.
json"}},{"id":3,"ip":"10.
34.
44.
14","resource_capacity":{"file_uri":"config/slave_resource.
json"}}]}值得注意的是:a.
machine_list项里面的id不能重复,master机器的配置放在第一个b.
resource_capacity.
file_uri里面的值只有两种,"config/master_resource.
json"和"config/slave_resource.
json""config/master_resource.
json"代表的是master机器(只能有一台master)的配置;"config/slave_resource.
json"代表的是slave机器(可以有多台slave)的配置.
本文档仅限内部交流使用.
未经许可,禁止外传;使用完毕,请放置到指定的资料回收处统一处理.
页码:44.
安装系统安装进入$deploy_dir目录1.
$bashconsole/cluster_update_all.
sh(注:a.
对于sles系列,需要修改console/cluster_start_all.
sh中的ifconfig|grep-q"$master_ip"为/sbin/ifconfig|grep-q"$master_ip"再执行这条命令)2.
接下来生成license,对于每台要部署的机器:a.
$mkdir-p/var/log/installer/statusb.
生成register_file进入安装路径底下的infrastructure/shared/license/目录执行$bashgenerate_register.
sh,按照提示填写申请内容3.
将所有生成的register_file以邮件方式发送给license@yitu-inc.
com(如果有多个文件,请重命名,让这些register_file容易区分,比如加个机器IP的后缀)邮件格式见附录,等待回复d.
收到授权文件ficus_license(每台机器一个)(注意:此文件没有扩展名.
在windows上下载的文件可能会被加.
dat扩展名,需要手工把文件名修改为ficus_license)e.
将收到的ficus_license文件放置在相应机器的安装路径的根目录以及根目录的infrastructure/shared/license目录下4.
$bashconsole/cluster_start_all.
sha.
如果命令行卡在Daemontrash_collectdisabled,willnotstart,类似的语句,则敲一下enter;b.
如果出现EnablingAutoStart.
.
.
sudo:sorry,youmusthaveattytorunsudo字样,执行sudovisudo将Defaultrequiretty注释掉,变成:#Defaultrequiretty保存退出然后执行$bashconsole/cluster_kill_all.
sh;再重新执行$bashconsole/cluster_start_all.
sh5.
对于rhel/centos6+sles11系统(其他系统无需执行此步):修改face_saas_runtime/shared/external_module/mongodb/action/start.
sh在${_module_dir}/origin/mongod-f${_config_dir}/mongodb.
yaml&>/dev/null&这一行之前,加上unsetLD_LIBRARY_PATH修改face_saas_runtime/shared/external_module/mongodb/config/create_index.
sh和face_saas_runtime/config/mongodb/create_index.
sh在${mongo}127.
0.
0.
1:25091/face_saas_1vN--eval"conn=newMongo(\"127.
0.
0.
1:25091\");db=conn.
getDB('face_saas_1vN');db.
user_id_info${repoLabelName}.
ensureIndex({'data_storage_id':1},{unique:true})"这一行之前,加上unsetLD_LIBRARY_PATH6.
$bashconsole/start_product7.
对于sles系列:为了程序能够开机自动启动,需把/etc/rc.
local里的内容复制到/etc/rc.
d/after.
local的结尾,如果after.
local不存在则直接移动rc.
local进rc.
d并改名为after.
local5.
验证本文档仅限内部交流使用.
未经许可,禁止外传;使用完毕,请放置到指定的资料回收处统一处理.
页码:5验证a.
$cd$deploy_dirc.
稍等几分钟d.
$bashconsole/run_full_test.
sh$IP//$IP代表安装saas程序的IP地址(如果是多机,则是master机器的IP),必填;如果全部显示pass,则认为服务已经正常运行了(Tips:如果没起来的话,需要排查问题,可以把console/check_all.
sh拷贝到所有机器下面,在每台机器上运行bashcheck_all.
sh,看一看什么东西没有起来,如果是feature_extract_service,leaf_retrievl,index_builder这些没起来,请到log/leaf_node/底下的leaf_node_service_worker_ficus.
INFO日志,文件末尾是否有证书验证失败的报错,如果是的话,请确保证书放对了位置)6.
账单系统6.
0安装账单系统(如果是多机部署,则只需在master机器上安装)验证安装成功$crontab-l如果显示的内容中包含如下两行则表示账单安装成功:101***bash/home/yituadmin/billing_generator/script/generate_billing.
sh01021**bash/home/yituadmin/billing_generator/script/generate_billing.
sh1修改安装包face_saas_1.
7.
15.
tar解压出来的install_billing.
sh脚本将脚本中的:ip_list=(${replace})user_id=${replace}query_log_path_prefix=${replace}billing_deploy_prefix=${replace}password=${replace}这五行,修改为:ip_list=(127.
0.
0.
1)//当前机器的ip地址(如果是多机,则是master的IP)user_id=yituadmin//当前机器的账号并确保该账号拥有sudo权限(如果是多机,则是master机器的账号)query_log_path_prefix=/home/yituadmin/face_saas_runtime/data/face_saas//querylog所在的路径,即saas程序安装路径下的/data/face_saas目录,如果是多机,则是master机器下安装程序的billing_deploy_prefix=/home/yituadmin/billing_generator//billinggenerator.
tar的存放路径,并确保当前用户有权限在此目录下创建目录password=12345678//当前机器的密码并确保该账号拥有sudo权限(注:对于sles系列:需要将install_billing.
sh里最后两行改成:echo"101***bash$billing_deploy_prefix/script/generate_billing.
sh0"|sudotee--append/var/spool/cron/tabs/$USERecho"1021**bash$billing_deploy_prefix/script/generate_billing.
sh1"|sudotee--append/var/spool/cron/tabs/$USER)在存放billing_generator.
tar和install_billing.
sh的目录下运行$bashinstall_billing.
sh注意:执行完安装账单脚本后,billing_generator.
tar会被解压,出来一个billing_generator目录,也就是上面修改的billing_deploy_prefix指的地址.
账单生成工具会到这个目录底下去运行程序,所以不要移动这个目录到其他地方,否则账单生成会失败验证账单系统是否安装成功本文档仅限内部交流使用.
未经许可,禁止外传;使用完毕,请放置到指定的资料回收处统一处理.
页码:66.
1基本功能系统会自动在每天凌晨生成昨天的日账单明细,在每月1日凌晨自动生成上个月的月账单统计.
生成的账单位于billing_generator/billing/目录下,日调用明细账单格式样例为2016-08-09_daily_billing.
csv,日调用统计账单格式样例为2016-08-09_daily_report_billing.
csv,月账单格式样例为2016-08_month_billing.
csv.
6.
2备用命令若发现当天没有生成昨日的账单明细或者未在每月1日生成月账单则可以采用下面的命令手动生成,bashbilling_generator/script/generate_billing.
sh02>/dev/null#生成昨日账单bashbilling_generator/script/generate_billing.
sh12>/dev/null#生成上个月账单若依然没有正确生成账单请联系后台支持.
6.
3手动指定日期生成账单打开billing_generator/script/generate_billing.
sh可以在开头见到YESTERDAY_DATE和LAST_MONTH两个变量,分别表示昨天和上个月,可以手动修改并运行生成账单的命令,生成指定日期的账单YESTERDAY_DATE和LAST_MONTH的格式形如2017-01-01,2017-016.
4账单格式说明生成的报表会是一个.
csv的文件,包括了文件生成信息、月度和每日的调用信息统计、log文件异常信息和签名文件生成信息如下:生成时间报表月份2016-06-0100:01:002016-05该月总的调用信息统计主要内容如下,以具体服务区分统计:月份服务总调用次数有效调用次数通过率2016-05普通照片特征抽取345678345543--2016-05两张图片直接比对678906666680%2016-05大礼包解析验证6553665432--2016-05人脸信息抽取222222--2016-05身份证OCR识别1232112312--(注:有效调用次数为返回httpcode为200的调用次数)该月每天的调用信息统计主要内容如下,以日期和具体服务区分统计:日期服务总调用次数有效调用次数通过率2016-05-05普通照片特征抽取10241022--2016-05-05两张图片直接比对32132050%2016-05-06普通照片特征抽取11111110--2016-05-06两张图片直接比对23323380%单日调用明细内容如下:调用时间接口globalrequestIDrequest长度response长度httpcodertn关键信息活体检测数据包版本是否比对2016-06-0617:19:56.
90651012022AAAAANFbcZOYNAUAXD8AAAAAAAADAAAA16651982000{"query_image_content":"图片md5","query_image_type":3,.
.
.
}--是本文档仅限内部交流使用.
未经许可,禁止外传;使用完毕,请放置到指定的资料回收处统一处理.
页码:72016-06-0617:19:58.
12345621013AAAAAEzvbvqcNAUAKj8AAAAAAACHAAAA66666362000{"query_image_package":"base64后的大礼包meta信息"}v3否如何停止程序停止程序的方法进入$deploy/目录底下,执行$bashconsole/stop_prodcut$bashconsole/check_all.
sh//Tips:如果发现mongod还没有被结束,需要在master机器上手动执行$psax|grep-i'mongod'|grep-vgrep|grep-vstop.
sh|awk'{print$1}'|xargskill-9//fig_master,fig_daemon活着是正常的$bashconsole/cluster_kill_all.
sh$bashconsole/check_all.
sh此时程序应该全部停止运行;如果想重新启动程序可以重新执行此文档的第4步:安装系统(保证第四步之前的设置还在)如何让1vN使用单线程默认配置是1vN多线程;不过如果在库比较小的情况下(<200w),可以使用单线程进行1vN,这样延迟会增高到大约800ms,但是qps会提高大约两倍方法是:在安装之前将deploy包下的product/config/roles/leaf_retriever/leaf_retriever.
conf中的"use_async_retriever_proxy"的值改为false;如何校验软件license是否合法本文档仅限内部交流使用.
未经许可,禁止外传;使用完毕,请放置到指定的资料回收处统一处理.
页码:8