目錄
導(dǎo)讀場(chǎng)景設(shè)定常規(guī)做法改進(jìn)1-去掉屬性名改進(jìn)2-使用更好的序列化工具改進(jìn)3-優(yōu)化數(shù)據(jù)類型改進(jìn)4-考慮ZIP壓縮最終落地場(chǎng)景延伸導(dǎo)讀
緩存Redis，是我們最常用的服務(wù)，其適用場(chǎng)景廣泛，被大量應(yīng)用到各業(yè)務(wù)場(chǎng)景中。也正因如此，緩存成為了重要的硬件成本來(lái)源，我們有必要從空間上做一些優(yōu)化，降低成本的同時(shí)也會(huì)提高性能。
下面以我們的案例說(shuō)明，將緩存空間減少70%的做法。
(資料圖片僅供參考)
場(chǎng)景設(shè)定
1、我們需要將POJO存儲(chǔ)到緩存中，該類定義如下
public class TestPOJO implements Serializable {
private String testStatus;
private String userPin;
private String investor;
private Date testQueryTime;
private Date createTime;
private String bizInfo;
private Date otherTime;
private BigDecimal userAmount;
private BigDecimal userRate;
private BigDecimal applyAmount;
private String type;
private String checkTime;
private String preTestStatus;
public Object[] toValueArray(){
Object[] array = {testStatus, userPin, investor, testQueryTime,
createTime, bizInfo, otherTime, userAmount,
userRate, applyAmount, type, checkTime, preTestStatus};
return array;
}
public CreditRecord fromValueArray(Object[] valueArray){
//具體的數(shù)據(jù)類型會(huì)丟失，需要做處理
}
}2、用下面的實(shí)例作為測(cè)試數(shù)據(jù)
TestPOJO pojo = new TestPOJO();
pojo.setApplyAmount(new BigDecimal("200.11"));
pojo.setBizInfo("XX");
pojo.setUserAmount(new BigDecimal("1000.00"));
pojo.setTestStatus("SUCCESS");
pojo.setCheckTime("2023-02-02");
pojo.setInvestor("ABCD");
pojo.setUserRate(new BigDecimal("0.002"));
pojo.setTestQueryTime(new Date());
pojo.setOtherTime(new Date());
pojo.setPreTestStatus("PROCESSING");
pojo.setUserPin("ABCDEFGHIJ");
pojo.setType("Y");常規(guī)做法
System.out.println(JSON.toJSONString(pojo).length());
使用JSON直接序列化、打印 length=284**，**這種方式是最簡(jiǎn)單的方式，也是最常用的方式，具體數(shù)據(jù)如下：
{"applyAmount":200.11,"bizInfo":"XX","checkTime":"2023-02-02","investor":"ABCD","otherTime":"2023-04-10 17:45:17.717","preCheckStatus":"PROCESSING","testQueryTime":"2023-04-10 17:45:17.717","testStatus":"SUCCESS","type":"Y","userAmount":1000.00,"userPin":"ABCDEFGHIJ","userRate":0.002}
我們發(fā)現(xiàn)，以上包含了大量無(wú)用的數(shù)據(jù)，其中屬性名是沒(méi)有必要存儲(chǔ)的。
改進(jìn)1-去掉屬性名
System.out.println(JSON.toJSONString(pojo.toValueArray()).length());
通過(guò)選擇數(shù)組結(jié)構(gòu)代替對(duì)象結(jié)構(gòu)，去掉了屬性名，打印 length=144，將數(shù)據(jù)大小降低了50%，具體數(shù)據(jù)如下：
["SUCCESS","ABCDEFGHIJ","ABCD","2023-04-10 17:45:17.717",null,"XX","2023-04-10 17:45:17.717",1000.00,0.002,200.11,"Y","2023-02-02","PROCESSING"]
我們發(fā)現(xiàn)，null是沒(méi)有必要存儲(chǔ)的，時(shí)間的格式被序列化為字符串，不合理的序列化結(jié)果，導(dǎo)致了數(shù)據(jù)的膨脹，所以我們應(yīng)該選用更好的序列化工具。
改進(jìn)2-使用更好的序列化工具
//我們?nèi)匀贿x取JSON格式，但使用了第三方序列化工具 System.out.println(new ObjectMapper(new MessagePackFactory()).writeValueAsBytes(pojo.toValueArray()).length);
選取更好的序列化工具，實(shí)現(xiàn)字段的壓縮和合理的數(shù)據(jù)格式，打印 **length=92，**空間比上一步又降低了40%。
這是一份二進(jìn)制數(shù)據(jù)，需要以二進(jìn)制操作Redis，將二進(jìn)制轉(zhuǎn)為字符串后，打印如下：
??SUCCESS?ABCDEFGHIJ?ABCD??j?6???XX??j?6?????`bM????@i? ?Q?Y?2023-02-02?PROCESSING
順著這個(gè)思路再深挖，我們發(fā)現(xiàn)，可以通過(guò)手動(dòng)選擇數(shù)據(jù)類型，實(shí)現(xiàn)更極致的優(yōu)化效果，選擇使用更小的數(shù)據(jù)類型，會(huì)獲得進(jìn)一步的提升。
改進(jìn)3-優(yōu)化數(shù)據(jù)類型
在以上用例中，testStatus、preCheckStatus、investor這3個(gè)字段，實(shí)際上是枚舉字符串類型，如果能夠使用更簡(jiǎn)單數(shù)據(jù)類型（比如byte或者int等）替代string，還可以進(jìn)一步節(jié)省空間。其中checkTime可以用Long類型替代字符串，會(huì)被序列化工具輸出更少的字節(jié)。
public Object[] toValueArray(){
Object[] array = {toInt(testStatus), userPin, toInt(investor), testQueryTime,
createTime, bizInfo, otherTime, userAmount,
userRate, applyAmount, type, toLong(checkTime), toInt(preTestStatus)};
return array;
}在手動(dòng)調(diào)整后，使用了更小的數(shù)據(jù)類型替代了String類型，打印 length=69
改進(jìn)4-考慮ZIP壓縮
除了以上的幾點(diǎn)之外，還可以考慮使用ZIP壓縮方式獲取更小的體積，在內(nèi)容較大或重復(fù)性較多的情況下，ZIP壓縮的效果明顯，如果存儲(chǔ)的內(nèi)容是TestPOJO的數(shù)組，可能適合使用ZIP壓縮。
但ZIP壓縮并不一定會(huì)減少體積，在小于30個(gè)字節(jié)的情況下，也許還會(huì)增加體積。在重復(fù)性內(nèi)容較少的情況下，無(wú)法獲得明顯提升。并且存在CPU開(kāi)銷。
在經(jīng)過(guò)以上優(yōu)化之后，ZIP壓縮不再是必選項(xiàng)，需要根據(jù)實(shí)際數(shù)據(jù)做測(cè)試才能分辨到ZIP的壓縮效果。
最終落地
上面的幾個(gè)改進(jìn)步驟體現(xiàn)了優(yōu)化的思路，但是反序列化的過(guò)程會(huì)導(dǎo)致類型的丟失，處理起來(lái)比較繁瑣，所以我們還需要考慮反序列化的問(wèn)題。
在緩存對(duì)象被預(yù)定義的情況下，我們完全可以手動(dòng)處理每個(gè)字段，所以在實(shí)戰(zhàn)中，推薦使用手動(dòng)序列化達(dá)到上述目的，實(shí)現(xiàn)精細(xì)化的控制，達(dá)到最好的壓縮效果和最小的性能開(kāi)銷。
可以參考以下msgpack的實(shí)現(xiàn)代碼，以下為測(cè)試代碼，請(qǐng)自行封裝更好的Packer和UnPacker等工具：
org.msgpack msgpack-core 0.9.3
public byte[] toByteArray() throws Exception {
MessageBufferPacker packer = MessagePack.newDefaultBufferPacker();
toByteArray(packer);
packer.close();
return packer.toByteArray();
}
public void toByteArray(MessageBufferPacker packer) throws Exception {
if (testStatus == null) {
packer.packNil();
}else{
packer.packString(testStatus);
}
if (userPin == null) {
packer.packNil();
}else{
packer.packString(userPin);
}
if (investor == null) {
packer.packNil();
}else{
packer.packString(investor);
}
if (testQueryTime == null) {
packer.packNil();
}else{
packer.packLong(testQueryTime.getTime());
}
if (createTime == null) {
packer.packNil();
}else{
packer.packLong(createTime.getTime());
}
if (bizInfo == null) {
packer.packNil();
}else{
packer.packString(bizInfo);
}
if (otherTime == null) {
packer.packNil();
}else{
packer.packLong(otherTime.getTime());
}
if (userAmount == null) {
packer.packNil();
}else{
packer.packString(userAmount.toString());
}
if (userRate == null) {
packer.packNil();
}else{
packer.packString(userRate.toString());
}
if (applyAmount == null) {
packer.packNil();
}else{
packer.packString(applyAmount.toString());
}
if (type == null) {
packer.packNil();
}else{
packer.packString(type);
}
if (checkTime == null) {
packer.packNil();
}else{
packer.packString(checkTime);
}
if (preTestStatus == null) {
packer.packNil();
}else{
packer.packString(preTestStatus);
}
}
public void fromByteArray(byte[] byteArray) throws Exception {
MessageUnpacker unpacker = MessagePack.newDefaultUnpacker(byteArray);
fromByteArray(unpacker);
unpacker.close();
}
public void fromByteArray(MessageUnpacker unpacker) throws Exception {
if (!unpacker.tryUnpackNil()){
this.setTestStatus(unpacker.unpackString());
}
if (!unpacker.tryUnpackNil()){
this.setUserPin(unpacker.unpackString());
}
if (!unpacker.tryUnpackNil()){
this.setInvestor(unpacker.unpackString());
}
if (!unpacker.tryUnpackNil()){
this.setTestQueryTime(new Date(unpacker.unpackLong()));
}
if (!unpacker.tryUnpackNil()){
this.setCreateTime(new Date(unpacker.unpackLong()));
}
if (!unpacker.tryUnpackNil()){
this.setBizInfo(unpacker.unpackString());
}
if (!unpacker.tryUnpackNil()){
this.setOtherTime(new Date(unpacker.unpackLong()));
}
if (!unpacker.tryUnpackNil()){
this.setUserAmount(new BigDecimal(unpacker.unpackString()));
}
if (!unpacker.tryUnpackNil()){
this.setUserRate(new BigDecimal(unpacker.unpackString()));
}
if (!unpacker.tryUnpackNil()){
this.setApplyAmount(new BigDecimal(unpacker.unpackString()));
}
if (!unpacker.tryUnpackNil()){
this.setType(unpacker.unpackString());
}
if (!unpacker.tryUnpackNil()){
this.setCheckTime(unpacker.unpackString());
}
if (!unpacker.tryUnpackNil()){
this.setPreTestStatus(unpacker.unpackString());
}
}場(chǎng)景延伸
假設(shè)，我們?yōu)?億用戶存儲(chǔ)數(shù)據(jù)，每個(gè)用戶包含40個(gè)字段，字段key的長(zhǎng)度是6個(gè)字節(jié)，字段是分別管理的。
正常情況下，我們會(huì)想到hash結(jié)構(gòu)，而hash結(jié)構(gòu)存儲(chǔ)了key的信息，會(huì)占用額外資源，字段key屬于不必要數(shù)據(jù)，按照上述思路，可以使用list替代hash結(jié)構(gòu)。
通過(guò)Redis官方工具測(cè)試，使用list結(jié)構(gòu)需要144G的空間，而使用hash結(jié)構(gòu)需要245G的空間**（當(dāng)50%以上的屬性為空時(shí)，需要進(jìn)行測(cè)試，是否仍然適用）**
在以上案例中，我們采取了幾個(gè)非常簡(jiǎn)單的措施，僅僅有幾行簡(jiǎn)單的代碼，可降低空間70%以上，在數(shù)據(jù)量較大以及性能要求較高的場(chǎng)景中，是非常值得推薦的。：
? 使用數(shù)組替代對(duì)象（如果大量字段為空，需配合序列化工具對(duì)null進(jìn)行壓縮）
? 使用更好的序列化工具
? 使用更小的數(shù)據(jù)類型
? 考慮使用ZIP壓縮
? 使用list替代hash結(jié)構(gòu)（如果大量字段為空，需要進(jìn)行測(cè)試對(duì)比）
以上就是Redis緩存空間優(yōu)化實(shí)踐的詳細(xì)內(nèi)容，更多關(guān)于Redis緩存空間優(yōu)化的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
關(guān)鍵詞：
責(zé)任編輯：Rex_22
