Java对象去重复有哪些实用方法？如何高效实现？

在Java开发中，处理对象去重是一个常见的需求，无论是去重集合中的元素、去重列表中的数据，还是基于特定条件进行去重，都需要掌握不同的实现方法，本文将系统介绍Java对象去重的多种实现方式，包括基于equals和hashCode的方法、使用Stream API、利用Set集合特性以及基于特定属性的去重策略,帮助开发者根据实际场景选择最合适的解决方案。

基于equals和hashCode的去重原理

Java中对象去重的核心在于equals和hashCode方法的正确实现，当使用HashSet或HashMap等集合时，Java会先调用对象的hashCode()方法确定存储位置，再通过equals()方法判断对象是否相等，若要实现自定义对象去重,必须重写这两个方法。

以User类为例，假设去重依据是id属性,正确的实现方式如下：

public class User {
    private int id;
    private String name;
    @Override
    public boolean equals(Object o) {
        if (this == o) return true;
        if (o == null || getClass() != o.getClass()) return false;
        User user = (User) o;
        return id == user.id;
    }
    @Override
    public int hashCode() {
        return Objects.hash(id);
    }
}

通过这种方式，将User对象存入HashSet时，会自动根据id去重，需要注意的是，若只重写equals而未重写hashCode，可能导致集合中存在多个”相等”的对象；反之亦然。

使用Set集合自动去重

Set接口的实现类（如HashSet、TreeSet、LinkedHashSet）是Java中最直接的去重工具，其中HashSet基于哈希表实现，去重效率高（平均时间复杂度O(1)），但不保证元素顺序；TreeSet基于红黑树实现，支持排序，但去重效率略低（时间复杂度O(log n)）；LinkedHashSet则保持插入顺序。

示例代码：

List<User> userList = Arrays.asList(new User(1, "Alice"), new User(2, "Bob"), new User(1, "Alice"));
Set<User> uniqueUsers = new HashSet<>(userList);

上述代码通过HashSet构造函数直接去除重复的User对象，若需自定义排序规则，可使用TreeSet并传入Comparator：

Set<User> sortedUniqueUsers = new TreeSet<>(Comparator.comparing(User::getId));
sortedUniqueUsers.addAll(userList);

Stream API实现去重

Java 8引入的Stream API为去重操作提供了更灵活的方式，通过distinct()方法可轻松去除流中的重复元素，但要求对象正确实现equals和hashCode，若需基于特定属性去重，可结合Collectors.toMap()或Collectors.groupingBy()实现。

示例1：简单去重

List<User> uniqueList = userList.stream().distinct().collect(Collectors.toList());

示例2：基于属性去重（保留第一个出现的元素）

List<User> uniqueById = userList.stream()
    .collect(Collectors.toMap(
        User::getId,
        user -> user,
        (existing, replacement) -> existing
    ))
    .values()
    .stream()
    .collect(Collectors.toList());

示例3：基于属性去重（保留最后一个出现的元素）

List<User> uniqueByIdLast = userList.stream()
    .collect(Collectors.toMap(
        User::getId,
        user -> user,
        (existing, replacement) -> replacement
    ))
    .values()
    .stream()
    .collect(Collectors.toList());

自定义去重策略

当去重条件复杂时（如多属性组合或动态条件），可通过实现Predicate或自定义比较器灵活处理，去重规则为id相同且name长度相同的用户：

List<User> uniqueByCustom = userList.stream()
    .filter(user -> !userList.stream()
        .anyMatch(other -> other != user 
            && other.getId() == user.getId() 
            && other.getName().length() == user.getName().length()))
    .collect(Collectors.toList());

或使用Collectors.groupingBy分组后取每组第一个元素：

List<User> uniqueByGroup = userList.stream()
    .collect(Collectors.groupingBy(
        user -> user.getId() + ":" + user.getName().length()
    ))
    .values()
    .stream()
    .map(list -> list.get(0))
    .collect(Collectors.toList());

性能优化与注意事项

1. 选择合适的数据结构：对于大规模数据，HashSet的去重效率高于ArrayList+contains()方式（后者时间复杂度为O(n)）。
2. 避免重复计算：在使用Stream时，若去重属性需要复杂计算,可先提取为中间变量。
3. 处理null值：若对象可能为null，需在equals或hashCode中添加null检查，或在Stream操作前过滤null值。
4. 不可变对象：推荐使用不可变对象（final属性）作为去重键,避免属性修改导致去重失效。

实际应用场景

1. 数据库查询结果去重：将从数据库查询的实体列表转换为Set去除重复记录。
2. API响应数据去重：对返回的JSON列表进行去重,确保客户端数据唯一性。
3. 日志数据处理：对日志列表中的重复事件进行去重,减少存储和传输成本。

通过以上方法，开发者可以根据业务需求灵活选择Java对象去重的实现方式，核心原则是：明确去重依据，正确实现equals和hashCode，合理选择集合或流式操作,并在性能和可读性之间找到平衡。