在Java开发中,List集合是最常用的数据结构之一，但在实际应用中，我们经常需要处理List中重复元素的问题，去除重复元素的方法多种多样，每种方法都有其适用场景和优缺点，本文将详细介绍几种常见的Java List去重方法，包括基于Set集合、Stream API、循环遍历以及第三方库等，帮助开发者根据实际需求选择最合适的解决方案。
基于Set集合去重
Set集合是Java中不允许重复元素的集合类,利用这一特性可以快速实现List去重，最常用的方法是创建一个HashSet对象，将List中的元素逐个添加到Set中，由于Set会自动过滤重复元素，最后再将Set转换回List，这种方法的时间复杂度为O(n)，因为HashSet的添加操作平均时间复杂度为O(1)，适用于大多数场景。
List<String> listWithDuplicates = Arrays.asList("A", "B", "A", "C", "B");
Set<String> set = new HashSet<>(listWithDuplicates);
List<String> uniqueList = new ArrayList<>(set);
需要注意的是,HashSet是基于哈希表实现的，它要求元素必须正确实现hashCode()和equals()方法，对于自定义对象，如果直接使用HashSet去重，需要确保对象的这两个方法被正确重写，HashSet不保证元素的插入顺序，如果需要保留原始顺序，可以使用LinkedHashSet替代HashSet。
Set<String> linkedSet = new LinkedHashSet<>(listWithDuplicates); List<String> orderedUniqueList = new ArrayList<>(linkedSet);
使用Stream API去重
Java 8引入的Stream API为集合操作提供了更加简洁和函数式的方式，通过Stream的distinct()方法可以轻松去除重复元素，同时支持保留原始顺序，这种方法代码简洁，可读性强，特别适合现代Java开发风格。
List<String> uniqueList = listWithDuplicates.stream()
.distinct()
.collect(Collectors.toList());
Stream API的去重原理是基于元素的hashCode()和equals()方法，与Set集合类似，对于自定义对象，同样需要正确重写这两个方法，Stream API还支持并行处理，可以通过parallelStream()方法提高大数据量下的处理效率：
List<String> uniqueList = listWithDuplicates.parallelStream()
.distinct()
.collect(Collectors.toList());
循环遍历去重
对于不依赖额外集合或需要更精细控制去重逻辑的场景,可以通过循环遍历List的方式手动去重，基本思路是创建一个新的List，遍历原始List时，仅当元素不在新List中时才添加，这种方法的时间复杂度为O(n²)，因为每次检查元素是否存在都需要遍历新List。
List<String> uniqueList = new ArrayList<>();
for (String item : listWithDuplicates) {
if (!uniqueList.contains(item)) {
uniqueList.add(item);
}
}
为了提高效率,可以使用额外的Set来辅助判断，这样可以将时间复杂度降低到O(n)：
List<String> uniqueList = new ArrayList<>();
Set<String> seen = new HashSet<>();
for (String item : listWithDuplicates) {
if (seen.add(item)) {
uniqueList.add(item);
}
}
这种方法既保留了原始顺序,又具有较高的效率，适合需要自定义去重逻辑的场景。
使用第三方库去重
在实际开发中,使用第三方库可以简化代码并提高开发效率，Apache Commons Collections和Guava等库都提供了便捷的List去重方法，Guava的Lists类提供了newArrayList方法结合LinkedHashSet实现去重：
List<String> uniqueList = Lists.newArrayList(new LinkedHashSet<>(listWithDuplicates));
Apache Commons Collections则提供了CollectionUtils类的select方法结合Predicate实现去重：
List<String> uniqueList = new ArrayList<>(CollectionUtils.select(listWithDuplicates,
PredicateUtils.uniquePredicate()));
第三方库通常经过充分测试,能够处理各种边界情况，适合企业级应用开发。
自定义对象去重注意事项
当处理自定义对象时,去重逻辑需要特别关注对象的equals()和hashCode()方法，这两个方法的一致性是正确去重的关键，对于一个Person类：
class Person {
private String name;
private int age;
@Override
public boolean equals(Object o) {
if (this == o) return true;
if (o == null || getClass() != o.getClass()) return false;
Person person = (Person) o;
return age == person.age && Objects.equals(name, person.name);
}
@Override
public int hashCode() {
return Objects.hash(name, age);
}
}
只有正确实现了这两个方法,Set和Stream的去重功能才能正常工作，如果业务逻辑中需要基于特定属性去重，可以在equals()和hashCode()方法中仅包含这些属性。
性能比较与选择建议
不同的去重方法在性能和适用场景上存在差异,基于Set的方法时间复杂度为O(n)，适合大多数场景；Stream API代码简洁，支持并行处理；循环遍历方法灵活性高但效率较低；第三方库开发效率高但引入额外依赖，选择方法时应考虑数据量大小、是否需要保留顺序、代码可读性等因素，对于大数据量，推荐使用Set或Stream API；对于需要自定义逻辑的场景，可以选择循环遍历方法；对于追求开发效率的项目，可以考虑第三方库。
Java List去重有多种实现方式，开发者应根据实际需求选择最合适的方法，理解各种方法的原理和适用场景，能够帮助我们在不同场景下写出高效、可维护的代码。
