うおーん、処理しようとしているデータの改行コードが\r\nと\nが混ざってるー。
なんとかlogstashで改行コードをねじ伏せた。
input {
file {
codec => multiline {
pattern => "(\r\\$|\\$)"
what => "next"
}
}
}
filter {
mutate {
gsub => [ "message", "[\r\\\n]", "" ]
gsub => [ "message", "[\\\n]", "" ]
}
}
だめだ。fileプラグインの中では動くけど、s3プラグインの中で指定すると、なんかちゃんと認識しない。
何で加工されたか分からないTSVデータで、「hoge\\\nfuga」と「hoge\r\\\nfuga」がある。