うおーん、処理しようとしているデータの改行コードが\r\nと\nが混ざってるー。
正規表現の行末を表す$って\nにしか反応しないのかな。
何で加工されたか分からないTSVデータで、「hoge\\\nfuga」と「hoge\r\\\nfuga」がある。
なんとかlogstashで改行コードをねじ伏せた。 もっと見る
input { file { codec => multiline { pattern => "(\r\\$|\\$)" what => "next" } }}filter { mutate { gsub => [ "message", "[\r\\\n]", "" ] gsub => [ "message", "[\\\n]", "" ] }}
だめだ。fileプラグインの中では動くけど、s3プラグインの中で指定すると、なんかちゃんと認識しない。
思考の /dev/null
なんとかlogstashで改行コードをねじ伏せた。
input {
file {
codec => multiline {
pattern => "(\r\\$|\\$)"
what => "next"
}
}
}
filter {
mutate {
gsub => [ "message", "[\r\\\n]", "" ]
gsub => [ "message", "[\\\n]", "" ]
}
}